131 | 数据科学家高阶能力之评估产品
洪亮劼
该思维导图由 AI 生成,仅供参考
“如果你无法衡量它,你就无法改进它。”(If you can’t measure it you can’t improve it.)这是一句你可能会经常听到的话,这句话也被应用到很多不同的场景中。那么,对于人工智能工程师和数据科学家来说,这句话其实是他们工作核心的核心。不管是模型和算法,还是产品迭代,都离不开“指标”和“评估”这两个方面。
评估一个产品的好坏,是一项说起来最容易但做起来最困难的工作。任何人,从用户到产品经理,对某一个产品都可能有自己的主观意见。然而对一个产品,特别是要面对成千上万用户的产品来说,依靠主观感觉是很难有一个完整、全面的评价的。同时,有一个成熟的产品评价体系可以成为产品不断迭代的领航标。
今天,我就来聊一聊如何评估一个数据驱动型产品,又如何从评估产品的角度来推动产品的迭代。我们需要建立层次化的评估体系,需要一个衡量产品好坏的框架。这个框架要从宏观到微观,能够对你的产品进行全方位的检测,并且这种检测能够帮助你更容易地进行决策。
产品的经济收益
你可能要问,是的,我们需要评估一个产品,但是如何找到衡量产品的这些指标呢?
比方说你要做一个社交网络的网站,怎么来制定检测指标呢?首先,你要问自己,我做这个社交网络的最终目的是什么?很明显,一个商业网站的终极目标是赚钱,也就是说,你最终的指标是你网站的经济收益。知道了这一点远远不够,你至少还需要思考两个问题。第一,如何衡量你的经济收益;第二,你能否用经济收益来直接指导你的产品构建。
我们先谈谈第一个问题。衡量经济收益看似简单其实不易。从比较大的维度上来说,你可以衡量总收入,你也可以衡量利润,你可以衡量收入的年增长率,还可以衡量季度增长率。从比较具体的维度来说,很多社交网站依靠广告收入,对广告收入的衡量本身就是一个非常复杂的问题。
总体来看,衡量经济收益,有两点值得你思考。其一,如何衡量你收入的现状。其二,如何衡量你收入的增长。今天,关于收入的指标我就不展开讨论了。
刚才讲的第二个问题就更加复杂。衡量经济收入的指标往往太过宏观,而且衡量起来有难度,因此用经济指标来指导产品的发展是很困难的。我刚才说了一些经济收益指标,比如年收入、年增长率、季度增长率,这些指标的衡量需要至少等待一个季度以上,甚至一年的时间。这些有时间间隔的指标,无法给产品的快速迭代带来很大的指导意义。
另一方面,很多产品并不直接产生经济结果。也就是说,经济收益是一个“副产品”。这个时候,如果我们只看经济收益,就无法真正指导我们构建更好的产品。比如,我刚才提到,对于一个社交网站来说,广告收入是一个“副产品”,绝大多数用户来到这个网站的主要目的不是点击广告。因此,仅仅衡量广告有可能让社交网络产品的迭代误入歧途。
层次化的评估体系
如果单从经济指标无法对产品有全面的指导作用,那怎么才能更加有效地建立评估体系呢?这里就引出下一个话题,那就是多层次的评估体系。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
本文深入探讨了数据科学家和人工智能工程师在评估产品能力方面的重要性。评估产品的好坏是一项困难但至关重要的工作,因为主观意见很难给出完整、全面的评价。文章提出了建立层次化的评估体系和衡量产品经济收益的框架的重要性。在评估产品的经济收益时,需要思考如何衡量收入的现状和增长,以及如何用经济指标来指导产品的发展。然而,由于经济收益的指标往往较为宏观且难以衡量,因此无法给产品的快速迭代带来指导意义。另外,很多产品并不直接产生经济结果,因此仅仅衡量经济收益可能无法真正指导构建更好的产品。因此,文章强调了评估产品能力的重要性,并提出了需要建立全方位的评估体系来推动产品的迭代。 文章还详细阐述了五个层次的评估体系,从最小的模块到用户的长期指标。每个层次的指标都有其独特的特点和挑战,从模块级别的直接效果指标到用户行为的复杂建模,再到产品的长期指标,每个层次都需要不同的方法和技术来进行评估。此外,文章还提出了一个思考题,即如何在平时进行A/B测试的时候,确保是在优化产品的终极目标,即第五个层次的指标。 总的来说,本文深入探讨了数据科学家和人工智能工程师在评估产品能力方面的挑战和重要性,以及建立全方位的评估体系的必要性。这对于技术人员和产品团队来说是一篇具有启发性和指导意义的文章。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 技术内参》,新⼈⾸单¥98
《AI 技术内参》,新⼈⾸单¥98
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(3)
- 最新
- 精选
- 劳永超置顶洪老师你好,我觉得你的这个话题很好,你的内容我一般都是开车的时候听,朗读质量也不错。这次最后的思考题,如何在ab test的时候确保对产品终极指标的正向影响,我认为还是要基于先验经验来做,ab test可以看出对短期敏感指标的影响,例如次留、点击率、某页面转化率、崩溃率等,这些指标对长期指标的影响有一些是显而易见的,有一些可通过历史数据来看关联性。2017-10-256
- 沉这篇非常有用,我们的产品就是一个付費订阅的模式,之前对付费用户有做过一些简单的分析和统计学习,但沒有一个全面的产品分析意识,现在看来还有很多东西可以做
作者回复: 谢谢。
2017-10-272 - 晏最好有一个产品评估体系的5层次模型图。2018-07-161
收起评论