AI 技术内参
洪亮劼
Etsy 数据科学主管,前雅虎研究院资深科学家
33454 人已学习
新⼈⾸单¥98
登录后,你可以任选6讲全文学习
课程目录
已完结/共 166 讲
开篇词 (1讲)
人工智能国际顶级会议 (31讲)
搜索核心技术 (28讲)
推荐系统核心技术 (22讲)
数据科学家与数据科学团队养成 (25讲)
AI 技术内参
15
15
1.0x
00:00/00:00
登录|注册

131 | 数据科学家高阶能力之评估产品

这些指标往往是产品的终极目标,难以通过A/B测试进行衡量。
检测指标的复杂性进一步提高,需要仔细设计实验来观测。
需要建立用户模型,通过统计方法建模来理解用户行为。
页面级别的指标包括点击率、驻留时间等,需要全面了解页面上的所有模块。
模块级别的指标包括点击率、驻留时间等,对产品和工程团队有直接的指导意义。
如何在A/B测试中优化第五层次的指标是一个需要思考的问题。
五个层次的评估体系每个层次的特点需要认真考虑。
数据科学家和人工智能工程师需要评估产品的能力,包括衡量产品的经济收益和建立层次化的评估体系。
第五层次的指标是用户和产品的长期指标,如月活跃用户、年度活跃用户等。
第四层次的指标是从一个用户会话上升到多个用户会话,关心用户较长时间的体验问题。
第三层次的指标是从单个页面上升到用户这个层级,主要是检测用户在一个会话中的表现。
第二层次的指标是从单个模块上升到一个页面,需要对整个页面上所有模块产生的功能群进行深入研究。
最低层次的评估围绕产品的最小组成单元,如页面上的模块。
产品的经济收益并不总是直接产生,需要考虑其他层次的指标来指导产品的发展。
经济收益指标需要考虑总收入、利润、收入的增长率等,但这些指标往往需要时间间隔才能衡量。
衡量产品的经济收益是关键,需要思考如何衡量收入的现状和增长。
总结
层次化的评估体系
产品的经济收益
评估产品的好坏是困难但重要的工作,需要建立层次化的评估体系和衡量产品的经济收益。
对于人工智能工程师和数据科学家来说,衡量和评估是工作的核心。
如果你无法衡量它,你就无法改进它。
数据科学家必备的评估产品能力

该思维导图由 AI 生成,仅供参考

如果你无法衡量它,你就无法改进它。”(If you can’t measure it you can’t improve it.)这是一句你可能会经常听到的话,这句话也被应用到很多不同的场景中。那么,对于人工智能工程师和数据科学家来说,这句话其实是他们工作核心的核心。不管是模型和算法,还是产品迭代,都离不开“指标”和“评估”这两个方面。
评估一个产品的好坏,是一项说起来最容易但做起来最困难的工作。任何人,从用户到产品经理,对某一个产品都可能有自己的主观意见。然而对一个产品,特别是要面对成千上万用户的产品来说,依靠主观感觉是很难有一个完整、全面的评价的。同时,有一个成熟的产品评价体系可以成为产品不断迭代的领航标
今天,我就来聊一聊如何评估一个数据驱动型产品,又如何从评估产品的角度来推动产品的迭代。我们需要建立层次化的评估体系,需要一个衡量产品好坏的框架。这个框架要从宏观到微观,能够对你的产品进行全方位的检测,并且这种检测能够帮助你更容易地进行决策。

产品的经济收益

你可能要问,是的,我们需要评估一个产品,但是如何找到衡量产品的这些指标呢?
比方说你要做一个社交网络的网站,怎么来制定检测指标呢?首先,你要问自己,我做这个社交网络的最终目的是什么?很明显,一个商业网站的终极目标是赚钱,也就是说,你最终的指标是你网站的经济收益。知道了这一点远远不够,你至少还需要思考两个问题。第一,如何衡量你的经济收益;第二,你能否用经济收益来直接指导你的产品构建
我们先谈谈第一个问题。衡量经济收益看似简单其实不易。从比较大的维度上来说,你可以衡量总收入,你也可以衡量利润,你可以衡量收入的年增长率,还可以衡量季度增长率。从比较具体的维度来说,很多社交网站依靠广告收入,对广告收入的衡量本身就是一个非常复杂的问题。
总体来看,衡量经济收益,有两点值得你思考。其一,如何衡量你收入的现状。其二,如何衡量你收入的增长。今天,关于收入的指标我就不展开讨论了。
刚才讲的第二个问题就更加复杂。衡量经济收入的指标往往太过宏观,而且衡量起来有难度,因此用经济指标来指导产品的发展是很困难的。我刚才说了一些经济收益指标,比如年收入、年增长率、季度增长率,这些指标的衡量需要至少等待一个季度以上,甚至一年的时间。这些有时间间隔的指标,无法给产品的快速迭代带来很大的指导意义。
另一方面,很多产品并不直接产生经济结果。也就是说,经济收益是一个“副产品”。这个时候,如果我们只看经济收益,就无法真正指导我们构建更好的产品。比如,我刚才提到,对于一个社交网站来说,广告收入是一个“副产品”,绝大多数用户来到这个网站的主要目的不是点击广告。因此,仅仅衡量广告有可能让社交网络产品的迭代误入歧途。

层次化的评估体系

如果单从经济指标无法对产品有全面的指导作用,那怎么才能更加有效地建立评估体系呢?这里就引出下一个话题,那就是多层次的评估体系。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

本文深入探讨了数据科学家和人工智能工程师在评估产品能力方面的重要性。评估产品的好坏是一项困难但至关重要的工作,因为主观意见很难给出完整、全面的评价。文章提出了建立层次化的评估体系和衡量产品经济收益的框架的重要性。在评估产品的经济收益时,需要思考如何衡量收入的现状和增长,以及如何用经济指标来指导产品的发展。然而,由于经济收益的指标往往较为宏观且难以衡量,因此无法给产品的快速迭代带来指导意义。另外,很多产品并不直接产生经济结果,因此仅仅衡量经济收益可能无法真正指导构建更好的产品。因此,文章强调了评估产品能力的重要性,并提出了需要建立全方位的评估体系来推动产品的迭代。 文章还详细阐述了五个层次的评估体系,从最小的模块到用户的长期指标。每个层次的指标都有其独特的特点和挑战,从模块级别的直接效果指标到用户行为的复杂建模,再到产品的长期指标,每个层次都需要不同的方法和技术来进行评估。此外,文章还提出了一个思考题,即如何在平时进行A/B测试的时候,确保是在优化产品的终极目标,即第五个层次的指标。 总的来说,本文深入探讨了数据科学家和人工智能工程师在评估产品能力方面的挑战和重要性,以及建立全方位的评估体系的必要性。这对于技术人员和产品团队来说是一篇具有启发性和指导意义的文章。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 技术内参》
新⼈⾸单¥98
立即购买
登录 后留言

全部留言(3)

  • 最新
  • 精选
  • 劳永超
    置顶
    洪老师你好,我觉得你的这个话题很好,你的内容我一般都是开车的时候听,朗读质量也不错。这次最后的思考题,如何在ab test的时候确保对产品终极指标的正向影响,我认为还是要基于先验经验来做,ab test可以看出对短期敏感指标的影响,例如次留、点击率、某页面转化率、崩溃率等,这些指标对长期指标的影响有一些是显而易见的,有一些可通过历史数据来看关联性。
    2017-10-25
    6
  • 这篇非常有用,我们的产品就是一个付費订阅的模式,之前对付费用户有做过一些简单的分析和统计学习,但沒有一个全面的产品分析意识,现在看来还有很多东西可以做

    作者回复: 谢谢。

    2017-10-27
    2
  • 最好有一个产品评估体系的5层次模型图。
    2018-07-16
    1
收起评论
显示
设置
留言
3
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部