027 | ICML 2018论文精读:优化目标函数的时候,有可能放大了“不公平”?
洪亮劼
该思维导图由 AI 生成,仅供参考
今天我们要分享的是 ICML 2018 的一篇最佳论文提名,题目是 Fairness Without Demographics in Repeated Loss Minimization。
这篇论文讨论了这样一个话题,在优化目标函数的时候,如何能够做到针对不同的子群体,准确率是相当的,从而避免优化的过程中过分重视多数群体。这篇论文的作者都来自斯坦福大学。
论文的主要贡献
这篇论文其实也是希望讨论算法带来的“公平性”问题,但是出发的角度和我们上一篇讨论公平性的论文非常不一样。这篇论文的核心思想,是希望通过机器学习目标函数优化的原理,来讨论机器学习和公平性的关系。
作者们发现,基于“平均损失”(Average Loss)优化的机器学习算法,常常会给某一些少数群体带来巨大的不准确性。这其实并不是模型本身的问题,而是优化的目标函数的问题。在这样的情况下,目标函数主要是关注有较多数据的群体,保证这些群体的损失最小化,而可能忽略了在数量上不占优势的少数群体。
在此基础上,还带来了另外一个用户“留存度”(Retention)的问题。因为少数群体忍受了比较大的优化损失,因此这些群体有可能离开或者被这个系统剔除。所以,长期下去,少数群体的数目就可能逐渐变少。这也许是目标函数的设计者们无从想到的一个平均损失函数的副产品。作者们还把这个现象命名为“不公平的放大”(Disparity Amplification)。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
ICML 2018论文精读:优化目标函数的时候,有可能放大了“不公平”? ICML 2018的最佳论文提名《Fairness Without Demographics in Repeated Loss Minimization》探讨了在优化目标函数时,如何确保针对不同的子群体准确率相当,避免过分重视多数群体。作者发现,基于“平均损失”优化的机器学习算法可能会给少数群体带来巨大的不准确性,导致不公平放大。为解决这一问题,他们提出了一种新的算法框架DRO(Distributionally Robust Optimization),旨在最小化“最差场景”风险,而不是平均风险。实验结果验证了DRO的有效性,能够解决小众群体的不公平性问题。 该论文的核心方法是基于对数据中隐含群体的假设,估计每个数据点的“期望损失”,并控制这些损失中的最差情况,以避免不公平放大。相比于经验风险最小化(ERM),DRO更加重视当前目标函数表现不佳的小群体,从而避免不公平放大的情况。 在实验中,作者们以“自动完成”任务为例,模拟了美国白人和黑人两个群体的留存度和模型损失。结果显示,DRO相比于ERM更能让黑人用户满意,并提高了黑人用户的留存度,验证了DRO的有效性。 总之,该论文从机器学习目标函数优化的角度探讨了算法的公平性问题,发现了ERM存在的不公平放大性,并提出了DRO算法框架来解决这一问题。这一研究为解决小众群体的不公平性问题提供了新的思路和方法。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 技术内参》,新⼈⾸单¥98
《AI 技术内参》,新⼈⾸单¥98
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(2)
- 最新
- 精选
- 幻大米没看原始论文前会有些疑问:关照了少数人群,多数人群会不会有损失呢?损失大于少数人群的提升吗?2018-08-13
- 刘洋通过对少数群体补充训练样本的方式,采用erm方式来进行优化,应该也可以吧?2018-08-09
收起评论