全球首个联邦学习工业级开源框架FATE两大更新
极客时间编辑部
讲述：初明明大小：3.96M时长：04:20
近两年来，联邦学习发展迅速，其作为分布式的机器学习范式，能够有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，从技术上打破数据孤岛，实现 AI 协作。而 FATE 作为联邦学习全球首个工业级开源框架，支持联邦学习架构体系，为机器学习、深度学习、迁移学习提供了高性能联邦学习机制。此外，其自身还支持多种多方安全计算协议，如同态加密、秘密共享、哈希散列等，具有友好的跨域交互信息管理方案。
近日，全球首个联邦学习工业级开源框架 FATE 1.2 版本正式发布，在该版本中，FATE 推出了两大重量级的更新项，分别为对纵向联邦 DNN 的支持以及对多方安全计算 SPDZ 协议的支持。作为首个支持纵向联邦神经网络算法的版本，开发者在纵向联邦建模的分类、回归、排序等场景下都可以明显感受到其支持性。而 SPDZ 秘密共享安全计算协议的支持，进一步拓展和丰富了 FATE 的应用场景。
在之前的 1.0 大版本中，FATE 上线了首个可视化联邦学习产品与联邦 Pipeline 生产服务。而在 1.1 大版本中，FATE 联合 VMware 中国研发开放创新中心云原生实验室联合发布了 KubeFATE 项目，通过把 FATE 的所有组件用容器的形式封装，实现了使用 Docker Compose 或 Kubernetes（Helm Charts）来部署。
前两个版本分别在可视化使用体验及部署体验上做了重点提升，而 FATE 1.2 版本则回归至算法本身，进一步拓展其支持性。除两大重量级更新项以外，还新增了如二阶优化方法 - 纵向 SQN、数据管理模块等功能，前者能够显著提升纵向逻辑回归和纵向线性回归收敛效率，对算法加速起到关键作用。后者则用于记录 upload 的数据表及 Job 运行中模型的输出结果，并提供查询以及清理 CLI，项目已开源在 GitHub 上。
在 FATE 1.2 版本中，首次对外发布了纵向联邦深度学习框架，开启了 FATE 对深度学习联邦化的支持，开发者可以自定义深度神经网络结构。目前版本已支持 TensorFlow, 后续会推出 PyTorch 版本，便于开发者低代价迁移 TensorFlow 和 PyTorch 的使用习惯和经验。
在这一版本中，FATE 实现了 SPDZ 秘密共享多方安全计算协议的支持，这意味在现有同态加密协议的基础上，FATE 能为开发者提供更多样化的多方安全计算协议支持。开发者们可根据自身算法的特点，自由选择适合自身算法的多方安全计算协议，联邦学习的可应用范围得到进一步拓展。值得说明的是，在纵向皮尔逊特征相关性计算算法实现中，首次使用了 SPDZ 协议。
此外，自 1.0 版本推出 FATE-Board 以来，这一产品受到了开发者广泛好评。而在 1.2 版本中，FATE-Board 再次升级，新增了对联邦模式下特征相关性、以及 LocalBaseline 组件的可视化支持。前者能够直观地分析特征之间的相关性分布情况，从而帮助开发者快速进行判断与特征选择。后者则可以让开发者将基于联邦训练的模型与基于 sklearn 训练的模型结果进行直接对比，并从可视化报告对比中得出相关结论。
同时，这一版本的 FATE-Board 还高度优化了可视化效果及交互操作，并增强了实用性，让开发者体验再上一层楼。
还有一点值得关注的是，在 FATE 1.2 版本中，FATE 新增加了数据管理模块，这将成为开启数据治理的第一步。从这一版本开始，在整个 Job 生命周期产生的数据都有迹可循了。此外，数据管理模块提供了诸如查询、删除等常用管理命令，这也极大地增强了开发者对数据的掌控能力。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论