IBM 开源检测模型及对抗攻击工具箱
极客时间编辑部
讲述:丁婵大小:1.00M时长:02:11
为了防止 AI 模型受到误导而产生错误的判断,研究人员需要通过不断的模拟攻击,来确保 AI 模型不会受到欺骗。
近日,IBM 研究团队开源了用于检测模型及对抗攻击的工具箱 Adversarial Robustness Toolbox,来协助开发人员加强针对 AI 模型攻击的防御性,让 AI 系统变得更加安全。
近几年,AI 在认知问题上取得了不少突破,生活中的许多任务也都开始加入 AI 技术,比如辨识图像和影片中的物体、语音转文字、机器翻译等。
不过,深度学习网络如果受到经过设计的干扰讯号的影响,就很容易产生错误的判断,而这些类型的干扰是人类难以察觉的,这就导致可能会有人恶意利用这样的弱点,来误导 AI 模型的判断,并将其用于不当的行为。
目前,Adversarial Robustness 工具箱主要提供增强电脑视觉辨识的防御性,为开发人员提供了新型防御技术,并且在实际部署 AI 模型时,能够防御恶意的误导攻击。据了解,该工具箱是用 Python 撰写而成的,因为 Python 是建立、测试和部署深度神经网路最常用的语言,包含了对抗和防御攻击的方法。
开发人员可以使用该工具箱,来检测深度神经网路的稳固性,主要记录模型对不同干扰的输出结果,再透过攻击的资料集来强化 AI 模型,最后标注攻击模式和讯号,防止模型因干扰讯号,产生错误结果。
据了解,该工具箱目前支持 TensorFlow 和 Keras,未来预计会支持更多框架,比如 PyTorch 或 MXNet。另外,该工具箱现在主要是提供图像识别的防御,未来将会增加更多领域的版本,如语音识别、文字识别和时间序列等。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论