28 | 机器学习：如何教会机器识别黑灰产？

何为舟



该思维导图由 AI 生成，仅供参考

你好，我是何为舟。
通过建立一个成熟的风控系统，你能够快速建立起和黑产进行持续对抗的稳固防线。但是，风控系统和规则引擎仅仅是一个平台和工具。想要真正对黑产进行识别，我们还得依靠规则引擎中运行的规则策略。
当然，规则的维护主要是依靠人力来进行的。但是这样的维护方式会有两个弊端：首先，人的工作效率会受各种因素影响，所以对抗的时效性很难保障；其次，规则的维护受到人的主观意识的影响，可能会产生一些“偏见”。
对于上述这两个问题，机器学习是一个理想的解决方案。因为，机器学习不仅可以无休止地工作，还会完全依据客观事实产生结果。
而且，机器学习对于基础安全来说，同样是一个提升规则维护效率的理想方案。因为各类防御工具（如：防火墙、IDS、WAF 等）也都是基于规则来运转的。
那么今天，我们就来聊一聊，在安全领域中尝试机器学习算法会遇到哪些问题，以及我们有哪些解决思路。
如何正确认识机器学习？机器学习这几年非常火热，我相信你一定了解过一些相关的概念，对机器学习也有自己的理解。但是，很多人都对机器学习有着过高的预期，认为机器学习“无所不能”，而这种高预期会误导我们错误地使用机器学习。因此，我想先和你明确一下，机器学习在安全领域中能干什么、不能干什么，让我们对机器学习在安全领域中的应用有一个正确的预期。

公开

同步至部落

取消

完成

0/2000

荧光笔

直线

曲线

笔记

复制

AI

深入了解
翻译
英语
中文简体
中文繁体
法语
德语
日语
韩语
俄语
西班牙语
阿拉伯语
解释
总结

本文深入探讨了机器学习在安全领域的应用，特别是在黑灰产识别方面的重要性。文章首先强调了风控系统和规则引擎的重要性，但指出了人力维护规则的弊端。随后，文章明确了机器学习在安全领域的应用范围，强调了其对人为经验的总结作用。接着，文章详细介绍了无监督学习在安全中的应用，包括数据的聚集特征和分布规律的挖掘，以及其在业务安全和基础安全领域的具体应用案例。另外，有监督学习的应用也得到了详细阐述，强调了设计合理的标签系统来自动化生成标签数据的重要性。总的来说，本文通过理论和实践案例，深入浅出地介绍了机器学习在安全领域的应用，为读者提供了全面的了解和思考。文章内容丰富，涵盖了无监督学习和有监督学习在安全领域的应用，以及对标签数据的合理设计和生成的重要性。读者可以从中了解到机器学习在安全领域的实际应用和挑战，以及如何有效地利用机器学习技术来提升安全防护能力。

仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《安全攻防技能 30 讲》，新⼈⾸单¥59

立即购买

登录后留言

全部留言(7)

最新
精选

漂泊的小飘
请问老师中小型公司是自己训练模型好呢还是直接买现成的服务呢
作者回复: 我不推荐买服务，因为乙方安全厂商其实也就是派几个人给你分析数据然后做模型，有这钱为啥不自己招几个人呢，风控做到最后还是得握在自己手中才行。。。。所以，如果着急的话，就写规则。不着急的话，就自己做模型。
2020-02-26
2
8
leslie
深度学习和图算法没有深入研究过，不过都有接触过；图算法相关的内容在算法训练营中有接触过针对数据系统中无监督或者有监督学习来解释使用场景吧，这是目前云厂商的监控系统中用的比较多的；无监督学习：正常的链接和操作，主要体现的是各种操作的比例，统计分析作用，便于看到图表数据就知道哪些正常操作的使用频率或使用时间以及消耗资源情况；从而根据现状去考虑是否要进行一些策略优化；监督学习：监督学习与无监督学习最大的区别在于使用场景不同，监督学习获取到的不少都是告警或警示信息，这些都是直接需要研究查看研究且考虑是否处理及如何处理。故而监督学习与无监督学习的最大的区别个人觉得是使用场景的不同：无监督只是分析/体现现状，有监督在分析的同时会直接做个简单的分类，会体现结果的类型。深度学习和图算法没有深入研究过，不过都有接触过；图算法相关的内容在算法训练营中有接触过。不过老师今天课程中提出，属于又抛出了研究方向和思路；课程结束后应当有的忙碌了，希望在课程结束后老师能分享一个交流学习的途径，如公众号或微博号，便于进一步探讨交流。谢谢老师今天的分享：期待老师后续的分享。
作者回复: 并没有时间写公众号。。。可以后续单独交流～
2020-02-26
2
6
小老鼠
1，机器学习准确率有多大？有数据吗？2，手机360安全助手拦捷拉圾电话和短信是通过机器学习的吗？3，我是作软件测试的，听了这个课，让我对利用机器来发现软件bug有些启发。
作者回复: 1、这个根据具体场景不同，没啥特别参考的数据吧。 2、也许是。不过毕竟内部逻辑，不知道它怎么实现的。 3、测试领域也有不少机器学习的尝试应用。
2020-03-14
2

大王叫我来巡山
迄今为止，看到的对机器学习最客观的评价，机器学习和人工智能并不是银弹，都是来帮助我们提高工作的效率的，而不是取代人工自主工作的，想起了前面章节的一句话，短期内对技术预期过高，好多项目都是干到最后只有人工，没有智能了，因为一开始就没有客观的去评价和认识技术本身。
2020-03-02

4
许童童
个人感觉深度学习可以建立神经网络，用卷积层云和池化层更好的判断是否为恶意攻击。图算法可以一系列请求组合成一个图，从而挖掘出最短路径、最小树这些数据来指导分析工作。
2020-02-26

3
大将
我觉得本章内容对机器学习解释的不够准确，不过可以理解，毕竟搞安全的不都是机器学习的从业人员
2023-12-04归属地：北京


刘桢
打卡
2020-03-29



收起评论