安全攻防技能 30 讲
何为舟
前微博安全研发负责人
34681 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 41 讲
开篇词 (1讲)
安全攻防技能 30 讲
15
15
1.0x
00:00/00:00
登录|注册

27 | 风控系统:如何从海量业务数据中,挖掘黑灰产?

离线
异步
同步
应急响应人员
运营人员
策略人员
降低拦截机制对用户体验的影响
规则管理
工作模式
识别黑产
计算设备指纹
采集各类用户数据
验证流程
规则引擎
前端SDK
需要对黑产用户进行区分
从业务数据中挖掘黑产行为的数据分析系统
提高用户使用成本
风控人员
验证流程
规则引擎
前端SDK
风控系统框架
风控系统
产品方案
如何从海量业务数据中挖掘黑灰产

该思维导图由 AI 生成,仅供参考

你好,我是何为舟。
在上一讲中,我们讲了如何通过安全的产品方案,提升黑产攻击业务的资源成本,降低应用被攻击的风险。当然,仅靠产品方案是没办法完全抵御黑产的。因为在产品方案中,我们还需要对用户体验进行关注。
比如说,为了拦截黑产盗取他人账号登录,或批量登录自有账号的行为,我们的产品方案可能是,通过加入短信验证、人脸验证和滑块验证来提高登录的门槛。当你在登录一款应用的时候,如果需要进行两次甚至是三次的验证操作,那么,这种糟糕的体验感很有可能驱使你放弃使用这款应用。
为了解决这个问题,在业务安全中,我们会采取折中的方案:如果识别到一次登录行为是异常操作,那么就弹出多次验证;如果识别是正常操作,就让其用简单的用户名密码登录即可。
对于一款热门的应用来说,一天可能要面临上亿次的登录行为。这其中有正常用户的登录行为,也有黑产的登录行为,我们应该如何从海量的登录数据中准确地判定它们呢?这就是 IPDRR 中的检测,也就是我们常说的风控系统需要完成的事情。
那么风控系统究竟是如何识别黑产的呢?今天,我们就一起来探讨一下。

如何理解风控系统?

简单来说,风控系统就是从业务数据中挖掘出黑产行为的数据分析系统。
我们可以通过对比产品方案来深入理解风控系统。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

风控系统是企业识别和拦截黑灰产行为的重要工具。本文介绍了风控系统的框架和关键环节,包括前端SDK、规则引擎和验证流程。规则引擎中的同步、异步和离线工作模式被详细解释,强调了实时性对黑产拦截的重要性。此外,高效的规则管理和验证流程的必要性也得到了阐述。风控人员的角色分为策略人员、运营人员和应急响应人员,共同推动风控系统的落地和持续优化。通过深入的技术分析,读者可以快速了解风控系统如何利用数据分析来识别黑灰产行为,以及风控人员在其中的重要作用。风控系统需要结合业务全流程,从前端数据采集到规则制定和实施,最终监控和响应风险。规则引擎作为核心,包括特征提取和规则管理两个部分,需要根据不同情况灵活调整和实现。读者还被鼓励调研和试用开源风控系统,思考其对业务的帮助和无法满足的痛点。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《安全攻防技能 30 讲》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(8)

  • 最新
  • 精选
  • Jessica
    老师,您好!我今年刚好也在学习风控这个业务领域,想知道目前开源的风控系统除了nebula,还有哪些呢?想去体验学习一下。

    作者回复: 开源的不多,也没有见过特别好用的,可以当作了解一下风控系统的功能。最近有陌陌开源的一款https://github.com/momosecurity/aswan。其他的就是一些个人开发的小风控系统了,可看不可用。

    2020-02-25
    5
  • leslie
    老师在文中提及"风控系统"调研:老师对于这块的咨询获取是通过之前的分享的"个人成长:学习安全,哪些资源我必须要知道?"中的一些资源去获取相关方式方法还是? 部分系统目前我后面准备找寻部分相关的风控系统,然后利用linux的邮件系统把相关信息直接以邮件方式发送到个人邮箱;人的实时监控在某些行业是做不到的,通过系统去实现。 我的工作主要以数据系统和系统运维为主:本来确实有计划增加监控报警实现,不过听完老师今天的课程觉得应风控系统去实现监控可能是个不错的选择,故而这方面在开源的调研老师有没有什么相对好的寻找方式方向可以分享一下? 谢谢老师今天的分享:让我又多了一件事,原本只是想做监控报警的,现在直接升级去找寻相关风控系统了。

    作者回复: 监控报警或者风控系统,我觉得只是个概念而已,真正要做哪些功能,还是得依据需求来定。至于怎么包装,那就随意了。目前开源的风控系统不多,了解到的比如https://github.com/threathunterX/nebula,https://github.com/momosecurity/aswan。都不怎么维护了,所以看看就好,实际还是得自己做。

    2020-02-26
    2
  • 请问老师 规则和策略在风控系统里是相同的概念吗,还有就是准实时风控设计相对于实时风控设计,如何让业务方及时知会

    作者回复: 规则和策略本身都是抽象概念,不同人理解不一样,不需要细抠。和业务知会其实更考验合作和运营技巧了,通过例会周报告警等形式,去展示风险,晾晒成果,对齐认知等等。

    2021-01-02
  • 吴小智
    规则具体到代码层面,是怎么实现的呢?老师能举个小例子吗?

    作者回复: 比如用aviator,那规则就是一个代数表达式,代码中提前把对应的产量计算好,然后通过aviator执行表达式。

    2020-05-06
  • 吴小智
    没接触过风控系统,感觉好高大尚。想问老师,风控系统跟业务系统,有什么区别吗?在技术实现上。

    作者回复: 这个问题有点泛,从底层技术上来说,肯定是区别不大,都是那些java,spring,spark啥的。需求的独特性来说,肯定和业务还是会有些区别的。比如实效性的要求往往比较高。

    2020-05-06
  • bin的技术小屋
    在风控系统建设这方面,老师提到的内容我太有体会了,尤其讲到规则引擎的重点规则的管理上,我的系统建设路径基本就是老师讲的,我先是drools搞了一套规则引擎,然后感觉特别笨重,尤其是在规则的管理上,然后又调研使用了drools提供的workbench,感觉在规则管理配置上也不是很好用,后来自己分析我们的业务特点,我们的风控的业务需求其实就是需要一套能够动态更新规则的规则系统,所以我又用脚本语言groovy重新设计了规则引擎的执行部分,然后开发了规则管理界面,用Qlexpress坐了规则界面里的决策因子和规则条件到规则脚本的转换,就是像老师说的那样,在规则引擎执行的外围根据自己的业务需求灵活轻量地构建了规则管理体系。规则管理体系的建设才是规则引擎最重要的部分,起初我设计规则引擎的时候着重点放在了规则的执行上导致后边又折腾了以规则管理为重点的一版
    2020-02-28
    17
  • TOMMY
    老师你好,听了你的课受益匪浅。我稍微提一个问题,倒数第二张图片:从业务数据到判定结果的流程图里三个模块(Redis、Flink、Hive)写的都是实时,我理解应该是实时、实时、离线?Hive应该做不到实时吧?
    2021-03-10
  • 相见甚欢
    风控需要收取大量的用户信息,这和用户的隐私保护是不是存在冲突?
    2021-02-24
    1
收起评论
显示
设置
留言
8
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部