李双江,阿里巴巴 Senior Engineer
在大规模网络下,随着 gRPC 协议方式的采集的普及, 响应速度快,实时性高,采集数据更全面。如何将这些 gRPC 采集方式带来的众多优点不打折扣的提供给网络运维人员,给下一代的大数据实时监控系统带来了一定的挑战。
为此,我们引入了一套基于流式计算(Blink 基于开源的 Apache Flink)和内存数据存储(Apache Ignite)方式的实时告警系统。借助 Kafka 和 HBase 实现数据缓存,Blink 进行流式计算,Ignite 进行实时的业务告警。并 Blink 的 SQL 方式进行实时计算和规则生成,通过 Ignite 开放 SQL 开发实现了数据的低延迟实时查询服务。本次分享主要介绍我们在以上方面的一些经验。