当前播放: 下一代大数据实时监控系统
00:00 / 00:00
标清
  • 标清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
合辑:大规模基础设施DevOps探索
浅谈Kafka Streams在实时跟踪和监控系统中的应用
超大规模服务的故障“弹性自愈”
下一代大数据实时监控系统
Uber 如何结合DevOps 理念来加速网络基础设施建设的自动化进程

下一代大数据实时监控系统

李双江 阿里巴巴 Senior Engineer

李双江,阿里巴巴 Senior Engineer

内容介绍

在大规模网络下,随着 gRPC 协议方式的采集的普及, 响应速度快,实时性高,采集数据更全面。如何将这些 gRPC 采集方式带来的众多优点不打折扣的提供给网络运维人员,给下一代的大数据实时监控系统带来了一定的挑战。

为此,我们引入了一套基于流式计算(Blink 基于开源的 Apache Flink)和内存数据存储(Apache Ignite)方式的实时告警系统。借助 Kafka 和 HBase 实现数据缓存,Blink 进行流式计算,Ignite 进行实时的业务告警。并 Blink 的 SQL 方式进行实时计算和规则生成,通过 Ignite 开放 SQL 开发实现了数据的低延迟实时查询服务。本次分享主要介绍我们在以上方面的一些经验。

内容大纲

  1. 了解如何设计一套更实时、满足多业务场景需求的大数据监控系统;
  2. 了解 Blink 和 Ignite 在大数据监控系统中的应用;
  3. 了解传统的 SQL 如何在整个系统中发挥作用,带来更大的灵活性和业务扩展性。
展开
¥4.99 购买
开通VIP
7
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
其他推荐
01:40:05
Apache Kafka,从0.7到1.0:那些年我们踩过的坑
王国璋 Confluent Kafka Streams系统架构师和技术负责人
试看
43:37
工业大数据在智能制造中的应用
孙继珑 积梦智能大数据负责人
试看
46:01
从心开始——谈谈技术管理
唐义哲 英语流利说资深技术经理
试看