讲师介绍:王禹,搜狐社交产品中心-数据组-高级开发工程师,负责搜狐社交产品中心的大数据开发工程。多年从事大数据开发的工作,对数据库、流式程序以及数据质量有着深入的研究。问题背景:在实际工作中,随着业务的不断扩大,会有越来越多的实时数据统计需求,诸如Spark和Flink流式程序成为了最好的解决方案。Spark和Flink各有一定的应用场景,伴随而来的问题是如何对这两种流式程序进行统一监控管理,以防某个流式程序出现问题的时候,我们无法及时发现并解决问题,比如线上流式程序因为集群的某些原因挂掉,如果我们不能及时恢复程序,会导致很严重的线上故障。那么问题来了,我们该如何去有效管理两种甚至更多种的流式程序呢?内容看点:发现流式程序出现故障以及其故障的原因兼容Spark和Flink两种流式程序自主选择故障处理方式和自主处理流式程序故障