海量数据分析正在从离线走向实时，面向行业需求与趋势，Kafka、Flink、Druid、ClickHouse等引擎随之而生，并获得了快速发展。快手有很多实时计算的场景，如模型实时训练与更新、数据实时分析/监控、日志实时传输等，其业务以及集群规模都非常巨大，对系统造成了很大的冲击，同时也提出了很大的挑战。本次分享将介绍我们在实时处理上所面临的挑战，以及为了应对这些挑战在存储引擎建设上的演进过程。内容大纲快手实时处理链路主要场景，以及链路上Kafka、Flink、ClickHouse等系统面临的主要问题与挑战快手的解决方案未来计划听众收益了解大规模实时处理场景面临的主要问题与挑战快手如何解决这些问题，以及我们在Kafka、Flink、ClickHouse等系统进行的技术改进和取得的收益