作为工程师或架构师,你在实际工作的过程中一定会参与到很多大数据业务系统的构建中。对于数据密集型应用来说,如何应对数据量激增、数据复杂度增加以及数据变化速率变快等难题,是彰显大数据工程师、架构师功力的最有效表征,而Kafka恰恰能够高效地处理这些问题。
Kafka是一个完备的分布式消息引擎方案,可以说是大数据时代数据管道技术的首选。不过,在Kafka的实际使用过程中,几乎所有人都会或多或少地遇到一些问题,比如:
解决了这些问题,就掌握了快速入门Kafka、高效实战的通关秘籍。
胡夕,目前就职于人人贷,任计算平台部总监,是Apache Kafka社区活跃的代码贡献者,著有《Apache Kafka实战》一书,曾任职于IBM、搜狗和新浪微博等公司。胡夕对Kafka及其他开源流处理框架与技术有着深刻的理解,精通Kafka原理,主导过多个十亿级/天的消息引擎业务系统的设计与搭建,具有丰富的线上环境定位和诊断调优经验,曾给多家大型公司提供企业级Kafka培训。
本专栏共 5 讲,前 2 讲是Kafka的核心基础知识,带你快速搞懂Kafka的10+术语,帮你掌握完整的Kafka体系结构;后 3 讲从实战的角度出发,给你分享一套Kafka的线上集群部署方案,精选至关重要的集群参数,并手把手地带你进行配置,让你能够有的放矢地规划和调整你的生产环境,从而熟练地运用Kafka解决实际问题。