27 | Kafka（一）：消息队列的新标准

Kafka: 构建大数据系统的桥梁 Kafka是一个开源的分布式消息系统，作为连接应用系统、大数据批处理系统和大数据流式处理系统的桥梁。文章介绍了大数据系统的基本框架，指出大数据系统处理的是应用系统或业务系统产生的日志数据。讨论了日志收集系统的问题，强调了HDFS对单个文件的高吞吐量和并发写入的限制，以及日志收集系统的容错机制。指出Kafka的出现填补了大数据系统中数据传输的空白，为大数据系统的发展提供了重要的支持。Kafka的设计与传统的消息队列系统有所不同，能够满足高性能、高可用的数据传输需求。Kafka采用了让所有的Consumer来“拉取”数据，而不是主动“推送”数据给到Consumer的方式，以及采用了一个简单的追加文件写的方式来直接作为消息队列。整个Kafka的系统设计变得特别简单，所有的Producer生成消息和Consumer消费消息都变成了简单的顺序的文件读和文件写。Kafka的出现填补了大数据系统中数据传输的空白，为大数据系统的发展提供了重要的支持。 Kafka的单个Partition的读写实现：Kafka每一个Topic会有很多个Partition，分布到不同的物理机器上。一个物理机上，可能会分配到多个Partition。实际存储的时候，一个Partition是一个逻辑上的日志文件，会给实现成一组大小基本相同的Segment文件。每当有新消息从Producer发过来的时候，Broker就会把消息追加写入到最后那个Segment文件里。Broker会在内存里维护一个简单的索引，这个索引其实就是每个通过一个虚拟的偏移量，指向一个具体的Segment文件。在Consumer要消费数据的时候，就是根据Consumer本地维护的已经处理完的偏移量，在索引里找到实际的Segment文件，然后去读取数据就好了。 优秀的Linux文件系统：Kafka直接使用本地的文件系统承担了消息队列持久化的功能，依赖了Linux文件系统里的页缓存。Kafka写入的数据本质上都还是在Page Cache。Kafka还利用了Linux下的sendfile API，通过DMA直接将数据从文件系统传输到网络通道，所以它的网络数据传输开销也很小。 思考题：Kafka的高可用性和容错机制如何实现？ Kafka的整体设计考虑了实时传输和处理数据，以及下游有大量不同的业务应用消费实时产生的日志文件。通过让Consumer自己拉