19 | 消息队列：如何降低消息队列系统中消息的延迟？

老师，关于消息队列的一个重要东西，您还没有讲到。 消息的顺序性。比如订单消息要在配送消息消费之前消费 对于这种问题，有因果一致性来解决。因果一致性的一种做法是，消息的编号递增，小的号码先消费，大的号码要在后消费。 但是在分布式集群环境下，每个消费者消费的时候要把它的最大消息编号广播给其他消费者。 这样一来的话，代价就比较高了。

并行消费那块有数据丢失的风险吧。 server接收到数据返回给队列ack，然后丢给线程池，数据还没处理完这个节点挂掉了，数据不就全丢了。

今日学习总结 我们使用消息队列，一般会关注消息的延迟，然后优化消息的读写性能，但首先要做的是对延迟的监控，那怎么监控消息队列的延迟呢？ 1.通过消息队列的工具，来监控消息的堆积情况 一般消息队列都会提供这种工具，拿kafka来说，可以通过 kafka-consumer-groups.sh 这个命令来监控堆积情况。主要关注【lag】列 同时kafka会通过jmx暴露消息的堆积情况，所以可以使用jconsole这种工具进行查看 2.通过生成监控消息的方式来监控延迟情况 这种方式就是启动一个监控程序，并生产一种特殊的消息，比如是消息生成的时间戳，然后循环的写入到消息队列中，真正的消费者对于这种特殊的消息不进行处理，而监控程序会处理这种特殊的消息，通过比较消费到该消息的时间和生成该消息的时间差来判断是否有延迟 那如何减少消息的延迟呢？ 1.优化消费端的代码以提升性能 2.增加消费者的数量 关于第2点对消息队列会有限制，比如对于kafka来说，在同一个分区下，消息只能被一个消费者【同一个consumer_group】消费，这样也是考虑到了多个消费者消费需要抢占锁，会有性能损失 【topic的分区数量决定了消费者的并行度】 所以想提高并行度就得增加分区，那如何不增加分区呢？可以在处理消息上做工作了，比如可以在一个消费者中增加处理消息的并行度，比如多线程的方式去处理，或者加入异步处理 【这里有值得注意的，就是消费消息时消费线程的空转问题】 消费端通过不断轮训去topic中拉取消息，就存在线程空转的情况，这里可以增加一个策略就是拉取不到消息，等待一会儿，等待时间可以是固定的。也可以是阶梯的，当然这样可能加重消息消费延迟情况 消息队列本身读取性能提升可以从下面两个方面着手 1.消息的存储 2.零拷贝技术

数据库数据本身也是属于磁盘数据啊，为什么在存储的时候将数据库换成本地磁盘，qps会提高一个数量级呢？

消费者接收到消息后，放入到线程池里面，那么在线程池里对消息处理完之后，如何实现返回ack给kafka呢

Kafka 通过 JMX 暴露了消息堆积的数据，我在本地启动了一个 console consumer，然后使用 jconsole 连接 consumer 就可以看到 consumer 的堆积数据了（就是下图中红框里的数据）。 意思是说，生产环境Linux服务器上的kafka服务，我可以在本地写一个consumer订阅broker, 然后能通过jconsole可以看到kafka里的消息队列情况？

消息处理时避免耗时操作也很重要

老师，请问怎么采集每个consumer的JMX数据呢，让监控程序去连接每一个consumer应用吗？

老师，我想问一下，消息中间件的读写都是顺序的吗？写文件的时候会先写到pageCache中，然后往文件写，写文件的时候应该是一行一行写的吧？如果不写入pageCache直接写入文件，也是一行一行写的吧，有什么区别吗？比如说写到文件的第1万行了，再往后继续写，是可以快速定位到这个位置的吗？读取消息的时候也是读的文件，假如说读到了第1万行，再往后读，也是可以很快定位到这个1万行吗？java有没有api，比如说，我直接读取第1万行的数据？

零拷贝时，从内核缓冲区到socket缓冲区是否可以通过共享缓冲区的方式，再减少一次拷贝？谢谢！