hello zero2021-04-12老师，分布式架构里的Poller和Agent，有没有现成的组件，还是需要定制开发？作者回复: 日志采集的Poller/Agent有很多，如Elastic Filebeat，Fluentd等等，也可以按需自己定制开发。
那只羊2020-08-09老师可以分享一下，基于长连接（TCP或者UDP）场景下的应用，比如IM社交，客服系统，大规划消息推送服务；这些应用在进行分布式实践中的一些思路吗？ 我自己设计了一套基于UDP协议的推送服务（Netty），暂且叫push_server吧！通讯双方，push_server做了：登录（验证）、用户在线列表（查找用户是否在线）、消息透传（核心能力）； 目前已经将服务优化到吞吐可每秒大约4万左右，但是还是处于单机模式，最多就是加了台热备机，因为将后来不可能一直使用这种模式，想现在着手改造成分布式服务的架构，但是在项目实践过程中，感觉没有web应用的好做，苦恼于此，希望老师能指点下，非常感谢！！作者回复: 大规模通知系统可以考虑基于MQ + Workers模式搭建，MQ可以基于分布式的Kafka，Workers(相当于消费者)可以按需扩容。 另外参考（可能需要翻墙） https://blog.gojekengineering.com/how-we-manage-a-million-push-notifications-an-hour-549a1e3ca2c2 https://speakerdeck.com/cubicdaiya/building-high-performance-push-notification-server-in-go
满心2022-08-21 来自湖南老师，有个疑问，爬虫计算任务在归并计算的时候，怎么保证所有聚合服务已经提交结果到DB当中？如果某一个聚合服务由于网络等原因，没有及时将聚合结果更新到db，那最后归并计算出来的结果就会不准确
战国2021-10-09这里面有一个疑问，就是日志的消费者只看到一个。 如果是扩展到多个，那就需要用分布式的堆了吧？还是各自找，最后再聚合？不过这里就有准确性的问题； 这里特别提到了分区，也就是可能根据ip进行一定程度消息分区，好像也能解决，最后将ip的访问量聚合的时候再对比一下，找出最高的；共 1 条评论