分布式系统案例课
杨波
前携程 / 拍拍贷技术总监,微服务技术专家
11809 人已学习
新⼈⾸单¥59
课程目录
已完结/共 66 讲
第一章 课程介绍 (2讲)
时长 09:20
时长 04:42
第二章 如何设计一个分布式计数服务 - 系统设计面试案例 (7讲)
第五章 如何设计一个高并发无状态的会话缓存服务 - 携程SessionServer案例 (5讲)
第十章 课程回顾&结课测试 (1讲)
分布式系统案例课
登录|注册
留言
4
收藏
沉浸
阅读
分享
手机端
回顶部
当前播放: 41 | 如何设计一个分布式TopK系统实现实时防爬虫?
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.75x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
01 | 课程介绍
02 | 内容综述
03 | 需求收集和总体架构设计
04 | 存储设计
05 | 计数服务设计(上)
06 | 计数服务设计(下)
07 | 查询服务设计
08 | 技术栈选型
09 | 进一步考量和总结
10 | PMQ 2.0项目背景
11 | PMQ 2.0的设计解析(上)
12 | PMQ 2.0的设计解析(中)
13 | PMQ 2.0的设计解析(下)
14 | PMQ 3.0的演进
15 | Kafka的动态重平衡是如何工作的?(上)
16 | Kafka的动态重平衡是如何工作的?(下)
17 | 消息队列设计和治理最佳实践
18 | 第四章目录和大纲
19 | 微服务的四大技术难题是什么?
20 | 如何解决微服务的数据一致性分发问题?
21 | 如何解决微服务的数据聚合Join问题?
22 | 如何解决微服务的分布式事务问题?(上)
23 | 如何解决微服务的分布式事务问题?(下)
24 | 阿里分布式事务中间件Seata解析
25 | Uber微服务编排引擎Cadence解析
26 | 如何理解Uber Cadence的架构设计?
27 | 如何实现遗留系统的解耦拆分?
28 | 拍拍贷系统拆分项目案例
29 | CQRS/CDC技术在Netflix的实践
30 | 第四章总结
31 | SessionServer项目背景
32 | 总体架构设计
33 | 如何设计一个高性能基于内存的LRU Cache?
34 | 如何设计一个高性能大容量持久化的ConcurrentHashmap?
35 | 设计评估和总结
36 | SaaS项目healthchecks.io的背景和架构(上)
37 | SaaS项目healthchecks.io的背景和架构(下)
38 | 如何设计一个轻量级的基于DB的延迟任务队列?
39 | 如何设计一把轻量级的锁?
40 | 如何设计一个分布式限流系统?
41 | 如何设计一个分布式TopK系统实现实时防爬虫?
42 | 第七章目标和大纲
43 | 为什么说ServiceMesh是微服务的未来(上)
44 | 为什么说ServiceMesh是微服务的未来(下)
45 | 解析Envoy Proxy(上)
46 | 解析Envoy Proxy(下)
47 | Envoy在Lyft的实践
48 | 解析Istio
49 | K8s Ingress、Istio Gateway和API Gateway该如何选择?(上)
50 | K8s Ingress、Istio Gateway和API Gateway该如何选择?(下)
51 | Spring Cloud、K8s和Istio该如何集成?
52 | 第八章目标和大纲
53 | 拍拍贷案例:大型网站架构是如何演进的?
54 | 最小可用架构:Minimum Viable Architecture(上)
55 | 最小可用架构:Minimum Viable Architecture(下)
56 | 如何构建基于OAuth2/JWT的微服务架构?(上)
57 | 如何构建基于OAuth2/JWT的微服务架构?(下)
58 | 拍拍贷案例:如何实现数据中心机房的迁移?
59 | 携程/Netflix案例:如何实现同城双活和异地多活?
60 | 第九章大纲
61 | 学习开源项目的6个层次和8种方法(上)
62 | 学习开源项目的6个层次和8种方法(中)
63 | 学习开源项目的6个层次和8种方法(下)
64 | 百万年薪架构师是如何炼成的?
65 | 解读一份大厂的研发岗职级体系
66 | 结课测试&结束语
登录 后留言

全部留言(4)

  • 最新
  • 精选
hello zero
老师,分布式架构里的Poller和Agent,有没有现成的组件,还是需要定制开发?

作者回复: 日志采集的Poller/Agent有很多,如Elastic Filebeat,Fluentd等等,也可以按需自己定制开发。

2021-04-12
那只羊
老师可以分享一下,基于长连接(TCP或者UDP)场景下的应用,比如IM社交,客服系统,大规划消息推送服务;这些应用在进行分布式实践中的一些思路吗? 我自己设计了一套基于UDP协议的推送服务(Netty),暂且叫push_server吧!通讯双方,push_server做了:登录(验证)、用户在线列表(查找用户是否在线)、消息透传(核心能力); 目前已经将服务优化到吞吐可每秒大约4万左右,但是还是处于单机模式,最多就是加了台热备机,因为将后来不可能一直使用这种模式,想现在着手改造成分布式服务的架构,但是在项目实践过程中,感觉没有web应用的好做,苦恼于此,希望老师能指点下,非常感谢!!

作者回复: 大规模通知系统可以考虑基于MQ + Workers模式搭建,MQ可以基于分布式的Kafka,Workers(相当于消费者)可以按需扩容。 另外参考(可能需要翻墙) https://blog.gojekengineering.com/how-we-manage-a-million-push-notifications-an-hour-549a1e3ca2c2 https://speakerdeck.com/cubicdaiya/building-high-performance-push-notification-server-in-go

2020-08-09
满心
老师,有个疑问,爬虫计算任务在归并计算的时候,怎么保证所有聚合服务已经提交结果到DB当中?如果某一个聚合服务由于网络等原因,没有及时将聚合结果更新到db,那最后归并计算出来的结果就会不准确
2022-08-21
战国
这里面有一个疑问,就是日志的消费者只看到一个。 如果是扩展到多个,那就需要用分布式的堆了吧?还是各自找,最后再聚合?不过这里就有准确性的问题; 这里特别提到了分区,也就是可能根据ip进行一定程度消息分区,好像也能解决,最后将ip的访问量聚合的时候再对比一下,找出最高的;
2021-10-09
1
收起评论