SendGrid如何扩展它的邮件传送系统?
极客时间编辑部
讲述:丁婵大小:1.13M时长:02:29
SendGrid 是一个基于云的电子邮件服务,它的后端架构从小型 Postfix,演变为托管在自有数据中心以及公共云上的系统。可以使用 Go 语言来重写服务,逐步迁移到 AWS,并且使用基于 Ceph(Ceph 是一个开源的存储平台,通过复制来实现内置的容错机制)的分布式队列,因此,团队每个月可以处理超过 400 亿封的电子邮件。
据了解,SendGrid 的初始架构由边缘节点组成,这些边缘节点通过 HTTP 和 SMTP API,来摄取用户的请求,并将它们发送到基于磁盘的队列中。最近,InfoQ 采访了 SendGrid 首席软件工程师赛斯·阿曼斯(Seth Ammons),以了解他们是如何扩展 SendGrid 的邮件传送系统的。
他们在演化系统方面做了很多工作,包括使用 Go 语言和 Python 重写了很多系统、迁移到 AWS 托管服务、使用分布式队列,并采用日志聚合和监控系统来实现可见性。
其中,SendGrid 的监控系统由 Graphite(作为指标收集引擎)和 Grafana(作为查看指标的前端)组成。团队将它们推送到 Kafka 和 Splunk 上,来实现日志聚合。
在测试方面,SendGrid 面临的挑战随着架构的演变而加剧。因为变更导致的生产中断,可能会导致电子邮件的丢失,因此,团队的目标是提高单元测试和集成测试的全面性。由于存在大量的电子邮件客户端,而且每个客户端都有许多不断变化的版本,因此,保持测试更新是一项巨大的挑战。
阿曼斯介绍,他们的解决之道是,团队专注于 SMTP 状态码,对错误代码和错误消息文本进行了扩展。由于这些响应会随着时间的推移而发生变化,因此,他们成立了一个可交付性的顾问团队,以确保能够以最有效的方式处理电子邮件。
该团队密切监控主要收件箱的响应趋势,并维护了一个响应表,用于处理这些响应的规则。在处理来自收件箱的响应时,MTA 代码将引用这个表。
另外,他们的单元集成测试使用了 Docker。开发环境也使用了 Docker,其中,Docker 的 compose 文件被用于管理所需的整个容器集和依赖项。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论