深入拆解消息队列 47 讲
许文强
前腾讯云 Kafka 技术负责人
5385 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 50 讲
深入拆解消息队列 47 讲
15
15
1.0x
00:00/00:00
登录|注册

38|Serverless:如何基于Serverless架构实现流式数据处理?

你好,我是文强。
从这节课开始,我们将用两节课的内容来梳理一下 Serverless 、Event(事件)、消息队列三者之间的关系和应用价值。这节课我们就聚焦如何基于 Serverless 架构实现流式处理,下节课会详细分析如何基于消息队列和 Serverless 设计事件驱动架构。
为什么要搞明白上述问题?我们从一张架构图讲起。
这是一张消息队列上下游生态的架构图,分为数据源、总线管道、数据目标三部分。可以看到消息队列在架构中处于缓存层,起到的是削峰填谷的缓冲作用。
从技术上看,构建以消息队列为中心的数据流架构,有很多现成的技术方案和开源框架。比如分布式流计算框架 Spark/Flink,开源体系内自带的 Kafka Stream、SeaTunnel/DataX 等数据集成产品,或者 ELK 体系下的采集和数据处理的组件 Logstash,都具有处理数据的能力。
然而在上面的架构中,存在一个问题:每种技术方案所适用的场景不一样,业务一般需要同时使用多种方案,而使用和运维多种方案的成本很高
为了解决使用和运维成本问题,接下来我们来学习一种非常实用的方案,那就是基于 Serverless Funciton 实现流式的数据处理。而为了让你对数据流场景有一个更深刻的理解,我们先来看几个业务中常见且典型的数据流场景。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

本文深入探讨了Serverless架构在流式数据处理中的应用。首先介绍了Serverless架构的定义和Serverless Function的概念,以及与Spark的比较。随后详细讲解了基于Serverless实现数据处理的流程和底层架构技术原理。通过使用Serverless Function平台,可以简化数据处理流程,降低开发和运维成本。文章还对基于开源方案和基于Serverless Function方案的优劣势进行了对比,并提供了日志清洗和事件流处理两个场景的实际案例。最后,指出了Serverless架构在流处理方案中的改进空间,包括支持持久化的函数运行态、更多的事件源、丰富的扩缩容因子和高阶算子的封装。整体而言,本文为读者提供了全面的技术视角和实践指导,是了解Serverless架构在流式数据处理中应用的重要参考资料。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《深入拆解消息队列 47 讲》
新⼈⾸单¥59
立即购买
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
显示
设置
留言
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部