大数据应用实战
15
15
1.0x
00:00/00:00
登录|注册

07|云原生(上):云原生选型是否能够降本增效?

你好,我是曹犟。
在前面几节课中,我们分别学习了大数据系统的整体架构设计、数据采集、传输、存储和计算等核心环节,在这个过程中,我们提到的绝大部分开源组件,都有公有云供应商提供云原生的部署方案。
云原生也是当下一个非常重要的技术潮流,它对于我们整个技术方案的整体设计、软硬件以及运维成本,都有直接的影响。因此,我们会花两节课的篇幅,专门来讨论一下大数据系统的云原生选型。而在第一节课中,我们先讨论一下,什么是云原生大数据,以及在做云原生大数据设计时应该考虑哪些问题。

大数据和云原生

在讨论云原生大数据之前,我们需要先明确什么是云原生。
云原生不仅仅是把应用部署在云上那么简单。它是一种构建和运行应用的方法论,充分利用了云计算的弹性、分布式、自动化等特性。
当下的云原生技术,以容器为交付单位,以微服务拆解复杂业务,以声明式 API 与不可变基础设施确保一致性,再配合 DevOps 技术,来通过自动化编排与自愈能力实现快速迭代、弹性伸缩和故障自愈。通过服务网格化和完备的可观测性体系,如日志、指标、监控等,云原生把环境差异与运维复杂度“平台化”,让团队聚焦于业务价值而非底层细节。
从这个角度来看,大数据和云原生并不是互斥的概念,它们之间天然就是 “搭档关系”。大数据关注的是数据处理——如何采集、存储、分析海量、多样化、快速生成的数据,并从中挖掘价值;云原生关注的是应用构建与部署方式——如何让应用在云环境中更高效、弹性、可扩展地运行。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
  • 解释
  • 总结

1. 云原生是一种构建和运行应用的方法论,充分利用了云计算的弹性、分布式、自动化等特性,以容器为交付单位,以微服务拆解复杂业务,通过自动化编排与自愈能力实现快速迭代、弹性伸缩和故障自愈。 2. 大数据和云原生天然是“搭档关系”,大数据为云原生赋予了更丰富的应用场景,而云原生为大数据提供了理想的运行环境。 3. 云原生的容器化打包和编排让大数据平台的部署、升级、回滚更标准化、自动化,减少了不同环境间的差异问题,避免了系统开发出现的问题。 4. 选择云原生方案不是非黑即白的决定,需要根据自身的业务特点、技术能力、成本预算等多方面因素综合考虑。 5. 云原生方案在某些场景下能够带来实实在在的价值,但在成本上并不总是最划算,需要根据自身业务情况和财务需求来权衡。 6. 技术团队在架构设计时需要考虑成本因素,建立成本意识,根据自身业务情况和财务需求来选择合适的云原生技术层级。 7. 云原生并不总是具有成本优势的,需要建立成本监控体系,实时监控各项服务的费用,设置预算警报,并根据负载特点选择不同的定价模式。 8. 云原生方案需要根据自身业务情况、财务需求而定,需要根据自己的业务情况、财务需求来选择合适的层级。 9. 技术团队在架构设计时需要考虑成本因素。 These key points summarize the main ideas and considerations related to cloud-native technology and its application in big data systems. They emphasize the importance of evaluating various factors, such as business needs, technical capabilities, and cost considerations, when deciding on the adoption of cloud-native solutions.

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《大数据应用实战》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(1)

  • 最新
  • 精选
  • 大寒
    思考题1:作为规模不大且还要有大数据处理能力组织来讲,选择云原生更合适,应该是老师所讲的平台服务层面,为什么不进一步往上走从我个人角度出来有两点考量:1.之前就有了较为成熟的数据系统,没必要为了适应云原生而抛弃之前的东西;2.也是考虑到与云厂商谈判时相对独立性,方便议价(ps:作为基层人员来说会有角度受限).我想起了曾经我和学文科的朋友去解释云这一类场景,我用的是住房来做比。选择自建云比做自己采买物料建房,而选择云则是选择买公寓楼房,开放商建好后自己再收拾入住。而楼房中,毛坯与精装修的发挥空间也是不同的,价位也不一样。不知道老师是否认可这个类比场景。 思考题2:我个人感觉老师可以再把数据量夸大些,因为就我个人而言公司的计算都是基于云上的,那么无论是10万还是100万都不算数据量很大的场景。我个人更关注的点是双11的瞬时QPS峰值情况,但是数据服务我刚接触可能想到的也只有这点。另外,从我个人之前观察的事情而言(不知道是否正确),云厂商提供的扩缩容也不是那种数据膨胀了就立马扩张,也是需要一个过程。所以之前听其他人员讨论时可能会更偏向于多买几个机器资源应对双十一情形,过后再退,算是当时认为的最优解。 思考题3:我个人理解的话交易数据的每个字段记录也并不是敏感字段,应该说还是看数据量大小问题。如果交易量不小的情况下,我可能会把其中的敏感信息剥离出来放入到本地,或者云厂商提供的地方(脱敏+本地解密是否是一个好的选择?)然后控制好权限。其余数据还是放入到云厂商中吧。这里的经历确实不是很多,所以暂时想不到更多的了。

    作者回复: 你好,非常感谢你对三个思考题都做了这么详细和深入的思考。从你的回答中,我能看出你有丰富的实践经验,而且很多观点都非常有见地。让我逐一回应。 关于思考题 1。你用住房来类比云服务的不同层级,这个比喻非常贴切。自建云像是自己盖房,需要从地基、砖瓦、水电全部自己搞定;IaaS 层像是毛坯房,基础设施都有了,但装修要自己来;PaaS 层像是精装房,基本拎包入住,但还能做一些个性化调整;SaaS 层则像是酒店公寓,完全开箱即用,但灵活性最低。这个类比非常形象,我在给非技术背景的人解释云计算时也可以借鉴。 我想补充一点,保持独立性和使用云服务并不矛盾。关键是要做好架构分层,核心的业务逻辑和数据处理逻辑,应该与底层基础设施解耦。这样即使更换云厂商,或者从云上迁移到自建,成本也是可控的。 关于思考题 2。你的观察非常敏锐。你说得对,我在思考题中设定的数据量确实相对保守了。你关注的瞬时 QPS 峰值,这个角度很好。弹性伸缩要应对的,往往不仅是数据总量的增长,更重要的是瞬时流量的峰值。关于扩缩容的时间问题,你的理解是对的。云原生的自动扩缩容确实不是瞬时完成的,通常需要几分钟到十几分钟不等,这取决于具体的云服务和配置。不同的云服务,扩缩容的速度和灵活性也不一样。比如,Serverless 类型的服务,扩缩容速度通常更快,可以做到秒级响应;而基于虚拟机的服务,扩容需要启动新的实例,通常需要几分钟;基于容器的服务,介于两者之间。所以,如果是可预见的流量高峰,比如双十一,提前做好扩容,做好“预热”,这种“提前手动扩容 + 自动扩缩容兜底”的组合策略,是一个很好的方案。 关于思考题 3,数据的敏感程度,确实要看具体的字段,而不是一刀切地认为所有交易数据都是高敏感的。比如,交易金额、交易时间、商品类型等,通常是中敏感或低敏感的;而银行卡号、支付密码、身份证号等,才是高敏感的。 你提到的“敏感信息剥离出来放到本地,其余数据放到云上”,这是混合云架构中常见的做法,也就是数据分级分域存储。具体来说,可以这样设计:高敏感字段,比如完整的银行卡号、身份证号,存储在本地或私有云,采用严格的加密和访问控制;中低敏感字段,比如交易金额、商品信息,可以存储在公有云,利用云的弹性和成本优势;在公有云中,只保留高敏感字段的加密 ID 或脱敏后的版本,比如银行卡号只保留后四位。 另外,你提到了“控制好权限”,这一点非常重要。无论数据存储在哪里,严格的权限控制都是数据安全的基础。要做到:最小权限原则,用户只能访问其工作必需的数据;分级授权,敏感数据的访问需要更高级别的审批;操作审计,所有对敏感数据的访问都要记录审计日志。 期待你在后续的学习中继续分享你的思考和实践,也欢迎随时交流遇到的问题。

    2025-11-07归属地:北京
收起评论
显示
设置
留言
1
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部
文章页面操作
MAC
windows
作用
esc
esc
退出沉浸式阅读
shift + f
f11
进入/退出沉浸式
command + ⬆️
home
滚动到页面顶部
command + ⬇️
end
滚动到页面底部
⬅️ (仅针对订阅)
⬅️ (仅针对订阅)
上一篇
➡️ (仅针对订阅)
➡️ (仅针对订阅)
下一篇
command + j
page up
向下滚动一屏
command + k
page down
向上滚动一屏
p
p
音频播放/暂停
j
j
向下滚动一点
k
k
向上滚动一点
空格
空格
向下滚动一屏
播放器操作
MAC
windows
作用
esc
esc
退出全屏
⬅️
⬅️
快退
➡️
➡️
快进
空格
空格
视频播放/暂停(视频全屏时生效)