07|云原生(上):云原生选型是否能够降本增效?

大数据和云原生
- 深入了解
- 翻译
- 解释
- 总结

1. 云原生是一种构建和运行应用的方法论,充分利用了云计算的弹性、分布式、自动化等特性,以容器为交付单位,以微服务拆解复杂业务,通过自动化编排与自愈能力实现快速迭代、弹性伸缩和故障自愈。 2. 大数据和云原生天然是“搭档关系”,大数据为云原生赋予了更丰富的应用场景,而云原生为大数据提供了理想的运行环境。 3. 云原生的容器化打包和编排让大数据平台的部署、升级、回滚更标准化、自动化,减少了不同环境间的差异问题,避免了系统开发出现的问题。 4. 选择云原生方案不是非黑即白的决定,需要根据自身的业务特点、技术能力、成本预算等多方面因素综合考虑。 5. 云原生方案在某些场景下能够带来实实在在的价值,但在成本上并不总是最划算,需要根据自身业务情况和财务需求来权衡。 6. 技术团队在架构设计时需要考虑成本因素,建立成本意识,根据自身业务情况和财务需求来选择合适的云原生技术层级。 7. 云原生并不总是具有成本优势的,需要建立成本监控体系,实时监控各项服务的费用,设置预算警报,并根据负载特点选择不同的定价模式。 8. 云原生方案需要根据自身业务情况、财务需求而定,需要根据自己的业务情况、财务需求来选择合适的层级。 9. 技术团队在架构设计时需要考虑成本因素。 These key points summarize the main ideas and considerations related to cloud-native technology and its application in big data systems. They emphasize the importance of evaluating various factors, such as business needs, technical capabilities, and cost considerations, when deciding on the adoption of cloud-native solutions.
《大数据应用实战》,新⼈⾸单¥59
全部留言(1)
- 最新
- 精选
大寒思考题1:作为规模不大且还要有大数据处理能力组织来讲,选择云原生更合适,应该是老师所讲的平台服务层面,为什么不进一步往上走从我个人角度出来有两点考量:1.之前就有了较为成熟的数据系统,没必要为了适应云原生而抛弃之前的东西;2.也是考虑到与云厂商谈判时相对独立性,方便议价(ps:作为基层人员来说会有角度受限).我想起了曾经我和学文科的朋友去解释云这一类场景,我用的是住房来做比。选择自建云比做自己采买物料建房,而选择云则是选择买公寓楼房,开放商建好后自己再收拾入住。而楼房中,毛坯与精装修的发挥空间也是不同的,价位也不一样。不知道老师是否认可这个类比场景。 思考题2:我个人感觉老师可以再把数据量夸大些,因为就我个人而言公司的计算都是基于云上的,那么无论是10万还是100万都不算数据量很大的场景。我个人更关注的点是双11的瞬时QPS峰值情况,但是数据服务我刚接触可能想到的也只有这点。另外,从我个人之前观察的事情而言(不知道是否正确),云厂商提供的扩缩容也不是那种数据膨胀了就立马扩张,也是需要一个过程。所以之前听其他人员讨论时可能会更偏向于多买几个机器资源应对双十一情形,过后再退,算是当时认为的最优解。 思考题3:我个人理解的话交易数据的每个字段记录也并不是敏感字段,应该说还是看数据量大小问题。如果交易量不小的情况下,我可能会把其中的敏感信息剥离出来放入到本地,或者云厂商提供的地方(脱敏+本地解密是否是一个好的选择?)然后控制好权限。其余数据还是放入到云厂商中吧。这里的经历确实不是很多,所以暂时想不到更多的了。作者回复: 你好,非常感谢你对三个思考题都做了这么详细和深入的思考。从你的回答中,我能看出你有丰富的实践经验,而且很多观点都非常有见地。让我逐一回应。 关于思考题 1。你用住房来类比云服务的不同层级,这个比喻非常贴切。自建云像是自己盖房,需要从地基、砖瓦、水电全部自己搞定;IaaS 层像是毛坯房,基础设施都有了,但装修要自己来;PaaS 层像是精装房,基本拎包入住,但还能做一些个性化调整;SaaS 层则像是酒店公寓,完全开箱即用,但灵活性最低。这个类比非常形象,我在给非技术背景的人解释云计算时也可以借鉴。 我想补充一点,保持独立性和使用云服务并不矛盾。关键是要做好架构分层,核心的业务逻辑和数据处理逻辑,应该与底层基础设施解耦。这样即使更换云厂商,或者从云上迁移到自建,成本也是可控的。 关于思考题 2。你的观察非常敏锐。你说得对,我在思考题中设定的数据量确实相对保守了。你关注的瞬时 QPS 峰值,这个角度很好。弹性伸缩要应对的,往往不仅是数据总量的增长,更重要的是瞬时流量的峰值。关于扩缩容的时间问题,你的理解是对的。云原生的自动扩缩容确实不是瞬时完成的,通常需要几分钟到十几分钟不等,这取决于具体的云服务和配置。不同的云服务,扩缩容的速度和灵活性也不一样。比如,Serverless 类型的服务,扩缩容速度通常更快,可以做到秒级响应;而基于虚拟机的服务,扩容需要启动新的实例,通常需要几分钟;基于容器的服务,介于两者之间。所以,如果是可预见的流量高峰,比如双十一,提前做好扩容,做好“预热”,这种“提前手动扩容 + 自动扩缩容兜底”的组合策略,是一个很好的方案。 关于思考题 3,数据的敏感程度,确实要看具体的字段,而不是一刀切地认为所有交易数据都是高敏感的。比如,交易金额、交易时间、商品类型等,通常是中敏感或低敏感的;而银行卡号、支付密码、身份证号等,才是高敏感的。 你提到的“敏感信息剥离出来放到本地,其余数据放到云上”,这是混合云架构中常见的做法,也就是数据分级分域存储。具体来说,可以这样设计:高敏感字段,比如完整的银行卡号、身份证号,存储在本地或私有云,采用严格的加密和访问控制;中低敏感字段,比如交易金额、商品信息,可以存储在公有云,利用云的弹性和成本优势;在公有云中,只保留高敏感字段的加密 ID 或脱敏后的版本,比如银行卡号只保留后四位。 另外,你提到了“控制好权限”,这一点非常重要。无论数据存储在哪里,严格的权限控制都是数据安全的基础。要做到:最小权限原则,用户只能访问其工作必需的数据;分级授权,敏感数据的访问需要更高级别的审批;操作审计,所有对敏感数据的访问都要记录审计日志。 期待你在后续的学习中继续分享你的思考和实践,也欢迎随时交流遇到的问题。
2025-11-07归属地:北京