深入浅出云计算
何恺铎
复星集团首席架构师
24360 人已学习
新⼈⾸单¥29
登录后,你可以任选4讲全文学习
课程目录
已完结/共 19 讲
结束语 (1讲)
深入浅出云计算
15
15
1.0x
00:00/00:00
登录|注册

10 | 对象存储:看似简单的存储服务都有哪些玄机?

自动记录对象的多个版本,支持回滚和恢复
可以设置过期规则,自动执行清理操作
存储级别包括热、冷、归档等,根据访问频率设置不同的存储类型
如何解决本地数据中心上传大量数据到云对象存储的带宽有限的问题?
如何临时地分享一个对象给特定的外部用户?
可以作为文件服务器对外提供服务,支持静态网站和CDN服务的集成
支撑大数据应用,作为数据湖解决方案的关键组成部分
适用于数据备份、中间结果的临时落地、处理结果数据的永久保存
版本管理
生命周期管理
存储分层
具有巨大容量,适合处理大数据和小文件
对象存储内本身不存在真正的文件系统,而是键值形式的存储服务
区别于云硬盘,对象存储通过高层的API和SDK进行交互
对象存储是云上可以存放任意二进制文件的存储服务
云计算领域的“标配”
AWS的S3是著名的对象存储服务
思考题
对象存储的应用场景
对象存储的高级特性
初识对象存储
对象存储是PaaS服务中最常见的基础性服务
对象存储

该思维导图由 AI 生成,仅供参考

你好,我是何恺铎。今天起,我们展开来讲具体的 PaaS 服务。
我第一个要深入介绍的服务,当仁不让就是对象存储(Object Storage)了。因为它可以说是应用最广泛、最常见的基础性 PaaS 服务了,几乎每个云上的项目都会用到它。
对象存储,顾名思义,就是在云端,你可以存放任意对象的存储服务。你要注意,这里的“对象”指的是任意的二进制对象,保存到云上通常是以二进制文件的形式,你不要和“面向对象编程”中的对象混淆起来。
对象存储的历史,说起来和云计算一样悠久。AWS 著名的对象存储服务 S3(Simple Storage Service)早在 2006 年就发布了,甚至比它的虚拟机服务 EC2 还要早上几个月。
S3 对象存储服务从一开始发布,就以其简明易用、高可用低成本的特点,很快受到了市场的广泛欢迎。各个云计算厂商也纷纷跟进,推出了自己的对象存储产品。到现在,对象存储已经是云计算领域的“标配”了。
说到这里你可能会问,对象存储听上去的确很简单,无非就像一个文件服务器而已,需要用单独的篇幅来展开介绍吗?
答案当然是肯定的。要知道,对象存储不但注重打造存储的核心能力,还建立了一整套成熟的管理控制机制,更能够方便地与各种应用程序集成。所以,它值得我们来好好看一看。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

对象存储服务是云计算中的基础性服务之一,AWS的S3对象存储服务以简明易用、高可用低成本而受到广泛欢迎。对象存储与云硬盘的区别在于访问接口与形式,对象存储具有独立性,不需要依赖其他组件。对象存储的巨大容量和可扩展性使其成为大数据存储的理想选择。对象存储具有存储分层、生命周期管理、对象版本管理等高级特性,适用于数据备份、大数据应用等场景。文章还提出了思考题,引发读者思考。总的来说,对象存储服务是一项值得深入了解的技术,具有广泛的应用前景。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《深入浅出云计算》
新⼈⾸单¥29
立即购买
登录 后留言

全部留言(12)

  • 最新
  • 精选
  • qinsi
    1. 链接中带过期时间并签名,超时后链接自动失效 2.邮寄硬盘

    作者回复: 言简意赅的好答案!

    2020-03-25
    2
    28
  • 摇滚诗人M
    可以单独分享要分享的对象为公开,或者使用签名url。某公司和云存储之间带宽不够,可以加一条虚拟专用网到数据中心,带宽还不够的话,找运营商拉专线,最后云厂商有专用硬件可以上传大量数据的。

    作者回复: Perfect.

    2020-03-27
    7
  • ican_只会0到9
    将对象设置为完全公开是非常危险的,但如果我们要临时地分享一个对象,给特定的外部用户,应该怎样做呢? ------------ 通过特定的URL设置访问权限,分享给特定外部用户 2。假设你在本地数据中心,有大量的数据需要上传到云对象存储中,但互联网的带宽有限,上传需要很长的时间。对于这种情况有什么好办法吗? ------------- 结合CDN作为回源站点

    作者回复: CDN是用于数据的“下发”,而不是往云上“上传”哦。

    2020-03-25
    2
    3
  • Regis
    老师,因为我们数据权限要求不能放到公有云上,所以最近正在搭建一个新的存储平台,因为对象存储的3副本机制会占用大量的成本,1PB的数据就需要购买3PB的存储空间,成本很高,所以需要分场景处理,一部分数据做对象存储,另外一部分数据打算搭建NAS或SAN存储,老师对这样的场景有什么好的建议吗?

    作者回复: 私有云场景其实可以考虑采购存储厂商的一些存储硬件设备,这些设备能够提供容量和性能的保证,现在也吸取了云上存储分层等优点。你还可以考虑云厂商的“云存储网关”类的产品,帮助你私有云里的存储自动拓展到公有云上,一般也都支持上云自动加密,可以放心使用。

    2020-04-09
    1
  • zhang
    老师,对象存储中的数据是如何归档的? 归档之后为什么会便宜这么多呢?可以说归档存储的成本跟普通硬盘的性价比差不多了。

    作者回复: 归档能做到非常便宜,是因为存储介质不同。云厂商一般都不会透露具体的实现方法,但一般认为可能用到了磁带、光盘或低性能廉价硬盘,总之是通过特殊存储介质来实现的。这也部分解释了,为什么归档层数据的恢复需要比较长的时间。

    2020-03-27
    1
  • LindaWang
    1. 阿里云可以通过设计Bucket Policy来授权其他用户访问指定资源 2. 有的厂商会提供专门的工具,如GCS(Google Cloud Storage)会提供gsutil,通过-m参数,指定执行 并行copy (multi-threaded/multi-processing)

    作者回复: 启用并行传输的确是一个最佳实践。不过提高并行度也有一个理论上限,那就是本地数据中心到互联网的带宽。很多时候这个带宽并不高,无法满足大数据量快速传输。这时,还有其他的解决方法吗?

    2020-03-26
    2
    1
  • Joe Black
    对象存储的访问速度会不会不太理想呢?毕竟要写副本,还要走http协议。

    作者回复: 看以什么标准来判断了。首先对象存储的吞吐能力其实相当不错,所以做大数据分析是没有什么问题的;主要操作延迟方面如果和内存数据库比可能差一些,但也不算低,在实时性要求不高的场合,一般也能够接受的。

    2020-04-14
  • 胖子
    老师,单块云硬盘的最大容量由哪些因素决定的?我认为云硬盘的底层实现也是基于分布式架构的。

    作者回复: 很好的问题。理论上云硬盘是可以用纯软件分布式实现,但因为实际场景下要考虑性能、延迟、高可用,而且块设备是走非常底层的协议,所以基于存储硬件加low-level冗余机制来实现更合理。这也是为什么云盘有容量上限的原因。各个厂商的实现是商业秘密,应该也各有差异,很可能会配套专用存储设备和定制芯片。

    2020-04-14
  • leslie
    我觉得这就像我们平时用的云盘啊 第一个问题:应当可以通过类似于云盘加密的方式吧; 第二个问题:是不是可以先传到云服务器,云服务器和云存储之间的架构类似于内网;这样会方便和快许多。 谢谢老师今天的分享,期待后续分享。

    作者回复: 本地数据中心的数据传到云存储,和传到云虚拟机,都是通过互联网连接到云数据中心,带宽本质上区别不大的。所以这个方法不能解决问题。

    2020-03-25
  • 戴斌
    我们也用到了阿里云的OSS对象存储存放一些用户上传的文件,为集群节点存储数据带来了遍历,扩容节点的时候不再考虑存储问题。

    作者回复: 是的,这个场景很合适。

    2020-03-25
收起评论
显示
设置
留言
12
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部