40 | 互联网架构模板:“存储层”技术
该思维导图由 AI 生成,仅供参考
- 深入了解
- 翻译
- 解释
- 总结
互联网架构模板中的存储层技术是互联网公司技术架构中的重要组成部分。本文从SQL、NoSQL和小文件存储三个方面介绍了存储层技术的发展和应用。首先,SQL作为关系数据的存储方式,在互联网行业中不可或缺,但随着业务发展,需要面对数据库拆分和复杂度问题。其次,NoSQL作为SQL的补充,在互联网行业中得到广泛应用,尤其在大规模集群下的存储平台实现方面具有重要意义。最后,小文件存储作为业务无关的平台,对于处理大量小数据具有重要意义,可以通过开源方案封装实现。整体而言,本文总结了互联网公司在存储层技术方面的发展趋势和应用实践,对于了解互联网技术架构具有重要参考价值。 在互联网行业的存储方面,大文件存储主要分为业务上的大数据和海量的日志数据。Google和Yahoo在大数据处理方面有重要贡献,而Hadoop系列开源方案基本垄断了大数据处理领域。随着开源方案的成熟,大数据存储和处理变得更加简单,主要使用流行的开源方案如Hadoop、HBase、Storm、Hive等。一些大公司会基于这些开源方案,结合自身业务特点,封装成大数据平台。总的来说,存储技术发展到最后都是基于某个开源方案搭建统一的存储平台。 总的来说,本文介绍了互联网架构模板中的存储层技术,展示了存储技术的发展趋势和应用实践。读者可以通过本文快速了解互联网存储技术的发展和应用,对于了解互联网技术架构具有重要参考价值。
《从 0 开始学架构》,新⼈⾸单¥68
全部留言(39)
- 最新
- 精选
- 名贤集这篇文章写的很好,但是参考了2016年的一片文章太多内容,请慎重引用其它文章内容
作者回复: 你说的是CSDN吧,我就是原作者呀,在原来的基础上有一些补充
2018-07-3013265 - feifei我觉得是几个方面导致的问题: 1,存储平台的开发成本高,由于存储平台是核心的平台,高可用,高性能是必须的,这就导致需要经验丰富的高级工程师来开发。而云平台作为服务提供商,有能力开发出来存储平台。 2,需要使用存储平台的公司不多,而且一般是大型的公司,小公司的业务规模都不大,对于存储平台的需求基本不高,云平台面向的是所以用户,众口难调,必然提供基础服务 3,云平台的存储平台是收费的,能为企业带来经济效益,而开源的存储平台,投入巨大,能使用的却很少,也就失去了意义 总结一下,云平台的存储平台,面向的是所有用户,包括大公司,有这方面的需求,而且是收费的,能够为平台带来收入;开源存储平台,服务的用户很少,投入巨大,所以没有
作者回复: 分析很正确👍
2018-07-3066 - only架构师需要懂这么多技术吗?这是一件非常困难的事,特别在中小公司,员工都是当畜生用的,没有那么多学习时间
作者回复: 要是很容易成为架构师,那个就不会是技术人员的梦想了😄😄
2018-11-23235 - 公告-SRE运维实践上云方案对于很多小型公司来说,是一种最简单的方式了,成本低,性能可用性都能达到很高的水平。而开源的平台存储受限于几个条件 1 涉及到的存储太多,开发测试都需要很大的人力 2 小公司没条件采用,大公司有自己的,使用的人不多,不能快速迭代发展 3 没有大型公司的参与,无法推广使用
作者回复: 赞同👍
2018-07-3017 - krugle可以讲下服务器容量规划设计吗
作者回复: 简单来说分几个步骤:1. 初步估计,参考业界类似开源系统的性能,评估系统性能上限,例如做消息队列可以参考RocketMQ;2. 性能测试,等系统出来后做压测,测试系统真实性能;3. 逐步调优,绝大部分系统不会一开始就做到最优,逐步优化才是现实途径
2018-07-29214 - Geek_88604f存储平台都是各大互联网公司根据自身的业务发展特点、业务复杂度、业务规模量身打造的,逐步演进来的。其特点是功能强、规模大、复杂度高、有很高技术门槛。即使开源出来也几乎没有人用,小公司用不了(没有发展到那个阶段),大公司不会用(因为业务特点不一样,虽然有规模有技术) 小公司没有能力用不代表他们不想用。这些小公司如果能在底层存储方面得到支持,一方面可以降低业务开发的复杂度加快业务上线的时间,另一方面能保证底层存储的稳定性,保证良好的质量口碑,对业务发展还是很有好处的。 对于大公司来说放着这么优秀的存储平台技术不去变现那也是很大的浪费。况且大规模的存储平台到云华的距离已经很近了。有需求就有供给,如果将存储平台技术以云服务的形式开放出去,一方面推动了中小公司的发展,另一方面自己也赚得盆满钵溢。
作者回复: 写的很好,目前基本上就是云服务了
2019-10-24212 - 吕浩存储平台虽然是软件系统,也要基于大量的硬件来实现。小规模公司没有这个硬件规模,选择云存储会降低成本。
作者回复: 这是其中一个点,中小公司其实不需要存储平台
2018-07-309 - 钱华仔,感觉这是扩展式介绍,不够深入和细致呀!比如:现在要设计一个小文件存储系统,大概5亿+个小文件,其实学完还是不知道具体该怎么思考?怎么设计?怎么存储文件?怎么存放性能最佳?一台服务器存不下怎么水平扩展?查询时怎方便查找?怎么迅速的查找?文件之间是否存在结构关系?😀 信息的存储,不管信息是以什么面相示人,核心在怎么存?怎么查?不同的信息有不同的结构,判断出合适的存储结构,这个很关键呀!下面就是,怎么再利用他方法加快存储的性能,如果单机容量到了瓶颈,以什么方式扩展才比较好?这些也很关键,我想听老师讲讲这些,学完后自己能设计一下,玩一把。
作者回复: 每个章节细化下去就是一个大专栏了,写几篇的目的是给架构师一个全局视角来看一个公司的技术架构是什么样的
2019-09-0326 - Kim请问老师,数据库的分布式与分布式数据库有什么区别没有
作者回复: 数据库分布式=你在数据库的基础上实现分布式 分布式数据库=数据库自己实现了分布式 例如ES,就属于分布式存储,它本身实现了分片,副本,切换,复制,故障恢复等功能; 而MySQL只实现了集群复制。
2018-11-085 - Sam.张朝存储发展到平台,需要体量很大的公司,大部分公司都不能到这样的量级。 就算开发出来,用户少,成本高,收益几乎没有。
作者回复: 赞同
2019-09-294