40 | 互联网架构模板：“存储层”技术

李运华

很多人对于 BAT 的技术有一种莫名的崇拜感，觉得只有天才才能做出这样的系统，但经过前面对架构的本质、架构的设计原则、架构的设计模式、架构演进等多方位的探讨和阐述，你可以看到，其实并没有什么神秘的力量和魔力融合在技术里面，而是业务的不断发展推动了技术的发展，这样一步一个脚印，持续几年甚至十几年的发展，才能达到当前技术复杂度和先进性。
抛开 BAT 各自差异很大的业务，站在技术的角度来看，其实 BAT 的技术架构基本是一样的。再将视角放大，你会发现整个互联网行业的技术发展，最后都是殊途同归。
如果你正处于一个创业公司，或者正在为成为另一个 BAT 拼搏，那么深入理解这种技术模式（或者叫技术结构、技术架构），对于自己和公司的发展都大有裨益。
互联网的标准技术架构如下图所示，这张图基本上涵盖了互联网技术公司的大部分技术点，不同的公司只是在具体的技术实现上稍有差异，但不会跳出这个框架的范畴。
从本期开始，我将逐层介绍每个技术点的产生背景、应用场景、关键技术，有的技术点可能已经在前面的架构模式部分有所涉及，因此就不再详细展开技术细节了，而是将关键技术点分门别类，进而形成一张架构大图，让架构师对一个公司的整体技术架构有一个完整的全貌认知。

公开

同步至部落

取消

完成

0/2000

荧光笔

直线

曲线

笔记

复制

AI

深入了解
翻译
英语
中文简体
中文繁体
法语
德语
日语
韩语
俄语
西班牙语
阿拉伯语
解释
总结

仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《从 0 开始学架构》，新⼈⾸单¥68

立即购买

登录后留言

全部留言(39)

最新
精选

名贤集
这篇文章写的很好，但是参考了2016年的一片文章太多内容，请慎重引用其它文章内容
作者回复: 你说的是CSDN吧，我就是原作者呀，在原来的基础上有一些补充
13
263
feifei
我觉得是几个方面导致的问题： 1，存储平台的开发成本高，由于存储平台是核心的平台，高可用，高性能是必须的，这就导致需要经验丰富的高级工程师来开发。而云平台作为服务提供商，有能力开发出来存储平台。 2，需要使用存储平台的公司不多，而且一般是大型的公司，小公司的业务规模都不大，对于存储平台的需求基本不高，云平台面向的是所以用户，众口难调，必然提供基础服务 3，云平台的存储平台是收费的，能为企业带来经济效益，而开源的存储平台，投入巨大，能使用的却很少，也就失去了意义总结一下，云平台的存储平台，面向的是所有用户，包括大公司，有这方面的需求，而且是收费的，能够为平台带来收入；开源存储平台，服务的用户很少，投入巨大，所以没有
作者回复: 分析很正确👍

66
only
架构师需要懂这么多技术吗？这是一件非常困难的事，特别在中小公司，员工都是当畜生用的，没有那么多学习时间
作者回复: 要是很容易成为架构师，那个就不会是技术人员的梦想了😄😄
2
35
公告-SRE运维实践
上云方案对于很多小型公司来说，是一种最简单的方式了，成本低，性能可用性都能达到很高的水平。而开源的平台存储受限于几个条件 1 涉及到的存储太多，开发测试都需要很大的人力 2 小公司没条件采用，大公司有自己的，使用的人不多，不能快速迭代发展 3 没有大型公司的参与，无法推广使用
作者回复: 赞同👍

17
krugle
可以讲下服务器容量规划设计吗
作者回复: 简单来说分几个步骤：1. 初步估计，参考业界类似开源系统的性能，评估系统性能上限，例如做消息队列可以参考RocketMQ；2. 性能测试，等系统出来后做压测，测试系统真实性能；3. 逐步调优，绝大部分系统不会一开始就做到最优，逐步优化才是现实途径
2
14
Geek_88604f
存储平台都是各大互联网公司根据自身的业务发展特点、业务复杂度、业务规模量身打造的，逐步演进来的。其特点是功能强、规模大、复杂度高、有很高技术门槛。即使开源出来也几乎没有人用，小公司用不了（没有发展到那个阶段），大公司不会用（因为业务特点不一样，虽然有规模有技术）小公司没有能力用不代表他们不想用。这些小公司如果能在底层存储方面得到支持，一方面可以降低业务开发的复杂度加快业务上线的时间，另一方面能保证底层存储的稳定性，保证良好的质量口碑，对业务发展还是很有好处的。对于大公司来说放着这么优秀的存储平台技术不去变现那也是很大的浪费。况且大规模的存储平台到云华的距离已经很近了。有需求就有供给，如果将存储平台技术以云服务的形式开放出去，一方面推动了中小公司的发展，另一方面自己也赚得盆满钵溢。
作者回复: 写的很好，目前基本上就是云服务了
2
12
吕浩
存储平台虽然是软件系统，也要基于大量的硬件来实现。小规模公司没有这个硬件规模，选择云存储会降低成本。
作者回复: 这是其中一个点，中小公司其实不需要存储平台

9
钱
华仔，感觉这是扩展式介绍，不够深入和细致呀！比如：现在要设计一个小文件存储系统，大概5亿+个小文件，其实学完还是不知道具体该怎么思考？怎么设计？怎么存储文件？怎么存放性能最佳？一台服务器存不下怎么水平扩展？查询时怎方便查找？怎么迅速的查找？文件之间是否存在结构关系？😀 信息的存储，不管信息是以什么面相示人，核心在怎么存？怎么查？不同的信息有不同的结构，判断出合适的存储结构，这个很关键呀!下面就是，怎么再利用他方法加快存储的性能，如果单机容量到了瓶颈，以什么方式扩展才比较好？这些也很关键，我想听老师讲讲这些，学完后自己能设计一下，玩一把。
作者回复: 每个章节细化下去就是一个大专栏了，写几篇的目的是给架构师一个全局视角来看一个公司的技术架构是什么样的
2
6
Kim
请问老师，数据库的分布式与分布式数据库有什么区别没有
作者回复: 数据库分布式=你在数据库的基础上实现分布式分布式数据库=数据库自己实现了分布式例如ES，就属于分布式存储，它本身实现了分片，副本，切换，复制，故障恢复等功能; 而MySQL只实现了集群复制。

5
Sam.张朝
存储发展到平台，需要体量很大的公司，大部分公司都不能到这样的量级。就算开发出来，用户少，成本高，收益几乎没有。
作者回复: 赞同

4

收起评论