许式伟的架构课
许式伟
七牛云 CEO
84945 人已学习
新⼈⾸单¥68
登录后,你可以任选4讲全文学习
课程目录
已完结/共 89 讲
许式伟的架构课
15
15
1.0x
00:00/00:00
登录|注册

18 | 架构:需求分析 (下) · 实战案例

对象存储的发展
对象存储的出现
文件系统对于大规模的文件型存储的问题
文件型存储的备选解决方案
对象存储的需求
应用构建
物理网络的构建
安全问题
互联网应用的典型代表
高层网络协议
需要的协议标准
开放的网络
互联网的影响
存储网关的作用
“对象存储”产品的市场机会
“互联网”产品的历史包袱
存储新兵 “对象存储”
打造 “互联网”
案例分析
实战案例
产品定义和市场策略
不同市场差异
需求分析 (下)
总结
架构
需求分析

该思维导图由 AI 生成,仅供参考

你好,我是七牛云许式伟。
今天,我们继续上一讲关于架构第一步 “需求分析” 的讨论。为了能够获得更加具体的观感,我们选了两个实战的案例,如下:
打造 “互联网”;
存储新兵 “对象存储”。

案例: 打造 “互联网”

从对信息科技的影响面来说,最为标志性的两个事件,一个是计算机的诞生,另一个是互联网的诞生。
我们前面在 “05 | 思考题解读: 如何实现可自我迭代的计算机?”这一讲中,已经剖析过一个 MVP 版本的计算机是什么样的。
今天,我们就以 “互联网” 这个产品为题,看看应该怎么去做需求分析。
我们想象一下,把我们自己置身于互联网诞生之前。互联网并不是第一张网。在此之前的信息世界中,更多的是某个企业专用的局域网。不同的企业会选择不同公司所提供的网络方案。这些网络方案缺乏统一的规划,彼此并不兼容。
那么,怎么才能打造一个连接人与人、企业与企业,甚至是物与物,能够 “连接一切” 的 “互联网”?
首先,从根源需求来说,我们期望这不是某个巨头公司的网,也不是政府的网。这是需求的原点,这一点上的不同,产生的结果可能就很不一样。
如果我们忽略这一点,就有可能会把它做成微信网(WechatNet),或者中国网(ChinaNet)。它们可能会是一张巨大的网,但都不是 “互联网”。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

本文深入探讨了架构中的需求分析,并以“互联网”和“对象存储”为实战案例进行了详细分析。对于“互联网”项目,文章强调了开放性和连接性的重要性,提出了构建互联网基础设施和应用的需求,包括互联网协议、骨干网络、高阶网络协议、典型互联网应用等。在物理网络构建方面,重点介绍了骨干网络和局域网的连接方式,以及路由器的作用。在应用构建方面,重点讨论了电子邮件和万维网的构建,以及引入域名和DNS地址簿协议的重要性。另外,文章还详细介绍了对象存储的兴起背景和需求变化,以及对象存储系统的特点和优势。对象存储的出现打破了传统文件型存储的限制,通过键值存储方式实现了文件之间的无关联存储,满足了大规模、高可靠、低成本、高并发吞吐能力的需求。文章通过实战案例深入浅出地介绍了架构需求分析的重要性和具体实施方法,对于技术人员和架构师具有一定的参考价值。文章还强调了不同市场差异的重要性,指出并不存在大一统的产品定义和市场策略,需要具体问题具体分析。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《许式伟的架构课》
新⼈⾸单¥68
立即购买
登录 后留言

全部留言(36)

  • 最新
  • 精选
  • 黄强
    互联网产品的核心需求或稳定点是“连接”,安全等其他需求属于变化点,所以在互联网产品设计中,连接交给了稳定的协议、物理设施等,安全交给软件层来实现以利于扩展

    作者回复: 👍

    2019-06-14
    3
    47
  • Longerian
    这是 Google 设计 GFS 的背景导致的,网页库存储,或者日志型存储的共同特征是单个文件很大,可以到几个 G 级别,这样的话文件系统的元数据就会减少到单台机器就可以存储的级别。 这句话咋理解?

    作者回复: 存储空间=单文件平均大小*文件数。在相同集群规模下,单文件平均大小越大,文件数越少。比如平均大小1M,和平均大小1G,文件数差1024倍。而元数据集群规模与文件数从正比,所以平均尺寸1G的集群,元数据规模非常小。

    2019-06-14
    28
  • Geek_88604f
    桶下可以建很多层级的目录,这个是不是树形结构?

    作者回复: 假的,基于 ListPrefix api 模拟出来的

    2019-06-14
    3
    19
  • 科春
    我看贵司的官方网站中提供视频监控边缘节点的云存储,然而平安城市类的项目,视频监控既有视频数据也有图片数据,分别都是周期性保存。那么监控视频前端采集的数据是视频流,存储是如何看待这类数据以及这类业务应用对存储的要求是什么呢?七牛云和传统监控厂商所提供的云存储有什么区别?

    作者回复: 七牛云上有很多这类视频监控类业务应用,比如海康萤石、中移动的和目摄像头等。他们的共同特征是:上行量大、存储有周期性(对象存储可以设置文件的lifetime,主要就是针对这类场景)。一般传统监控厂商都会基于七牛云这类云存储对外提供服务。

    2019-06-17
    12
  • hantics
    老师,hdfs分布式文件系统也是分散到各台机器上,通过namenode来组织,处理的也不仅是日志,我理解数据库类型数据都可以处理啊。 OBS类型我只觉得优势在可以存储图像、视频等异构类数据,具体还有其他什么优势嘛?

    作者回复: hdfs和obs最大差别还是meta server,一个是fs,一个是kv。这意味着obs集群容量限制几乎没有,这个优势是非常重要的。

    2019-08-01
    4
    6
  • 水木年华
    老师讲的第一个案例,打造“互联网”。里面讲到了构建互联网基础设施,还要在启动阶段开发杀手级应用来吸引客户。 我一下子就想到了区块链上的公链EOS,一直在努力做公链基础建设的事情。这还不够,官方也发布了一个社交应用Voice,希望把这个应用打造成为一个杀手级应用。 不同的场景,相同的打法。这种架构需求分析的思路原来是相通的。

    作者回复: 我没有研究过voice,但是我判断可能还是有很大不同。互联网的两个应用email和www,都是去中心的,并不存在某个企业可以操控它(这和微信很不一样)。如果voice也是一样完全公开协议,分散部署(每个企业数据在自己这里),那么我觉得这个事情是成立的,如果voice是一个某个公司的app,那么和公链的关联就很勉强。

    2019-06-15
    4
    6
  • MJ
    【题外话】老师,是否了解中型企业关于安全的架构,一般怎么做,有没有好的推荐参考?最近做这事比较急。

    作者回复: 安全涉及面太广,不知道你关注点是什么?

    2019-06-14
    5
  • Geek_88604f
    重温了《需求分析下》,文中关于存储的需求分析中什么是核心稳定点?什么是变化点?个人认为存储的稳定点是用户对存储对象的增删改查,变化点是存储系统的类型(包括文件系统、数据库、KV等)。如何隔离变化点则通过存储网关来实现,使得用户不用感知底层的变化和扩展。不知道理解是否正确,请老师指正。

    作者回复: 存储类型是结果(解决方案)不是原因(需求)。我们分析需求的时候不应该把解决方案放到需求中去分析。

    2019-10-03
    2
    4
  • 晓凉
    感谢许老师的分享,我问两个问题。老师说大数据存储方式在从hadoop转向对象存储,目前有什么好的开源对象存储方案推荐。另外关于树形结构的操作,我的理解是正在被修改的两个节点,只要其中一个不是另一个的祖节点,就应该可以同时修改,所以叶节点都可以同时修改。老师说树结构的并发性能问题主要来自哪些方面。

    作者回复: 修改操作要么都成功要么都不成功,所以这是一个分布式事务。另外,传统树状结构在找文件的过程是要一层层目录解析下去的,在分布式元数据的情况下查询效率较低。

    2019-06-14
    3
  • 随心而至
    当一张表或者一个文件太大了时候,人们就会想办法把它分开。Kafka里面有partition,MongoDb有sharding,elastic search也有sharding,redis有slot,RDB有分库分表,等等。刚刚入行,说的不一定对,如有错误,请老师指正。

    作者回复: 分开是自然的,否则物理上也放不下

    2019-06-14
    3
收起评论
显示
设置
留言
36
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部