38 | 文件系统与对象存储

说到hdfs的文件块，首先看看为什么用块来管理而不用文件。因为块有如下优势:单文件的大小不会受到单节点容量的限制，文件的不同的部分可以存储到不同的节点上；容易对数据进行备份提高容错能力，可以按快来备份；可以按照块来并发处理提高吞吐量。从整体上来看简化了存储系统的设计，一是按照块来设计可以很容易地估算出一个节点可以存出多少文件块；二是方便元数据管理，元数据可以和文件块分开存储，我理解桌面存储系统下的树形结构是做不到的。 那么块设置过小有什么不良影响呢？大概有以下几个影响:文件过小导致磁盘随机寻址操作变多，从而影响磁盘效率；网络开销也随之增大；元数据增多Namenode很快达到瓶颈；处理任务的task不断的启动、销毁，效率低下。 但是也不能一味的往大里设置，过大也会带来不良影响:数据块越大数据加载时间越长，系统恢复过程也越长；监控方面的预设时间间隔和数据量有关；数据块越大对算法也是一个挑战。 需要特别说明的是当文件大小小于块大小时，它占用的空间是小文件的实际大小，并非快的大小。hdfs对小文件是做了一些优化的，例如:hadoop archive、sequence file、combinefileinportformate。

非结构化和结构化数据的键值存储，实现机制上往往有极大的差异。主要体现在哪些方面，许老师？

老师，mysql等关系数据库的索引都是基于文件，那这种数据库底层实现都是基于操作系统的文件系统吗？

对象存储底层实现时还会经过操作系统自带的文件系统吗？还是说对象存储操作的直接是裸盘？相当于自己重新实现了文件系统功能？

“第一，HDFS 的 block 大小为 64M，如果文件不足 64M 也会占用 64M。”这句话有问题吧，HDFS的问题是文件的元数据存储在内存中，因此不适合小文件。不足64M（现在好像是128M了吧）的小文件在HDFS中存储只是在磁盘多了一些元数据信息而已，文件大小还是原来的大小啊。

假设集群总的容量规模不变，但我们不是增加单台机器的磁盘数量，而是增加磁盘的密度。比如，我们把单盘容量增加一倍，那么我们集群的磁盘数也减少一半。这样我们的修复时长 T0 会变成 4T0（修复时间和要修复的数据量成正比，和集群可用的磁盘数成反比）—— T0怎么变成4T0？修复时间和数据量成正比，和集群可用磁盘数成反比。为什么呢，希望老师能解答

对象存储消除了结构化的关系和影响，那么对象间的关系，例如 原图与缩略图 的关系，是维护在另一个系统中吗？

结构化数据和非结构化数据啥区别啊？表结构就是结构化数据吗？

老师，你提到七牛云的对象存储是没有目录这个概念的；我记得阿里的oss是有的，也就是说，两者的实现原理并不一样？

在分布式系统中维护文件系统的目录树结构，会遭遇诸多难题。所以 HDFS 想把 Master 扩展为分布式的元数据集群并不容易。->GlusterFS就是分布式的元数据集群，没有master，active/standby的概念。实现也很复杂。许老师能不能说一下未来分布式存储的趋势？个人感觉分布式文件系统还会长期保留来适应老的application迁移到分布式系统不用做任何改变。