我认为，学习一个新的东西，首先要弄清楚三件事：这是什么东西（干什么的）？为什么需要它（怎么来的）？它是如何运作的？
随着互联网信息产业的发展，网络上时刻产生的数据以及沉淀的历史数据量规模呈爆炸式增长，而计算机硬件诸如CPU、内存等性能的增长速度远远跟不上数据的增长速度，因此传统的单机处理程序已经无法满足数据的处理需求。分布式处理系统应运而生，这是大数据系统的前身。
大数据系统主要处理大规模（一般指PB级别的数据量）的动态和存量数据，通过大量数据的读取和分析，能够从中找出人们从未关注到的甚至没有想到的 事物之间的关联关系，并以此为人们日常生活以及各种生产活动提供必需的决策支持。
对于大数据系统的运作原理，我想从一个设计者的角度来思考：
要清晰的知道，不论大数据系统功能多么强大，性能多么NB，体系如何庞杂，它本质上依然和传统软件的运作模型是一样的：I-P-O，没错，就是输入-计算-输出。以MapReduce为例，输入就是各taskStracker在本地各自读取数据分片；而计算过程有2大的步骤：1是map进程阶段将原始数据进行初步合并计算，并将得出的结果发给reduce进程，我把这个过程称为预处理，预处理后的数据量会降低到网络可以承受的地步；2是reduce收到map传来的预处理数据，并进行最终合并计算；输出部分:reduce进程将最终计算的结果保存到HDFS（本地数据块），并由HDFS将所有reduce保存的数据块合并成一个HDFS文件。你看，这个过程是不是就是一个IPO过程？只不过每个具体过程的执行者以及数量发生了改变。
OK，弄清楚了基本运作模型，接下来就是考虑：针对大规模数据分散存储（先不考虑实时数据哈）在大量服务器上的数据存储背景，如何设计一款软件，能够高效读取、处理这些数据，并有效输出呢？
首先是数据读写。现在大家都清楚，在数据规模达到PB级别的情况下，如果使用集中读取，集中处理的方式，单机的硬件和网络根本承载不了。所以最好的办法就是让数据所在的服务器自行读取本地数据并进行计算，然后将每个服务器计算结果汇总后在写入本地，当然所有服务器写入本地的数据最终又会汇总成为一个可以被识别的输出文件。那么如何让每台服务都知道自己应该读哪个数据，输出时又该如何写入呢，写入之后又如何能够合并成一个可以识别的输出文件呢？分布式文件系统就是一个很好的解决方案。（这就是HDFS的由来）
其次是数据计算。前面说过，我们要让数据所在的服务器自行读取文件在本地的数据块，并进行计算。首先是本地读取完数据块后，执行的初步计算并得出结果；然而问题来了，在所有本地服务计算完成后，他们的计算结果中一般都存在维度重叠的问题（即服务器1计算结果中有A B C三个维度统计数据，而服务器2中有A C D E4个维度的数据，此时不能直接将各服务器的结果写入输出文件），因此还必须将这些计算结果进一步合并，以保证每个维度的key是唯一的。因此计算过程应该有两部分任务组成：一是本地服务器计算统计后得出初步结果（也叫中间数据）；二是对这些中间数据进行最终合并计算。Hadoop的大部分计算框架基本都是这两部走的，只是具体执行方式不太一样罢了（比如spark会把中间数据放在内存中而不是HDFS从而提高运行速度等）
嘿嘿，弄清楚了设计原理，大家在回去看看李老师的课程，比如HDFS，MapReduce之类的，是不是感觉容易理解多了呢
本人今年刚转大数据，李老师的课是我学习的第一门大数据课程，刚到第十章，今后每隔几章我都会写一篇心得和大家分享，也请老师多多指教哈

补充一点忘了说了，就是调度的问题（YARN）。前面说过，要让数据所在的服务器自行读取本地数据并进行计算。那么这里有几个问题：1、由谁来确定任务需要的数据文件分布在哪些服务器上呢？2、如果数据块所在的服务器正忙于其他事物，无暇顾及新分配的任务该怎么办呢？3、任务程序如何进入数据块所在服务器并自动执行的呢？于是就得引入任务调度模块，该模块必须具备以下功能：1、能够实时查询数据文件分布在哪些服务器上；2、能够实时监控各个服务器的运行状态，以便分配任务；3、如果发现数据块所在的服务器比较繁忙，就得用完善的调度算法，把任务分配给其他空闲服务器，并主导目标数据块的传输；4、当目标服务器获得分配的任务后，能够自动加载并执行该任务程序；最后，当所有合并计算完成后，还能够将各服务器写入的数据块合并成一个可读文件。在Hadoop1时期，这些功能由MapReduce兼任，后来的版本中被单独剥离出来，并加强了一些功能，便形成了yarn（比如yarn使用容器作为服务器资源的最小单位，每个容器分配一定的cpu，内存资源，每个节点服务器根据其硬件配置，启动若干容器，这些容器的运行状态被资源管理器实时掌握）。

本文核心观点：
1-1：我们能从 Hadoop 中学到的第一个经验就是识别机会、把握机会。有的时候，你不需要多么天才的思考力，也不需要超越众人去预见未来，你只需要当机会到来的时候，能够敏感地意识到机会，全力以赴付出你的才智和努力，就可以脱颖而出了。
能够敏感的意识到机会——这个其实不是那么容易做到，很多时候对于机会大部分人都是熟视无睹的，为什么？当时那么多公司，那么多牛人都傻逼吗？我解释不了，但有一点我能确定，那就是不管他们想没想过，他们没有实践或者没有成功的实践。我觉得如果对什么事情有敏锐的意识，首先，老早的就有机会在思考这个东西，其次，一旦有任何机会就马上去做，经过几次迭代也许就能搞出一个牛逼的东西出来。
1-2：我们从 Hadoop 中可以学到大数据领域的一个架构模式，也就是集中管理，分布存储与计算。这种模式随处可见，比如：我们小组一个leader多为成员，leader负责对外交互和路由工作，组员负责具体实现，这样整个小组都比较高效，如果各自为战，那对外交互的工作就多了，而且什么都有会什么都要懂什么都要负责。不过路由算法很关键，特别对于人，如果工作安排不合理，会导致大家都不满意，效率也就低啦！
1-3：我是希望你在学习大数据的时候，不要仅局限在大数据技术这个领域，能够用更开阔的视野和角度去看待大数据、去理解大数据。这样一方面可以更好地学习大数据技术本身，另一方面也可以把以前的知识都融会贯通起来。
计算机知识更新迭代非常快速，如果你只是什么技术新就学什么，或者什么热门学什么，就会处于一种永远在学习，永远都学不完的境地。
如果这些知识点对于你而言都是孤立的，新知识真的就是新的知识，你无法触类旁通，无法利用过往的知识体系去快速理解这些新知识，进而掌握这些新知识。你不但学得累，就算学完了，忘得也快。
所以不要纠结在仅仅学习一些新的技术和知识点上了，构建起你的知识和思维体系，不管任何新技术出现，都能够快速容纳到你的知识和思维体系里面。这样你非但不会惧怕新技术、新知识，反而会更加渴望，因为你需要这些新知识让你的知识和思维体系更加完善。
还有的时候，你学一样新技术却苦苦不能入门，可能仅仅就是因为你看的文章、书籍本身写的糟糕，或者作者写法跟你的思维方式不对路而已，并不代表这个技术有多难，更不代表你的能力有问题，如果换个方式、换个时间、换篇文章重新再看，可能就豁然开朗了。
首先，我要非常感谢老师，因为，一方面给了思路，另一方面给了信心和极佳的学习体验。
老师的《大型网站技术架构：核心原理与案例分析》我也学习过，通俗易懂，循序渐进，这八个字只有大牛才能做的把复杂的东西简单易懂的讲给他人。让我信心倍增，也一下子懂了互联网的大概技术，有一种醍醐灌顶的感觉。
我想说，我其实在极客时间订阅了几十门课，虽然一直在学，但是大部分还没学，而且我觉得我是永远学不完的，除非极客时间倒闭不更新了，因为出一个，我好像习惯了就想买一个，我变成了心甘情愿的韭菜，任由你们这些技术大牛来收割。之所以这样，我觉得买下来不费钱只要我坚持学下去就是值得的，另外买了令我安心，不学习那是不可能的，看书效率低，跟着大牛学习确实高效，另外也有了交流的地方，评论区也卧虎藏龙。
不过最终让我成为韭菜的原因有两个，一个是计算机基础原理，一个是英语，如果有牛人出这些专栏我会继续买，专栏买多了看多了，我至少有一样能力增强了，清楚那些出专栏的老师水平不行，至少讲课的水平不行，另外，发现好多重复的讲解，这时就有趣了，老师们的水平有极客时间来保证，不过同一个东西，有人讲的通俗易懂有完整的体系结构，有的讲解就比较晦涩，可见相对而言讲师中也有水货。
我之前专门补了一下，计算机组成原理、计算机网络原理、计算机操作系统原理、数据结构与算法这些基础知识，发现再学习某些专栏就简单多了，都能发现有些知识讲的有些突兀，其实如果能循序渐进的学习，就会少很多不快的感觉。
不过也必须承认，人是不同的，有些人就是聪明，看书快记忆力极佳反应灵敏思维逻辑缜密。我们小组去年招了五位名校研究生，其中两位就有这样的特点，进步非常快，我工作好久了，感觉我很快就会被秒杀了！他们能直接英文文档英文书，国内的几乎不看，就这一点我就完败，我只能磕磕绊绊的，时间允许我觉得我必须报个班，重新学习下。