预习 01 | 大数据技术发展史：大数据的前世今生

1.论文奠定技术发展基石； 2.业务催生技术不断突破； 3.效率倒逼技术迭代更新；

看了两篇专栏，感觉作者用文字描述的效果，胜过大多数视频教程

大神，从0学习大数据需要哪些基础呀？后面能分享一下大数据入门的顺序和相关书籍吗，好让我们这些菜鸟能有个系统的学习

在回过头来学习，重新梳理大数据平台技术体系。 通过从数据库，日志等获取的数据，sqoop,flume导入到大数据产品HDFS储存。Mapreduce,spark对储存的数据进行批计算处理，flink,storm等进行实时处理。Yarn负责对数据的资源调度。 计算框架将处理好的数据储存在数据库中，用Hive和Tensorflow等对数据进行分析和机器学习，最后将得到的结果展示在应用产品中或供他人参考。在整个平台过程中，资源调度管理系统对过程的执行先后进行管理。 回到老师的问题，我通过阅读认为，知识技术的发展离不开数据本身的飞速扩大，正是因为有了海量的数据需要google进行储存和索引排名，还会有分布式文件存储系统和计算框架，进一步在此基础上完善了大数据产品，形成大数据技术体系。对我的思考是既然大数据平台已经完成，接下来机器学习会飞速发展，因为数据量的巨大，里面的价值会是巨大的。我们要做的也许是跟上这个时代的节奏，有一点点嗅觉的发现，然后不放弃的做自身认为是对的事吧。

老师你好，能不能系统的讲解一下数据仓库和大数据有什么区别和联系呢？以及应用场景有什么不同。

从大数据的发展史想到 一是思维方式的重要性，在多数企业在提高单机性能与更高更大更全的大型服务器死磕时，谷歌的思路是部署分布式服务器集群，少花钱还多办事。有人固步自封满足与现有知识，有人则紧跟时代脉搏不断学习前进，比如来定智慧老师的大数据专栏😁 二是hadoop用纯java语言编写，没什么技术难点，但是它价值巨大。我们许多码农总是抱怨，公司技术落后还天天在CRUD没有成长空间，也许应该思考下，即使是落后的技术你真明白是怎么回事么？如果自己实现该怎么实现呢

看了两篇 但是对大数据的用处还是没什么概念 身边的同事一直都说大数据一般公司用不到 只有像BAT这样的大公司才用 那普通的程序员学了也没有用武之地 有些迷茫

我是统计学出身，做“传统的”数据分析和建模，虽然一直想要往大数据的方向发展，但是总有不知从何下手的感觉。开头的这一部分让我对这些基本概念和它们的来龙去脉都有了了解。谢谢老师。

历史潮流浩浩荡荡，顺之昌，逆之亡。 一个人若能识势，乘势而为，做什么应该都比较轻松。 通信问题如果解决了，感觉一切技术的原理都是管理学，都是在想方设法的提高资源的利用率，想要的更多要的更快。数据是计算机处理的主体，世间的一切又都可以以数据的形式呈现，所以又加速了计算机对世界的影响。

怎么没看见zookeeper啊