2018-11-24老师，现在都说flink更优秀，是不是我们直接跳过mr和spark直接学flink就行了？作者回复: 如果从MapReduce，spark，flink一路学过来，就会发现他们一脉相承的，如果理解了前面的，学习后面的很多地方甚至可以秒懂。
登山的时候，老司机们都走Z字形，有时候最长的路是最容易的路。 65
2018-11-24比如学习机器学习，可能有很多人和我有同感，基本上是从入门到放弃。我自己也思考了原因。主要是恐惧心态，因为数学差，恐惧那些数学公式，而现在又崇尚几十天学会xxx，这会让人更加焦虑，更不能静下心学习。所以我认为解决问题主要根本也就是调整心态，想象学数学公式就像谈恋爱，从陌生到熟悉，再到走入婚姻的殿堂，不是一蹴而就，罗马不是一天建成的。所以公式一遍看不懂就看两遍，三遍，刻意练习，逃离舒适区。念念不忘，必有回响！ 1 31
2018-11-25spark优势在于迭代式的内存运算，适合于做大数据分析，机器学习之类的，flink是流式计算框架，对于实时性任务也许更好，对于机器学习内任务，spark还是要好点作者回复: 👍🏻
25
2018-11-25惭愧，我遇到的产品经理或者需求人员，基本上分为两类。一类经常说，这是客户的要求必须马上改，用客户来压制研发。一类比较以自我为中心，把自己的观点等同于用户的观点。常常想当然，结果用户一看不是我想要的。结果就是开发人员一次次的从坑里刚爬上来，又被产品一脚踹下去。有几次我真的无法克制，有一种想套麻袋然后一顿打的冲动。🤔非常赞同老师的观点，不管解决技术问题，还是设计产品都需要深刻的洞察力。想起前面您说的抽象是事物本质的洞察，遇到问题先猫在后面（虽然这种方式比较猥琐），冷静思考，暗中观察，从别人的方案或者错误中总结发现规律，然后顺势而为。作者回复: 👍🏻
25- 2018-11-24第一次在极客写留言，感觉这个专栏的老师真的是用心良苦，不只是技术的教授，更是经验的传递。
我们常常意识不到问题的存在，直到有人解决了这些问题。
醍醐灌顶，受益良多！！作者回复: 谢谢鼓励，共勉～
22 - 2018-11-26看了一些留言，感觉大家还是”面向工具“学习，对层出不穷的”工具“，感到困惑。但是归根结底，这些工具本身还是计算机科学中很多基础概念的具象化，因此，”面向思想“学习应该是更好的一种做法。先对一种最原始的实现透彻的研究，理解其背后的思想和设计理念，然后再逐步学习后期更为先进的技术，这种学习路径应该更为有效。
作者回复: 赞
17 
2019-04-04理解了java8的lambda集合操作相比于传统集合操作的优势，就理解了spark相比于MapReduce的优势。
第一步，将集合对象封装成流式对象。
第二部，将函数传递给流式对象，在流式对象中执行内部循环。
spark之所以快，就是将外部循环替换成了内部循环。
传统的面向对象编程思想下，是将一个集合作为数据对象传递给一个方法，这个方法会return一个新的数据集，然后再把这个新的数据集作为入参传递给下一个方法。一趟接一趟，最终得到想要的数据处理结果。
函数式编程思想是，先把集合封装成流，我把上面两个方法改写成无状态函数丢给这个集合流，对于集合内的每一项会依次执行这两个函数，最终这个集合就是一个新的集合。只循环一趟。
原本需要做连续循环处理的次数越多，spark体现出的效率提升就越明显。
lambda里面叫Stream，spark里面叫RDD。展开 11- 2019-07-31客户：我想租一匹马，你帮忙打听下一天多钱
fey： 你租马时干什么用呢，犁地还是自己骑。
客户：自己骑
fey：那您骑马时准备干什么去呢
客户： 我打算骑着买东西
fey：打算买什么东西呢，去那买呢
客户：我打算去兰州，买一碗牛肉面
fey：为什么要求兰州买牛肉面呢
客户：其他地方的不好吃
fey：我认识一家兰州人开的牛肉面馆，味道很正宗，你去尝尝。
客户： 确实好吃，再页不用去兰州了。
展开 8 
2018-11-26乔布斯还在世的时候就说过用户永远不知道他们想要的是什么，只有我们做出来了，他们才发现这就是他们想要的。
这几年来一直将这句话当做自己需求分析时的座右铭。
但一直不能领会其中的精髓，今天看完老师的专栏，有种拨开云雾的感觉。
其实我们大多时候把结果当成了原因，并且缺乏了深度的思考以及洞察力。 6
2018-11-24看了这篇文章，这个价格，值了！很值！！超值得！！！不到教我们技术还教我们思想！大神真的很负责👍…
Spark可以代替mapReduce那我理解，是不是可以直接跳过mapReduce直接学习Spark？如果有一个东西比Spark更好，我也直接跳过Spark？
我先把您的大数据学完，再补学java大数据编程，可以吧？
我们在广州骗子太多，学会了观察他们是怎么骗的，总结骗子大部分都是利用贪心骗钱。这个算不😜？ 6
2018-11-26我要把这篇文章推荐给我们的产品经理去好好读读 5
2018-11-25好的提问艺术更能帮助我们深入理解和思考问题 4
2018-11-26工作中，一个新的方案出现的时候，如果它在某个或某些方面优于当前最好方案，我一定会去思考它的catch(另一面)是什么？比如新方案更快，我就大概会看看它的空间使用率、可维护度、全面度。一般都会发现一些问题。生活里也是如此，对表面上只有好处而无需付出或者代价很低的东西永远保持警惕。说白了，世上没有免费的午餐，一些都是权衡利弊的结果 3
2018-11-25大数据开发处理数据过程中难免被领导提一些需求，做各种各样的报表统计。我们第一手接触数据，如果我们能再有精力投入业务，是不是也能主动做出一些老板需要的报表统计，提升自己的价值作者回复: 👍🏻
3
2018-11-24李老师不仅讲大数据还讲大局观😄 2
2019-12-03老师，我有一个疑问，本节里面的word count示例代码，map完了直接reduce，spark中一个map操作是针对的一个RDD分片，并不是针对的所有的分片（要统计文件的所有分片），我们reduce的操作不是应该处理所有的map数据结果汇集之后的RDD吗，为何只是一个map计算的结果？作者回复: reduce是针对所有分片的。
但是我们程序不需要关心有多少分片，程序只关注数据处理逻辑，分片以及和分布式有关的一切都由Spark框架自己完成。 1
2018-11-25老师有开其他博客、公众号嘛？想听老师更多的分享作者回复: 谢谢支持，可以看看我写的书《大型网站技术架构：核心原理与案例分析》
1
2018-11-24养成穿透问题现象直达问题本质的能力真的很重要，老师有机会可以多给我分享下如何培养这种能力，或者学习编程过程中的一些方法论，我觉得有时这比学习本身更重要 1
2018-11-24老师，讲讲基于spark的数据分析和机器学习吧 1- 2018-11-24发现用户的需求，用户永远不清楚想要什么，总结的真好 1