作者回复：后面的课程还会有更多的代码案例，希望对老弟有所帮助~ 关于源码的讲解，看吧，等以后有机会，可以讲讲源码，现在杂务缠身，抽不出身来，哎

作者回复：哈哈哈，喜欢就好~ 兄弟五一节快乐~

编辑回复：1、spark中内存划分是逻辑上的，真正的管理还是在jvm。如user memory占用内存超过设定值，还是会占用框架内存。但框架内存会根据设定值让task做一些阻塞或spill操作，所以从这个层面上说，框架内存的值得正确设置，如用户不会用到大的list、map等内存集合，就要把用户内存空间设置得够小，以保证框架内存(执行内存+存储内存)足够大，避免不必要的阻塞或spill操作？ 回答：是的，Spark的内存管理，更多的是一种”审计“上的管理，底下有JVM，Spark就不可能直接管理内存。通过内存管理机制，Spark更多地是设置一些软限制，从而从应用层面来将内存划分为不同区域，这些区域，在JVM看来，是没有区别的。如你所说：”如用户不会用到大的list、map等内存集合，就要把用户内存空间设置得够小，以保证框架内存(执行内存+存储内存)足够大，避免不必要的阻塞或spill操作“，确实是这样的。 2、如果开启了堆外内存,即使堆外内存不够，堆内内存充足，task也只会用堆外内存而不会用堆内内存？ 回答：内存是用堆外，还是堆内，是以Job为粒度的，也就是说，要设置堆外内存，我们得确保堆外大小足以应对当前的作业，作业里面所有的tasks，都只能用堆外（如果作业在内存设置上用了堆外）。那么显然，此时跑在堆外的Job，假设内存不够用了，即便堆内还有剩余，也不会给这个Job用，这个Job还是会抛OOM。 3、spark 2.x版本中如果开启了堆外内存，并设置了spark.memory.offHeap.size=500mb,在yarn上跑的话spark.executor.memoryOverhead除了默认需要的10%是否还有要加上这500mb，否则container不会分配堆外这500mb的内存？看网上说3.0以上就不用加了。 回答：对的，堆外就是JVM heap以外的内存，以前的话，yarn把这部分内存算在container里面，现在不算在container里面了，不过这样其实有风险，因为堆外内存大小，对于yarn来说透明了，如果在运行时，Spark Job跑着跑着，发现OS根本分配不了500mb，那这个事情yarn是不负责的。 4、task会在哪些场景申请和释放内存呢？只是shuffle的场景吗？transformer场景会吗？ 回答：凡是利用到AppendOnlyMap，PartitionPairBuffer这两个数据结构的计算，都要申请、释放内存，跟算子没啥关系哈，主要是shuffle write阶段的计算。

作者回复：哈哈，感谢老弟认可~ Flink懂一些，不过确实不像Spark那么熟悉，而且公司这边事情积压成山，实在没精力再写啦。不过感谢老弟的鼓励，等忙完这一阵子，以后找机会再写吧~

作者回复：感谢老弟的认可与陪伴！恭喜老弟完成课程~ 💯 长尾task的话，一定意味着有倾斜，解决类似的问题，几个思路吧： 1）开启Speculative推断，Spark会自动启动单独的task，来执行同样的任务。这个就是你说的超时重试机制，Spark会推断，哪些tasks属于长尾任务，然后会自动在其他Executors去launch task，计算同样的数据分片，也就是说，在长尾task失败之前，就开始“重试”了 2）AQE自动倾斜，消除倾斜 3）手工加盐，消除倾斜 希望对老弟有所帮助~ 再次感谢！

作者回复：哈哈，一起加油~

作者回复：老弟的困惑和迷茫我感同身受，首先我想说，才工作一年，就开始有这样的疑问和困惑，其实你已经打败90%的同龄人了。这个不是安慰你，据我的观察，很少有初入职场就开始考虑职业发展的同学。我自己其实就是个例子，我其实在工作满3年的时候，才忽然意识到，我应该考虑职业发展这回事。所以首先恭喜老弟，你已经想到别人前面去了。 言归正传，咱们聊聊职业发展这回事。首先，我觉得，你需要明确，你的兴趣点，在什么地方。至少有两个方向，供你选择，第一：研究型，第二：应用型。啥叫研究型呢？就比如你做大数据二次研发，这就是研究型，就是把一个工具或者算法做到极值，把技术本身，做到极值。第二个是应用型，意思是，技术就是个工具，学好技术是为了解决业务问题，是为了落地业务应用，所以叫它“应用型”。 明确了兴趣点之后，其实大方向上就清晰了。先不用管这两个方向未来的薪资潜力，两个方向其实在薪资方面，都不弱，都有各自的用武之地。所以，说到底，还是要看你个人的兴趣，到底是哪个方向会让你觉得更有意思，做起来更有激情。这两个方向（当然，或许还有更多的别的方向），没有优劣之分，没有对错之分，纯粹是看你更喜欢哪一个，没有好坏。 OK，大的基调定下来之后。我们再说大数据这个领域的发展。一个，就是刚刚说的研究型，你可以做spark二次开发，为spark社区做贡献，或者是其它任意的大数据产品。另外一个，就是从大数据的几大应用场景着手，做应用开发，比如数仓是个方向、流处理是个方向、图计算是个方向、机器学习，更是个方向。同样，每个方向做好了，都有前景和钱景，并无优劣之分。这些应用场景，还是要看哪个你更有兴趣，更喜欢。其实，每个应用方向，又有“研究型”和“应用型”之分，这个跟刚刚说的，其实是一样的。 第二个问题是“学了就忘”，其实这个大家都一样，纯学理论知识，没有机会应用的话，确实很难记得住，这个不用懊恼，大家都一样的。所以还是要结合工作需要，有的放矢，用“学习、运用、输出”的迭代式学习法，来夯实已有的知识体系。光学不用的话，确实很难。 第三个问题是我自己的经历，我的经历其实挺简单的，就是数据库 -> 数仓 -> 数据分析 -> 机器学习，我是属于“应用型”的，我对技术的应用比较感兴趣，我比较懒，不喜欢做研究，所以选择了这个路线。另外我对数据分析，数据当中蕴含的价值，很感兴趣，这也是为什么会沿着数据分析这条路，慢慢地会入了机器学习的坑，目的就是想挖掘数据中的规律，来指导决策。当然，转行机器学习，也有一些功利心，毕竟机器学习比较火爆，应用场景多，对于个人的职业发展来说，选择的面会更大一些。 大概其就是这些思路，头上一句、腚上一句，不成体系，希望对老弟有所帮助~