19 | Spark的性能优化案例分析（上）

确定问题细节原因，针对主要问题进行解决 1.如是网卡接入能力不够，则需要更换网卡或增加网卡 2.如是网卡--应用之间的io瓶颈，则需要考虑零拷贝减少copy释放性能，使用大页内存减少页表miss，使用专门核心做收包缓存到软队列等

考虑传输压缩，牺牲cpu的办法了

1.批量发送数据 2.压缩传输数据 3.增加带宽 还有咩？

请问文中的几个性能测试的图怎么快速生成呢？

因为我对 hadoop,spark也是跟随专栏在学习。不知道计算过程中节点之间通信是一种什么方式？是否可以采用netty这样的网络框架，因为netty的数据读写都是在bytebuf中进行的。而且我们可以自定义channelHandler在数据出站入站的时候编解码，压缩解压。

硬件上可以升级网卡，比如百兆升级到千兆； 软件上看看是否可以新的版本可以解决； 逻辑上最关键，尽量做到数据本地性，能本地算好的一定不传输到其他节点。

李老师，我想请教下，Impala 和 Hive 的应用场景区别，换句话，就是什么时候用 Impala 比 Hive 有优势？谢谢

老师 spark图谱如何生成那几个性能测试图

1：换更强劲的网卡，千兆换万兆试试 2：减少数据量，压缩数据，用CPU计算能力减空间 3：减少IO次数，批量发送数据 4：从业务逻辑下手，看看是否可以优化逻辑减少IO，或者减少数据量 5：看看网络是否共享，不是自己的流量打满的网卡，如果是，采用独占的资源使用方式 6：换一种方式，只发送必要的信息，将计算迁移到接收消息的机器上，或者部分迁移计算逻辑

学习完基础篇，来学实战篇的Spark性能优化课程。通过这篇文章的阅读，无论是开源的软件，还是收费的软件，基本上都是被美国人开发出来的，至少这点上我们的路还很远，对于我自身，通过我的学习和实践，我希望至少能通过我的努力做到我想做的数据开发的工作。 通过对这节内容的阅读，熟悉了开源软件的管理平台Apache,我们可以通过提交自己的代码到开源平台上，一旦经过Commiter通过，我们就是这个开源平台的Contributor。 在软件性能优化上，不经过性能测试的软件不要优化，不懂其架构设计的软件不要进行性优化。因为性能测试包括多维度的指标，没有对比，何来优化，不懂架构设计，也不可能真正知道性能瓶颈在哪里。基于此，老师讲述了讲述了大数据软件优化的方向，SQL语句的优化，数据倾斜处理，也就是对不需要的数据剔除，Mapreduce、Spark代码优化，因为这些软件是开源，厉害的人就能针对公司具体的产品业务做源码的修改。通过配置参数的优化，也是运维工程师正做的事。 总之，我们可以通过自己的一点点的努力让自己有那么一点点价值，能做对这个世界上一点有用的东西吧，这就够了。