学习完基础篇，来学实战篇的Spark性能优化课程。通过这篇文章的阅读，无论是开源的软件，还是收费的软件，基本上都是被美国人开发出来的，至少这点上我们的路还很远，对于我自身，通过我的学习和实践，我希望至少能通过我的努力做到我想做的数据开发的工作。
        通过对这节内容的阅读，熟悉了开源软件的管理平台Apache,我们可以通过提交自己的代码到开源平台上，一旦经过Commiter通过，我们就是这个开源平台的Contributor。
        在软件性能优化上，不经过性能测试的软件不要优化，不懂其架构设计的软件不要进行性优化。因为性能测试包括多维度的指标，没有对比，何来优化，不懂架构设计，也不可能真正知道性能瓶颈在哪里。基于此，老师讲述了讲述了大数据软件优化的方向，SQL语句的优化，数据倾斜处理，也就是对不需要的数据剔除，Mapreduce、Spark代码优化，因为这些软件是开源，厉害的人就能针对公司具体的产品业务做源码的修改。通过配置参数的优化，也是运维工程师正做的事。
        总之，我们可以通过自己的一点点的努力让自己有那么一点点价值，能做对这个世界上一点有用的东西吧，这就够了。

1：换更强劲的网卡，千兆换万兆试试
2：减少数据量，压缩数据，用CPU计算能力减空间
3：减少IO次数，批量发送数据
4：从业务逻辑下手，看看是否可以优化逻辑减少IO，或者减少数据量
5：看看网络是否共享，不是自己的流量打满的网卡，如果是，采用独占的资源使用方式
6：换一种方式，只发送必要的信息，将计算迁移到接收消息的机器上，或者部分迁移计算逻辑

看到问题后先思考了一下，发现和大家的思路比较一致，分两点看
1、网卡打满
    1）能否拆分业务执行时间点，因为是性能测试，pass
    2）优化业务逻辑
    3）能否批量发送
    4）升级网络硬件
2、系统等待
    1）同步IO改为IO多路复用或异步IO