31 | GPU（下）：为什么深度学习需要使用GPU？

该思维导图由 AI 生成，仅供参考

深度学习为何需要使用GPU 现代GPU在图形渲染和深度学习方面具有出色的性能，得益于其芯片瘦身、多核并行和SIMT等核心创意。GPU的并行计算能力使其能够快速处理大规模数据，满足深度学习对于大量计算的需求。其统一着色器架构使其成为通用的抽象计算模块，从而可以应用于各种通用计算，包括深度学习。现代GPU的计算能力远超CPU，使用GPU进行深度学习能够将训练时间缩短一个，乃至两个数量级。GPU的快速发展也带来了过去10年深度学习的繁荣，使其成为一个用来做数值计算的好工具。因此，深度学习能够充分利用GPU的性能优势，实现快速高效的计算，推动了深度学习技术的发展。 总结延伸 GPU一开始是没有“可编程”能力的，随着“可编程管线”的出现，程序员们可以在顶点处理和片段处理去实现自己的算法。微软在XBox 360里面引入了“统一着色器架构”，使得GPU变成了一个有“通用计算”能力的架构。GPU通过芯片瘦身、SIMT以及更多的执行上下文，具备了更擅长并行进行暴力运算的特性。GPU的多核、多ALU，加上多Context，使得它的并行能力极强。这些特性使得GPU非常适合进行深度学习的计算模式，也就是海量计算，容易并行，并且没有太多的控制分支逻辑。使用GPU进行深度学习，往往能够将深度学习算法的训练时间缩短一个，乃至两个数量级。 推荐阅读 关于现代GPU的工作原理，你可以仔细阅读一下 haifux.org 上的相关文章，里面图文并茂地解释了现代GPU的架构设计的思路。