AI Infra：智能时代的基座

1. GPU架构中的Grid和Thread Block是CUDA编程中的重要概念，Grid是一个完整的GPU计算任务，由多个Thread Block组成，每个Thread Block会被调度到一个SM上执行。 2. Warp是GPU硬件执行和调度的基本单位，通常由32个线程组成，而Thread Block则由多个Warp组成。 3. 在GPU架构中，同一个Thread Block内的线程可以共享特定SM上的资源，如Shared Memory，而不同Thread Block的线程一般不能直接共享。 4. CUDA编程中，线程需要明确的编号，通过内建变量blockIdx和threadIdx来确定每个线程在整个Grid中的全局位置，从而确定自己负责处理哪一部分数据。 5. GPU编程中的SIMT（单指令多线程）允许根据线程编号进行差异化操作，每个线程都有唯一身份标识，这与SIMD（单指令多数据）的集中控制的向量化计算模式有所不同。 6. 理解GPU架构有助于学习CUDA编程，通过硬件结构去理解软件概念可以帮助理清相关概念，避免被抽象概念淹没。 7. GPU编程的核心逻辑包括线程的唯一编号、Warp作为硬件调度的基本单位、Thread Block在SM上执行并可共享Shared Memory、Grid由多个Thread Block组成。 8. 深入学习操作系统、编译器、体系结构、算法与数据结构等基础学科对于理解GPU编程非常关键，这些基础知识会让整个技术生涯受益无穷。