09 | Nvidia 与AI 芯片：超越摩尔定律

如果我们同意x86不是通用计算的唯一答案，那么GPU大概也不是机器学习的唯一答案。

老师您好，关于课中提到的小悖论有些疑惑，可否解答一下： 1. 我理解提到的：逻辑计算1：数据计算10是指任务计算需求量；在数据计算上GPU比CPU快10倍。 2. 假设人类计算看成一项任务的话，完成这项任务，最好的匹配是1个CPU 和1 个GPU。这样，NV 和 Intel的被需求量就一样的。 3. 假设人类这一项任务逻辑计算1：数据计算100的话，就需要1个CPU和10个GPU。这样，NV的被需求量就是Intel的10倍。 这样的理解对吗？如果是这样的话，是不是对于NV 来说，既要保证自己在行业竞技中计算能力要强，同时也不能太强，如果厉害过头了，被需求量就会变少，当然也要考虑强的产品利润是不是更大的因素。 附，“GPU 的计算性能比 CPU 高 10 倍，如果人类社会的任务比例是逻辑计算，就是适合 CPU，那些任务是 1，数据计算是 10 的话，CPU 和 GPU 的比例，是 1:1，英伟达的最高点就是跟 Intel 同规模。只有逻辑计算是 1，数据计算是 100，CPU 和 GPU 的比例，才是逆转的 1:10，英伟达才会有 Intel 的 10 倍规模。”

并行计算的软硬件之间的事实标准 CUDA。 这个是事实还是实施

哇，终于说到皮衣教主了哈！老师提出有关未来需要更多的逻辑计算和数据计算之间的比例悖论很有意思。我感觉这个数字会大于10，甚至大于100；其中一个主要原因是逻辑计算的摩尔定律已经减缓了，每秒每瓦算力的成本下降速度减慢甚至停滞会拖累未来需求，但是数据计算的摩尔定律要仁慈的多，反而会促进需求。所以现在的AI XPU们多在数据计算上用功。这也是我建议英特尔在GPU上下功夫的原因。翻一下历史，好像英特尔90年代末期就开始搞了，当年这么强的技术实力不知道为什么一直做不起来。大概英特尔领导们都是无趣的中年人和老头子，不爱玩游戏。皮衣教主虽然把GPU玩得很溜，但是从Grace和大手笔买arm看来，他一直想做CPU。要么是我完全低估CPU特别是arm架构的CPU的潜力，要么猜他还是比较怕Intel做成自己的GPU以及生态抢夺英伟达的市场（虽然现在看来没啥希望）所以主动出击对方地盘。CUDA的生态非常强大，但是它的一个前提是英伟达一直领先GPU技术。 英伟达能到多高，台积电的制造能力以及竞争对手的追赶速度是它的天花板。XPU们有优势么，hyperscaler们有一定省电优势，其他人难说，就看这阵资本狂欢能持续多久。说到XPU们，老师有机会讲讲某个风一样的大神最近加入的tenstorrent， 以及Ampere和Graphcore吗？

邵博士讲得真好，不过这波市值应该有80%是靠挖矿撑起来的，当然长远来看还是得靠人工智能和深度学习

英伟达的护城河很深，CUDA和GPU框架相辅相成。英伟达不仅设计芯片，又做出了统一的框架标准，基于这个标准化的架构，生态可以繁荣发展。 XPU的优势在于算力高，目前的移动处理器都倾向于在芯片架构里加入XPU单元，来扩展AI算力。缺点在于需要芯片厂家搭建软件架构，生态伙伴也需要不停适配各家的芯片，这种模式难以做大市场规模。

Google的NPU号称是自己设计的架构和硬件，Alphago是一个典型的应用。目前图像识别和语音识别是有实际产品面世，从自动驾驶到智能问答，这些主要面对的应用方面，而对背后提供计算能力的公司却鲜有提及，英伟达制作芯片，那么类似于传统PC厂商，提供硬件支持是否会诞生一批新的企业，比如制造矿机的公司，很有可能下一个这样的机会再这些矿机公司。

异构计算是群雄逐鹿，gpu,npu,fpga根据用户需求（性能及能耗）都有机会，但市场占有率还属gpu，其他两个只能做云，要不做边，因为除了加速芯片还得考虑框架，即生态，毕竟gpu有cuda加持，npu,tpu,fpga类似的框架及驱动相关生态还差得远，追上英伟达之路一厘不少，但值得期待。

CUDA、GPGPU难能可贵，英伟达创立时那么多图形处理器公司为啥没有这份眼光和投入，PC行业残酷的竞争也没有打倒它，英伟达走出差异化竞争的道路，一步步封神。这篇文章看得我热血起来，英伟达怕不是拿的爽文的剧本吧，哈哈哈

英伟达做出了行业标准 CUDA，在 AI 大风刮起的今天还在继续壮大，其护城河是很宽很深的了。