• 胖胖胖
    2019-07-10
    训练的话,大量的池化卷积,而且很多网络都是对称的,反向传播损失。虽然矩阵乘法可以并行但一层一层的训练迭代的参数更新的考虑时序信息,可以考虑之前处理进位的方法,在硬件上实现,减少等待前面运算的时间,加快它参数更新吧
    
     4
  • 胖胖胖
    2019-07-10
    感觉老师的专栏要结束了呀,收获很大,特别是老师推荐的那些书,比之前自己乱买的书简直好了一万倍,真的学到了理解了一点东西,不像以前完全囫囵吞枣,看了就忘
    
     3
  • 胖胖胖
    2019-07-10
    信息时代,数据的爆炸增长,使得深度学习的方法开始发挥作用,反过来又push计算能力的提升,对于计算的实现,由于大量简单重复,直接搭为固定的电路结构(其实就是之前讲的各种门电路,寄存器的组合加上时钟信号和控制信号),就像微机原理里面提到的 硬件软化和软件硬化,按需求,资源稀缺和收益比决定是硬件实现还是软件实现,但在硬件的改进的过程中还得考虑市场的情况,毕竟要落地之后有收益才能存活下去
    
     3
  • J.D.
    2019-10-02
    曼昆的《经济学原理》里十大原理的一条:人们总是面临权衡取舍。
    
     2
  • Linuxer
    2019-07-10
    进入每个字都认识系列了,硬着头皮看
    
     1
  • 拯救地球好累
    2019-10-29
    ---问题---
    请问下老师是怎么做到对一个事务的发展历程和最新动态如此了解的?平时会刻意关注一些东西吗?盼老师有空解答?
    还有就是感觉自己在看到行业新动态时只能跟着发布动态的文章的思路走,无法形成自己的判断,是否是因为基础仍然比较薄弱导致?
    
    
  • 活的潇洒
    2019-09-02
    “Google在TPU的论文里面给出了答案。一方面,在性能上,TPU比现在的CPU、GPU在深度学习的推断任务上,要快15~30倍。而在能耗比上,更是好出30~80倍。
    另一方面,Google已经用TPU替换了自家数据中心里95%的推断任务,可谓是拿自己的实际业务做了一个明证。”这一段很精彩

    day33 天笔记:https://www.cnblogs.com/luoahong/p/11424820.html
     1
    
  • 靠人品去赢
    2019-07-10
    突然想起来,前一阵挖矿潮,当时候退出的一些挖矿机就是AISC的,就是对挖矿专门处理的TPU,现在深度学习这方面有没有类似专门的比较出名的TPU,感觉现在大多数还是用显卡来跑深度学习。
    
    
  • missingmaria
    2019-07-10
    搜了一下,竟然没有搜到第二代TPU的技术细节介绍。但是新闻里开发者透露了一句话,“在芯片进行学习训练的过程中,只需要采用固定的模型即可,不需要变动算法”,猜测二代TPU是针对固定算法开发的,在训练具体模型的时候,将几个算法搭载在一起即可
    
    
  • xindoo
    2019-07-10
    训练和推断最大的不同就是训练需要大量的迭代,所以针对训练的tpu肯定是优化迭代,但我具体想不出如何在硬件层面优化迭代。
    
    
  • Ezra_Xu
    2019-07-10
    除了响应时间,效能比,还有就是兼容性,尺寸,成本……
    
    
我们在线,来聊聊吧