PyTorch一周年战绩总结
极客时间编辑部
讲述：丁婵大小：1.61M时长：03:31
截至目前，PyTorch 已经公开发行一周年。自发布以来，由于调试、编译等多方面的优势，它成为 2017 年热度极高的框架之一。本文回顾 2017，对 PyTorch 这一年的进展做了总结。从数字上来看：
在 Github 上约有 8.8 万行代码引入 Torch；
在 Github 上有 3983 个 repository 在名字或者描述中提到了 PyTorch；
PyTorch binary 的下载量超过 65 万；
自发布以来，Reddit 上的机器学习（/r/machinelearning ）主题中有 131 条讨论提到了 PyTorch，同期，TensorFlow 被提及的次数为 255。
具体来看，首个 PyTorch 社区工具包被命名为 Block，有助于更轻松地处理块矩阵（block matrix）。此后，Salesforce 发布了若干个工具包，包括其亮点成果 PyTorch-QRNN，这是一种新型 RNN，相比于 CuDNN 优化的标准 LSTM 可提速 2 倍到 17 倍。
来自 Uber、Northeaster、Stanford 的研究者围绕着其工具包 Pyro 和 ProbTorch，形成了一个活跃的概率编程社区，他们正在积极开发 torch.distributions 核心工具包。
此外，英伟达研究者发布了三个高质量 repo，实现了 pix2pix-HD、Sentiment Neuron 和 FlowNet2。对 PyTorch 中不同数据并行模型的扩展性分析对整个社区都很有益。
在可视化方面，黄子伟（Tzu-Wei Huang）实现了 TensorBoard-PyTorch 插件，FAIR（Facebook AI Research）则发布了与 PyTorch 兼容的 visdom 可视化包。另外，FAIR 还发布了多个项目，如 ParlAI、VoiceLoop 等，在多个领域中实现了先进的模型和接口数据集。
去年 8 月， PyTorch 实现了一个通用接口，可以使用 n 阶导数，加快支持高阶梯度函数的收敛，截至目前，几乎所有 ops 都支持此界面。
之后，PyTorch 还发布了一个小型分布式包，使用非常流行的 MPI 集合（MPI-collective）方法，并有多个后端以支持多种 CPU/GPU 集合操作和用例，这个包还整合了 Infiniband 和 RoCE 等分布式技术。
同时，官方团队还实现了 Broadcasting 和 Advanced Indexing 等功能，让 PyTorch API 更接近 NumPy 的 API。
在性能上，从核心 Tensor 库到神经网络算子，PyTorch 改善了在 board 上的性能，能在 board 上更快的编写微优化，同时还重写 PyTorch 内部构件，将框架开销从 10 微妙／算子降低到 1 微妙。
在重新设计 PyTorch 内部构件的同时，官方团队构建了 ATen C++11 库，该库现在主导 PyTorch 所有后端，是一个便于 Tensor 计算的 C++ 库。
同时，为了方便用户将 PyTorch 模型输出到另一个框架，官方团队构建了 tracer，可以将 PyTorch 模型输出为中间表示。用户可使用后续的 tracer 更高效地运行当前的 PyTorch 模型，或者将其转换成 ONNX 格式输出至其他框架，或直接搭载到硬件加速库中。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论