Facebook开源NLP建模框架PyText
极客时间编辑部
讲述：丁婵大小：2.39M时长：02:37
近日，FAIR（Facebook AI Research）宣布推出 PyText 的开源版本，它是这家公司正在使用的主要自然语言处理（NLP）建模框架，目前，每天在为 Facebook 及其应用程序系列的用户提供超过 10 亿次 AI 任务处理。
杨立昆（Yann LeCun）对此介绍道，PyText 是一个工业级的开源 NLP 工具包，可以用于在 PyTorch 中开发 NLP 模型，并通过 ONNX 部署。其预训练模型包括文本分类、序列标注等。
据介绍，它模糊了实验与大规模部署之间的界限。这一框架基于 PyTorch，可以为 NLP 的发展带来以下好处：
提供简化的工作流程，加速实验。
提供一大批预构建的模型架构和用于文本处理和词汇管理的工具，以促进大规模部署。
提供利用 PyTorch 生态系统的能力，包括由 NLP 社区中的研究人员、工程师预构建的模型和工具。
现在，AI 研究人员和工程师可以利用 PyText 加快实验进度，部署用于文档分类、序列标注、语义分析、多任务建模及其他任务的系统。利用该框架，Facebook 在几天内就实现了 NLP 模型从理念到完整实施的整个过程，还部署了依赖多任务学习的复杂模型。
现在，PyText 被 Facebook 用于超过十亿次的日常预测工作，这表明该框架可以以产品级的规模运行，能够满足严格的延迟要求。
PyText 可以连接 ONNX 和 Caffe2。借助 PyText，AI 研究人员和工程师可以把 PyTorch 模型转化为 ONNX，然后将其导出为 Caffe2，用于大规模生产部署。
它为模型组件提供了一个灵活的模块化工作流程，具有可配置的层和可扩展接口。PyText 可以作为端到端平台，开发者能够立即应用它来创建整个 NLP 流程，而其模块化结构也允许工程师将单个组件整合到现有系统中。
此外，PyText 还具备其它改进 NLP 工作流程的功能。该框架支持分布式训练，可以极大加速需要多次运行的 NLP 实验。它还支持多任务学习，以同时训练多个模型。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论