一天3000星，谷歌发布BERT官方代码
极客时间编辑部
讲述：杜力大小：993.95K时长：02:07
近日，谷歌 AI 团队终于开源了“最强 NLP 模型”BERT 的 TensorFlow 代码和预训练模型。从论文发布以来，BERT 在 NLP 业内引起了巨大反响，被认为开启了 NLP 的新时代。不到一天时间，就已经获得 3000 多星！
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练语言表示的新方法。它在机器阅读理解顶级水平测试中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在 11 种不同 NLP 测试中创出最佳成绩。
更确切地说，BERT 是一种预训练语言表示（language representations）的方法，开发者可以在一个大型文本语料库上训练一个通用的“语言理解”模型，然后将这个模型用于下游 NLP 任务（比如问题回答）。BERT 比以前的方法更优秀，因为它是第一个用于预训练 NLP 的无监督、深度双向的系统（unsupervised, deeply bidirectional system）。
据介绍，使用 BERT 分为两个阶段：预训练（Pre-training）和微调（Fine-tuning）。
预训练的成本是相当昂贵的，但是对于每种语言来说都只需要训练一次。大多数 NLP 研究人员根本不需要从头开始训练自己的模型。
而微调的成本不高。从完全相同的预训练模型开始，论文中的所有结果在单个 Cloud TPU 上最多 1 小时就能复制，或者在 GPU 上几小时就能复制。
BERT 的另一个重要方面是，它可以很容易地适应许多类型的 NLP 任务。在论文中，谷歌展示了句子级、句子对级别、单词级别以及段落级别等任务上最先进的结果，并且，几乎没有针对特定任务进行修改。
据悉，GitHub 库中包含了以下内容：
BERT 模型架构的 TensorFlow 代码（主体是一个标准 Transformer 架构）。
BERT-Base 和 BERT-Large 的 lowercase 和 cased 版本的预训练检查点。
用于复制论文中最重要的微调实验的 TensorFlow 代码。
这个项目库中所有代码都可以在 CPU、GPU 和 Cloud TPU 上使用。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论