39｜Transformers.js：JavaScript的AI运行环境
月影
你好，我是月影。
前面我们介绍的很多技术，都是需要通过调用大模型服务，通过 API 获取生成内容。业务本身的 AI 推理操作实际上是运行在封装好的 LLMs 服务之上的。
这一节课，我们将涉及部分更底层的技术 —— Transformers。
实际上，早在 2022 年底，开源社区开发者 Xenova（Joshua Lochner）就创建了 Transformers.js 项目，旨在将 Hugging Face 的 Transformers Python 库的功能迁移到 JavaScript 环境中，实现前端本地推理。
@xenova/transforms 库的第一个版本发布于 2022 年 12 月 27 日，此后该项目得到了 Hugging Face 的支持，并在其组织下进行维护和更新。
到 2024 年 10 月，最新的 v3 版本（包名变更为@huggingface/transformers）发布，该版本引入对 WebGPU 的支持，利用浏览器的 GPU 进行高性能计算，性能比 WebAssembly 快了 100 倍。
目前，Transformers.js 支持超过 120 种模型架构，包括 GPT、BERT、T5、Phi-3、Gemma、LLaVa、Moondream、Florence-2、MusicGen 等，涵盖自然语言处理、计算机视觉、音频处理等多个领域。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. Transformers.js 是一个 JavaScript 的 AI 运行环境，旨在将 Hugging Face 的 Transformers Python 库的功能迁移到 JavaScript 环境中，实现前端本地推理。 2. Transformers.js 支持超过 120 种模型架构，包括 GPT、BERT、T5 等，涵盖自然语言处理、计算机视觉、音频处理等多个领域。 3. Transformers.js 可以实现处理文本内容，例如分析用户对产品和服务评论中的情感。 4. 使用 Transformers.js 需要从 Hugging Face 上选择并下载模型，然后根据模型格式进行相应的处理和配置。 5. Transformers.js 有两种运行时，一个是 onnxruntime-web 可以运行在纯前端的网页上，另一个是 onnxruntime-node 可运行在 Node.js 下。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《跟月影学前端智能体开发》，新⼈⾸单¥59
《跟月影学前端智能体开发》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论