17｜集中接入：将大模型统一管理起来
郑晔
你好，我是郑晔！
前面两讲，我们介绍了两种工程实践，分别是记忆和缓存，它们可以从效果上更好地帮助我们实现一个大模型应用。这一讲，我们再来讨论一种工程实践：模型的集中接入。如果说前面两种工程实践，更多的是代码上的调整，那模型的集中接入更像是一种架构上的调整。
为什么要集中接入？
集中接入，就是把大模型的接入统一到一个地方管理起来，下面这张图可以很好地帮我们理解集中接入：
从这个图上，你已经看出来了，所谓的集中接入，其实就是构建了一个代理，我们后面就称它为大模型代理。
到这里，你可能产生这样的疑问：我直接用大模型不好吗？为什么还要在中间加上一层代理呢？
我在前面说过，集中接入是一种架构上的调整，顾名思义，我需要是一个服务，才会有架构调整的说法。如果只是像前面几讲，如果在本地就可以运行起来的一些程序，确实没有必要在中间加入一层。但在真实的项目中，我们往往是要构建一个服务，这时集中接入的价值就体现出来了。
之所以要有一个中间层，最直接的一个问题就是限流问题。大模型服务本身资源消耗很大，提供大模型服务的供应商为了保证尽可能多的用户享受到正常的服务，所以，它对单用户实施了限流。以 OpenAI API 为例，下面就是它的限流标准，其中 RPM 是 requests per minute（每分钟请求数），TPM 是 tokens per minute（每分钟 Token 数）。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. 集中接入通过大模型代理解决了多账号管理和限流问题，简化了应用端代码的编写。 2. One-API作为大模型代理工具，提供了统一接口访问不同大模型的能力，可通过Docker安装和配置管理。 3. One-API的配置包括渠道管理、模型重定向和API Key管理，可根据需要设置权限和优先级。 4. One-API还提供了高级功能，如自动禁用渠道和通知运维人员等。 5. 集中接入的实践需要在架构上做调整，引入大模型代理将接入的复杂度转移到代理上。 6. 集中接入简化了应用端代码的编写，甚至可以让一些抽象失效。 7. 集中接入的练习题包括搜索其他能实现大模型代理的工具和尝试操作其中一个工具，探索其能力。 8. 集中接入的核心在于将接入的复杂度转移到大模型代理上，从而简化应用端代码的编写。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《程序员的 AI 开发第一课》，新⼈⾸单¥59
《程序员的 AI 开发第一课》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论