24|架构设计(上):企业如何设计大模型应用架构?
独行
你好,我是独行。
截止到上一节课,大模型本身的基础知识和实践你已经学得差不多了,这节课我们深入大模型的规模化落地过程,把前面学习过的大部分知识都融合进来,你可以把这节课当做企业内部落地大模型的技术方案,我会把各种需要考虑的细节全部放进去,我们就拿上一节课提到的批量处理发票作为场景。
需求背景
在日常出差报销流程中,我们需要单次 / 批量上传发票,手动填写行程单,非常耗时且繁琐,本次需求将实现这个场景的自动化,不仅可以节省时间,还可以提高数据处理的准确性。本次需求存在几个难点:
PDF 处理,包括长文本切割、OCR 高精度识别、文字组装等;
向量库语义准确性、向量库性能;
数据安全与隐私;
大模型运维与部署;
大模型、Agent 系统集成等;
知识库的维护。
下面我们思考下系统架构。
系统架构
系统由产品、AI 中台以及后台管理系统几部分组成。
AI 中台
不管是大模型还是小模型,我们需要将 AI 相关的能力集中管理起来,这里我们只用到了模型服务(MaaS),也就是说,我们这里假设模型已经训练好,微调好,可以直接通过接口进行调用。实际上 AI 中台还包括其他模块,比如数据采集、标注、模型训练等等,这里我们只用到模型服务,下一节课我们再详细介绍 AI 中台的架构设计。AI 中台最好至少通过 2 个应用去承接,一个提供对外 API 服务,使用 Java 语言构建,一个 AI 模型服务,使用 Python 应用构建。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. AI中台的系统架构需要考虑稳定性和安全性,包括接口调用限速、文件处理限制、模型服务计费等方面。 2. 在模型服务中的PDF处理需要考虑处理图像嵌入、资源密集型操作和系统负载过重的情况。 3. 选择合适的词嵌入模型和评估向量数据库的准确性和分词方法的影响是词嵌入模块的关键考虑因素。 4. Agent模块需要处理PDF的整个过程,并考虑prompt组装、文本格式化和文件生成等内容。 5. 大语言模型作为系统的核心,需要考虑选择本地自建模型还是使用大厂提供的API,以及评估GPU资源和模型的免费商用性。 6. AI中台的应用服务需要考虑接口鉴权、权限控制和调用频率限制等方面的稳定性和安全性。 7. PDF处理模块需要考虑使用不同的工具库进行PDF切分、OCR识别等操作,并处理可能出现的问题和系统负载过重的情况。 8. 需要多调试词嵌入及向量数据库,不同的词嵌入模型使用的训练方式不同,效果不同,需要不断调试看效果。 9. 大模型推理效率问题需要合理评估设备资源,避免推理资源不足带来不好的体验。 10. 自己维护知识库需要有一定的分词能力,同时需要考虑如何进行优雅更新大模型。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 大模型实战高手课》,新⼈⾸单¥59
《AI 大模型实战高手课》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论