02｜收拾行李，准备上路
李琨
你好，我是李锟。
我们即将踏上一段困难但充满惊喜的旅程。这段旅程意义重大，所以在出发之前，我们需要做好准备。以免因为仓促上路，没有携带必要的工具，导致半途而废。
首先我们需要掌握一些 LLM 应用开发的基础知识。对于部署在云端的商业 LLM，我们只需要学会其 API 和客户端库的使用方法即可。对于部署在本地机器上的开源 LLM，我们需要亲自来部署、调优。因此需要掌握的知识会多很多，但是这些努力的回报也会更大。
LLM 应用开发必备基础知识
首先我们需要理解与基础 LLM 相关的几个术语。
训练 training：在训练数据集上构建复杂的模型，以捕捉更多的数据特征和模式，从而提高预测准确性。
评估 evaluation：对模型的性能进行定量和定性的评估，以确定模型的准确性和效率。
微调 fine-tuning：在预训练模型的基础上，使用少量数据进行精细调整，以适应特定任务的需求。
部署 deployment：将训练好的模型部署到生产环境中，以便实时处理用户请求或进行实时分析。
推理 inference：使用已训练好的模型进行预测或分类，以及解释模型输出的过程。
大致理解了上述 5 个术语，我们可以把 LLM 开发划分成两个层次。
基础 LLM 的研发
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. LLM 应用开发的基础知识包括训练、评估、微调、部署和推理，以及基于基础 LLM 的应用开发。 2. LLM 应用开发模式的变革，特别是 OpenAI API 的推出，大幅降低了开发成本，引爆了 LLM 应用开发的市场。 3. 传统 NLP 应用开发模式的长周期和高成本，相比之下，LLM 应用开发模式更加高效和经济。 4. 量化在 AI 模型中的作用，包括减少存储需求、加速计算、减少能耗，但可能会导致模型精度下降。 5. 开源语言模型的发布平台和文件格式，包括 Hugging Face Hub、Ollama 网站和 ModelScope，以及常见的模型文件格式如 Safetensors、GPTQ、GGUF、AWQ 和 AQLM。 6. 准备开发机器和系统的要求，包括配置较高的 Linux 主机或虚拟机，Nvidia 的 CUDA 开发工具集等。 7. 开源 LLM 的部署工具，包括 Hugging Face Hub 命令行工具 huggingface-cli、Ollama 和 vLLM，以及它们的适用场景和硬件要求.
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《LLM 自主智能体应用实战课》，新⼈⾸单¥59
《LLM 自主智能体应用实战课》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论