06 | 进阶部署（二）：非量化版DeepSeek分布式部署方案实战

1. DeepSeek-R1-Distill-Llama-70B 模型的部署需要采用分布式推理，因为单个 NVIDIA A100 显存无法加载这么大的模型。 2. vLLM 是专为大型语言模型 (LLM) 的推理和部署而设计的库，通过引入创建的架构和算法，减少计算开销，提高吞吐量，实现推理过程的高效。 3. vLLM 的安装可以通过 pip 安装、从源码安装或使用 Docker 安装，其中推荐使用 Docker 安装，因为它可以避免环境适配问题。 4. 使用 vLLM 进行模型推理时，可以进行离线批量推理和在线推理，离线推理需要编写 Python 代码，而在线推理可以通过命令拉起大模型后，直接使用 OpenAI API 访问大模型。 5. vLLM 还支持 OpenAI Completions API，可以通过修改 base_url 和 model 来使用 vLLM 的 API server. 6. 分布式推理有不同的策略，包括单 GPU、单节点多 GPU（张量并行推理）、多节点单（多） GPU（张量并行加管道并行推理）的情况，需要根据模型大小和硬件情况选择合适的策略。 7. 在分布式推理中，需要考虑显存大小、GPU 卡数量、NVLink 技术、高速网络等因素，以及适用场景和效率优化。 8. 环境搭建、推理模式选择和分布式推理策略是部署大型模型时的关键知识点，需要根据具体情况进行合理选择和配置。 9. 在部署 DeepSeek-R1-671B 模型时，设置--tensor-parallel-size=16 可能会导致不同的现象，需要进行思考和讨论。