07 | 进阶部署（三）：非量化版 DeepSeek 分布式部署方案实战

1. Ray是一个开源的分布式计算框架，旨在简化大规模机器学习和分布式应用程序的开发，提供了高效的并行处理能力，支持数据预处理、分布式训练、超参数调优、模型服务和强化学习等任务。 2. KubeRay是在Ray的基础上开发的适配Kubernetes版本的工具，采用经典的Operator设计，提供了RayCluster、RayJob和RayService等自定义资源定义，使得在Kubernetes集群上部署和管理Ray集群变得更加简便。 3. Ray-Operator是KubeRay项目中的核心组件，负责在Kubernetes集群中创建和管理Ray集群，通过监听CRD的变化，自动化地处理Ray集群的部署、扩缩容和故障恢复等任务，简化了集群的运维工作。 4. 部署过程中需要准备GPU机器和模型文件，可以通过对象存储或云硬盘的方式挂载模型文件，也可以使用ModelScope Python SDK进行下载模型文件。 5. 可以通过创建带有Python环境的pod，并将对象存储PVC挂载到pod中，或者先拉起Ray集群，再将对象存储PVC挂载到Ray集群的Head中，来简化模型文件的下载和准备过程。 6. Ray集群的部署和使用是重点，需要关注如何在Kubernetes集群上部署和管理Ray集群，以及如何下载和准备模型文件。 7. 了解Ray的核心概念，包括任务、参与者和对象，以及Ray的分布式运行原理和架构。 8. 理解KubeRay和Ray-Operator的作用，以及它们在简化Ray集群部署和管理方面的优势。 9. 学习如何使用Ray和KubeRay在Kubernetes集群上进行分布式部署，以及如何准备环境和模型文件。 10. 通过实际部署和使用，验证了分布式部署的可行性，需要细致规划和调试每一步，特别在多节点、多GPU的场景下。