Case12｜大模型推理性能优化：大模型推理新突破：分布式推理技术探索与实践

1. P-D分离技术优化大模型推理过程中的Prefill和Decode阶段，降低成本并提高性能。 2. P-D分离的难点问题包括通信机制、成本、分布式系统的复杂性以及面向未来的P-D分离设计等方面。 3. P-D分离在RTP-LLM上实现后，在不同场景上线取得了不俗的效果，包括实例个数下降、平均时延下降和P99时延下降。 4. P-D分离的成本讨论包括凑批策略、资源分配和控制信息传输等方面。 5. P-D分离的数据传输方面讨论了KVCache的传输、TCP和RDMA的选择、RDMA的安全性和RDMA库的选择。 6. P-D分离的部署模式提供了更多的选择，可以根据需求自由地在Prefill和Decode机器部署不同的量化方案，从而降低成本并提高性能. 7. P-D分离架构需要考虑系统复杂性、负载均衡、分布式稳定性等问题，需要引入多节点/多集群、自动化故障处理和灰度升级等机制来保障稳定性和可用性. 8. InfiniStore是一个分布式KV Store，提供本机GPU传输和跨机器的RDMA传输，支持Ethernet和IB两种方案。 9. CacheStore方案旨在支持不同的数据传输机制，包含RDMA，控制信息的传输使用TCP/RPC协议，支持异步接口，计算和传输Overlap，最大化RDMA的并行性，考虑分布式系统的容错性。