京东零售大模型推理优化实践：从深度解耦到软硬协同的架构演进
导语
随着大模型技术在多模态感知与智能体应用上的突破，电商全链路正经历深度变革。DeepSeek等开源模型通过MoE与MLA架构创新，以前所未有的低成本重塑了技术生态，也把推理系统的性能压榨推向了极致。在京东零售的庞大业务矩阵中，大模型推理面临着内存墙、算力利用率低下以及服务高度多样化的三重考验。本文将拆解京东在推理优化上的工程实践，看我们如何通过分离式架构、多级负载均衡与多层流水线 Overlap，实现高吞吐、低时延的降本增效。
核心问题与挑战
大模型推理并非单纯的算力堆叠，在电商这种高并发、强异构、严SLO的场景下，核心痛点集中在三方面：
- 内存墙与算力闲置：KV Cache 随序列长度线性增长，迅速打满显存形成“内存墙”；而 Decode 阶段因访存密集导致算力利用率极低。
- 服务多样化调度难：输入输出长度差异大、多模态交织、硬件异构且 SLO 要求不一，传统调度策略难以兼顾全局吞吐与长尾延迟。
- 串行执行导致利用率低：CPU 调度与模型 Forward 串行、计算与通信交替执行，导致 GPU/NPU 大量时间在等待，硬件利用率存在天花板。
方案与实践
1. 分离式架构与全局 KV Cache Pool
面对资源瓶颈，核心思路是“拆解”。我们采用分离式架构，将 Prefill 与 Decode 资源物理隔离，针对其计算特性定制优化，消除 Continuous Batching 下的相互干扰。在视觉语言模型（VLM）场景下，进一步演进为 EPD 分离（Encode/Prefill/Decode），实现图像预处理与文本 Tokenize 的异步并行。
为突破单卡 HBM 限制，我们构建了 KV Cache Pool，将 KV Cache Offload 至 DRAM 甚至 SSD，实现跨实例的全局共享管理。传输通道上，设计了 Device 直推与 Offload DRAM 两种模式配合分块策略，实现 PD 执行的深度解耦。
2. 多级负载均衡策略
请求负载差异大，RoundRobin 调度无异于盲人摸象。我们引入了多级负载均衡机制：在全局网关层实施 Prefix 与 KV Cache 感知调度，尽量复用缓存；在分布式并行层，通过 DPLB（Data Parallel LB）与 EPLB（Expert Parallel LB，针对 MoE）精准调度请求与专家计算，抹平负载波峰波谷。
3. 多层流水线 Overlap 压榨硬件极限
串行是利用率的天敌，我们通过多层流水线 Overlap 将隐藏延迟榨干：
- 框架层：CPU 调度与 NPU 计算异步，使用 Fake Token 提前执行下一轮 CPU 调度，NPU Forward 前替换为真实 Token。
- 模型层：针对 DeepSeek MTP 投机推理，设计 Draft/Target 交互执行的流水线并行，消除调度 Bubble。
- 算子层：在 PD 分离场景下，采用 LayerWise 异步传输 KV Cache，让通信与 Forward 计算双流 Overlap，大幅缩减长序列传输耗时。
原则/方法论沉淀
在持续的工程迭代中，我们沉淀出三条核心优化原则：
- 深度解耦的分布式系统设计：不追求大而全的单体调度，而是拆解:模型结构（MoE/MLA）、计算阶段与存储资源，以解耦换突破。
- 计算与存储分离：有限的 HBM 无法装下无限的增长，通过 Offload 和全局 Pool 扩展存储边界，用空间换时间，再以 Overlap 捽回时间。
- 软硬深度协同：不把硬件当黑盒，挖掘 NPU/GPU 理论极限，最大化访存、通信与计算的 Overlap，打开算力天花板。
总结与行动建议
通过上述优化体系，京东零售大模型推理实现了 TP99 下降 50%、资源节省约 60% 的显著收益；在多模态场景下吞吐提升 3 倍，整体推理成本节省约 70%，并有效带动了业务转化指标的提升。
对于正在攻坚推理优化的工程团队，建议：
- 优先解决 PD 资源干扰与 KV Cache 碎片化，这是提升吞吐的基座；
- 重视 Overlap 机制的设计，尤其是 CPU 调度与计算通信的重叠，这是压榨利用率的关键；
- 放眼架构同源性，LLM 的序列缓存与分离式架构，未来可与生成式推荐系统协同设计，复用稀疏特征查询与 Prefix 匹配机制，释放更大技术红利。
开放问题与延伸方向
- KV Cache Offload到DRAM/SSD时，跨层级访存的额外延迟开销在端到端SLO中占比究竟有多大？——涉及计算存储分离原则的收益边界，需结合Overlap机制量化评估。
- 针对VLM的EPD分离架构，Encoder、Prefill与Decode三阶段的资源配比基准在不同分辨率图像输入下如何动态确定？——EPD分离的深化，需引入自适应弹性扩缩容机制。
- 在多租户高并发场景下，全局KV Cache Pool的共享是否会引发严重的资源抢占与性能抖动担忧？——全局池化的经典挑战，需配合更细粒度的隔离与QoS调度策略。
- 将KV Cache频繁换入换出至SSD，是否会引起硬件层面的写放大与寿命衰减焦虑？——工程落地的硬件风险，需在Offload策略中引入热度与淘汰机制。
- 分离式架构在夜间低并发时段，是否会导致Prefill和Decode实例出现严重的资源碎片化与闲置浪费？——分离架构的弹性短板，可探索低负载时的实例合并与资源借调。
- Prefix感知调度在面对用户Prompt高度发散、共享前缀极少的业务场景时，是否会退化为普通调度甚至增加匹配开销？——调度策略的退化边界，需设定匹配阈值以避免无效开销。
- 多层流水线Overlap结合MTP投机推理，在Decode阶段的算力利用率提升上，相比传统自回归推理的理论加速比上限是多少？——软硬协同的收益天花板，需结合MTP接受率建立理论模型。
- 软硬深度协同策略在适配国产异构NPU时，相比通用GPU能释放哪些独特的架构红利？——国产化适配的增量空间，需深挖NPU片上互联与算力阵列特性。
- 面对KV Cache内存墙，除了Offload到DRAM/SSD，是否考虑过基于CXL协议的内存池化扩展或MoE MLA架构的底层压缩作为替代路径？——突破内存墙的异构解法，CXL与MLA是极具潜力的下一代演进方向。
- 展望中提及的生成式推荐与LLM协同设计，能否将推荐系统的稀疏特征查询迁移复用到LLM的Prefix匹配与缓存机制中？——跨系统技术复用的核心，稀疏查询与Prefix匹配在语义与结构上高度同构。
- 在架构解耦、调度均衡与流水线重叠三大优化方向中，工程落地的优先级与系统复杂度收益的平衡点应如何决策？——架构演进的元问题，建议以ROI为导向，先解耦打基座，再Overlap榨性能。