原始资料日期:2026-10-20。llm-d项目贡献者宣布1.0版本。该项目由Red Hat、IBM、Google Cloud、CoreWeave与NVIDIA等在2025年发起,目前由CNCF治理,目标是为大语言模型提供可组合的分布式推理基础,而不是再实现一个独立模型服务器。
此前llm-d已把前缀缓存和负载感知路由、KV缓存卸载、预填充与解码分离、专家并行以及同步和异步批处理组合起来,并兼容vLLM、SGLang等后端。1.0的变化重点不在单项算子,而是把这些机制整理为适合生产第二阶段运维的稳定路径。
新版本加入面向多租户的优先级与公平流控,避免突发智能体请求长期挤占低延迟业务;路由器提供热备和滚动升级,预填充与解码副本可作为一个逻辑单元协调发布。项目还固定v1配置API,降低平台团队在不同云与加速器环境中维护私有分支的压力。
针对智能体负载,1.0提供会话感知路由,让多轮对话尽量靠近已经缓存的上下文,并用轮次优先级与Responses API状态减少重复计算。公告称项目已有超过500名贡献者和25个以上组织参与,说明其价值正在从单厂商优化走向跨硬件、跨推理后端的公共控制层。
性能数据需要谨慎解读。Red Hat引用IBM案例称,量子纠错研究负载的推理成本比全专有配置低11.5倍,前缀缓存命中约98%;另一项GLM 5.2演示在特定NVIDIA GPU和云租赁价格下达到峰值每分钟660万输出token,并服务最多3000个编码智能体。这些是项目参与方在特定基准上的结果,不是独立的通用SLA。
量仔观察
本站判断,llm-d 1.0的重要信号是推理竞争从“单卡每秒多少token”转向缓存归属、队列公平和升级可靠性。智能体会产生长上下文、突发并发与反复工具调用,单一吞吐数字不足以指导容量规划。采用方应以自己的会话长度、命中率、尾延迟和故障切换测试1.0,并把厂商演示的成本优势拆解为模型、硬件、租赁价格与运维复杂度,而不是直接照搬倍数。
