2026-11-04,MLCommons公开MLPerf Endpoints v1.0一批经协会验证和同行复核的结果,把开放模型的在线服务性能放进带硬件、软件、并发和功耗条件的记录中。与只公布单一“tokens/s”不同,这套结果同时给出系统总吞吐、每用户速度、P90首Token延迟(TTFT)和配置规模,更适合推理平台做容量取舍。

其中,Google提交的Qwen3.6 35B-A3B结果使用一台含4块NVIDIA GB300的节点,服务栈为vLLM特定提交配合Dynamo 1.4.2。并发768时,系统吞吐为35,238.5 tokens/s,P90 TTFT为387.3 ms,每用户45.9 tokens/s;页面记录的总配置功耗为8.43 kW(MLC估算)。该数据对应agentic_coding性能数据集和Available类别,并非通用模型质量得分。

Kimi-K3的记录展示了另一种规模曲线。NVIDIA在48个Vera Rubin加速器、12节点的TensorRT-LLM与Dynamo栈上,并发1,024时达到23,260.8 tokens/s,但P90 TTFT上升至15,712.7 ms,每用户22.7 tokens/s;并发1,536时总吞吐进一步到25,495.4 tokens/s,每用户速度降至16.6 tokens/s,P90 TTFT增至25,719.8 ms。

Google在同一模型上提交的32块GB300、8节点结果也显示同样权衡:并发1,024时为13,560.5 tokens/s,P90 TTFT 15,995.5 ms,每用户13.2 tokens/s,总功耗67.48 kW(MLC估算)。这些结果不能直接拿不同模型、不同硬件规模的最高吞吐做“谁更快”结论,因为模型工作量、节点数、后端和服务目标均不同。

[MLCommons的Qwen报告](https://endpoints.mlcommons.org/report?source=phase2&submission=0308b5f3-58c5-4243-8bb3-797b68f79abd)保留了容器摘要、驱动、内核、并发档位和运行日期;Kimi-K3报告同样给出每档曲线。对采购者而言,最有价值的不是某个峰值,而是同一提交里从低并发到高并发时,吞吐、交互速度和尾延迟如何同时变化。

量仔观察

这批结果影响模型服务商、推理平台工程师和算力采购者:它提供了比厂商宣传更接近容量规划的可比字段,且经过MLCommons复核。局限是部分模型精度、数据集细节和硬件字段仍为空,功耗中也有估算值。读者可按自己的SLA挑选相近并发档位,并用相同模型与服务栈复测;下一观察点是更多供应商提交以及成本、能耗与质量指标能否同时进入统一报告。