量仔前沿新闻与技术实践

08:10早 · 每天这个点更新

前沿新闻

后量子算法、迁移与协议,标准、网络安全、AI 与 NGCC 公钥征集。每条都回到原始来源核实并标明日期;周五另有一份七天周报。

坐着读报纸的奶蛙
AI 前沿

3 条 · AI 前沿 · 一天一页

AI 前沿

03
02

vLLM 在限定硬件条件下为 GLM-5.3-Flash 默认启用 FP8 KV Cache

vLLM 为 GLM-5.3-Flash 增加模型专属配置:当 cache_dtype 为 auto、运行于 CUDA 且设备属于 capability family 100,并识别到相应模型字段时,自动改用 FP8 KV Cache。提交标题报告端到端吞吐提升 9.8%,但基准细节未随代码给出。

vLLM GitHub
选编说明

专题栏目优先选编有实质新增的研究、标准、产业与部署消息,快讯简明呈现已核实的重要更新。 逐条核验原始来源并标明日期,不用重复旧闻凑数。