量仔前沿新闻与技术实践

08:10早 · 每天这个点更新

前沿新闻

后量子算法、迁移与协议,标准、网络安全、AI 与 NGCC 公钥征集。每条都回到原始来源核实并标明日期;周五另有一份七天周报。

坐着读报纸的奶蛙
AI 前沿
vLLM 官方仓库

AI 前沿

vLLM 引入可插拔 KV 缓存规划接口,平台和模型可定制分组与布局

vLLM 新提交将 KV 缓存分组与张量布局开放为可插拔构造器,同时把容量核算、跨进程协调和准入检查保留在核心流程。测试覆盖层遗漏、分组重叠和配置探测等边界。接口明确处于实验阶段,主要价值是扩展性,不代表现有模型自动获得吞吐或显存收益。

Apache-2.0KV缓存实验接口推理基础设施
阅读本期头条