原始来源日期:2026年10月6日。本文依据最近72小时内发布的一手资料编译。

原文编译

推测解码先让较小草稿模型生成候选Token,再由目标模型批量接受或拒绝,从而减少昂贵目标模型的逐Token推理。过去研究主要比较速度与普通任务质量,安全策略在这种近似执行下是否保持没有被系统测量。

作者对多种有损推测解码方法做大规模测量,