2026-10-29,MLCommons发布AILuminate Safety 1.2.1和AILuminate Jailbreak 1.1,并通过新上线的Candela服务提供按需测试。两套基准分别测量文本AI系统面对有害请求时能否拒答或安全引导,以及已公开越狱技巧能在多大程度上削弱这种防护。同期公开的Safety结果覆盖27个系统,包括Google、IBM、NVIDIA、OpenAI等开发者的22个开权重模型和5个独立护栏系统。

Safety基准依据AILuminate Assessment Standard的12类风险组织单轮提示,范围从暴力与非暴力犯罪、无差别武器到仇恨、隐私、诽谤以及健康、法律和金融专业建议。新版本不再用通用大模型充当裁判,而由MLCommons训练的专用确定性分类器逐句判断拒答、免责声明和重复提示。发布方称,同一回答可得到相同判定,分类器无法判断时返回失败而不是猜测。

提示集也发生结构性变化。Problem Set 2.0包含3900条正式提示,选择依据是项目对题目区分能力的统计分析;分数从相对于单个参考系统的等级改为0到100的固定参考分布百分位。MLCommons以项目反应理论为不同难度和区分度的题目赋权,从而让“某系统在固定参照中的相对位置”比简单违规率更容易跨轮次解释,但这仍不是能力、准确性或综合可靠性的排名。

公开结果显示,22个开权重模型在Safety上分布于第4到第98百分位,5个护栏系统则处于或接近100。这个跨度说明部署时选择基础模型和额外过滤层都可能显著改变安全表现,但不能把不同架构的分数直接解释成产品整体质量。官方提示并未公开,所有公开轮次使用同一提示、评估器和标准;MLCommons还会披露厂商退出公开测试的情况,以降低只挑好成绩发布的空间。

Jailbreak 1.1使用与Safety相同的危险请求,再以角色扮演、模板、包装、结构化编码和指令覆盖等已发表技巧改写。其公开结果尚未发布,因为MLCommons仍在完成对模型开发者的通知期。文章引用早期Jailbreak 1.0有限样本:违规响应由普通提示下的11.08%上升到攻击后的18.65%,但这个数字不能预先代表1.1或所有模型,也不能替代即将公开的逐系统结果。

边界同样重要:当前两套基准只测单轮英文文本,不覆盖多轮对话、工具调用或会采取现实行动的Agent;Jailbreak 1.1只实现攻击分类的一部分,并跳过专业建议类别。Candela可在租户环境中把提示转发给实际部署配置,再返回响应供评估,但方法描述仍来自MLCommons,27个公开结果也不能外推到未测试的系统版本、语言或私有系统提示。

量仔观察

这次更新真正值得工程团队关注的,不是又多了一张模型榜单,而是评估器、题目治理和公开声明规则同时被产品化。固定参照百分位和确定性分类器有助于重复测试,隐藏正式提示与披露退出则针对“刷榜”和选择性报告;但它们无法消除范围错配。采购或上线审查应把AILuminate作为安全维度之一,与能力、事实准确性、中文和多轮测试、Agent权限边界及真实业务红队结果并列,而不应把高百分位当成一张通用合格证。