2026-11-05,百度在 Hugging Face 与 ModelScope 发布 ERNIE 5.5 Flash Base 的 FP8 和 BF16 权重。模型卡把它定义为预训练结束时的基座检查点,尚未进行中期训练、指令微调或强化学习,面向领域适配和后训练研究,而非可直接替代对话产品的完成版模型。Hugging Face 上的 FP8 仓库约288 GB,并提供 Transformers、vLLM 与 SGLang 的加载示例。

架构为2800亿总参数、每个词元激活140亿参数的稀疏 MoE,共43层,其中42层为 Multi-Router Latent MoE;每层有512个路由专家、选择10个,另有1个共享专家。注意力采用37层 HCA 与6层 MLA+DSA 的混合设计:HCA 每128个词元缓存一个条目,约每七层保留一层全词元访问,用更低 KV 缓存承载长上下文。

百度称模型从零预训练33.5万亿词元,训练上下文上限128K,微调和推理支持1M;内置 ECHO 复用骨干最后一层预测未来词元,可作为推测解码草稿模型。模型卡还列出低秩门控注意力、Virtual Head Attention、mHC 残差结构和约20万词表。公开基准由百度统一流水线测得,尚不能当作第三方独立验证,也没有公开训练数据全集。

许可证是采用前必须单独评估的部分。`ERNIE 5.5 Flash Base Model License v1.0` 明确把可授权地域定义为不含欧盟、英国和韩国;商业产品或服务需显示“Powered by ERNIE”。相关产品或服务年收入不超过5000万美元时,可在提交一次性使用通知后免费商业使用;超过阈值则要提前取得书面商业授权,并在未获授权时暂停受影响的商业使用。

许可还把微调、量化、合并、蒸馏和用输出训练所得模型广泛纳入衍生模型定义,并禁止用模型、衍生模型或输出改进其体系之外的其他 AI 系统。完整条款还包含可接受使用政策、分发通知和收入聚合规则,因此“权重可下载”不等同于 OSI 意义的开源或无条件商用。模型能力与架构见[模型卡](https://huggingface.co/baidu/ERNIE-5.5-Flash-Base/blob/main/README.md),部署前还应逐条阅读许可证。

量仔观察

这次发布同时提供了较完整的基座权重、架构说明和推理入口,对长上下文与领域后训练研究有直接价值;但技术可得性和法律可部署性必须分开判断。尤其是地域排除、5000万美元收入阈值、强制署名与跨模型改进限制,会实质影响跨国企业、托管服务和蒸馏路线,不能只看“开权重”标签做采用决定。