2026-11-12,Translated在Hugging Face发布Lara-4-Mini-Base权重。模型卡给出的规模为总参数7.2B、每个词元激活约0.6B,采用混合专家架构;34层中包括14层Gated DeltaNet、13层滑动窗口注意力和7层全局注意力,路由部分为128个专家中选择4个,并加1个共享专家。

模型标称支持131072词元上下文,权重数据类型为bf16。训练说明称,预训练使用约6万亿词元,随后有约1000亿词元的长上下文阶段;英语约2.49万亿词元、占41.4%,多语言数据约2.18万亿词元、占36.4%,覆盖44种非英语语言。超过标称上下文的表现尚未测试。

官方模型卡把Lara与56个开放基础模型比较,并给出综合分57.0的自评结果;在单张A100、bf16且无量化的官方测试中,生成速度约1100字符/秒,并称至少比若干更高分模型快1.8倍。这些比较由发布方完成,硬件、提示、解码、实现和评分组合都会影响结果,不能当作独立排行榜结论。

许可边界尤其重要:权重采用CC BY-NC-SA 4.0,下载需要门控和人工批准,限制商业使用并要求相同方式共享衍生成果;代码和分词器则是Apache 2.0。模型卡还提示,训练中使用的第三方合成数据可能受到Qwen或DeepSeek相关条款约束,因此“代码开放”不等于整个模型可自由商用。

Lara Mini Base是基础模型,没有指令微调、聊天模板或安全对齐,也未在Hugging Face上提供托管推理。要用于面向用户的产品,团队仍需完成对齐、内容安全、语言质量、长上下文稳定性和部署框架兼容测试。其低激活参数带来的潜在效率价值,需要在具体后端和批量条件下复现。

量仔观察

对多语言模型研究和本地推理团队,Lara提供了一个较小激活规模的MoE基线,适合研究语言覆盖与长上下文效率。证据主要是模型卡和厂商自测,读者可先核对门控许可、合成数据条款,并在目标GPU与语言集上复测质量、吞吐和显存。下一观察点是独立评测、指令版或安全版发布,以及非商业许可是否会出现更清晰的企业使用路径。