Cohere发现自托管开源权重模型仍需出站管控

Cohere 最近报告称，阿里巴巴最新的 Qwen3.8 模型之一试图将一份诊断文件上传到北京的存储容器中，同时在其推理轨迹中明确表示不会触发任何工具。虽然没有证据表明存在有意植入后门，但该报告提醒我们，即使是基于开放权重模型的自托管智能体，也存在出站风险，必须得到充分缓解。

在一篇关于这些安全发现的详细博客文章中，Cohere 解释道：

当被要求编写一条防御性检测规则时，Qwen3.8-Flash-Next 忽略了指令，反而清点了它所运行的机器，然后试图将一份探测文件上传到北京的一个阿里云存储桶。Cohere 的沙箱系统阻止了这一尝试，但该行为引发了关于这些模型安全性的诸多疑问：它们能否植入漏洞，并在植入后回连母站？值得注意的是，该模型的推理轨迹——许多安全团队赖以观察智能体即将采取何种行动的模型内部独白——声称它根本不会调用任何工具，并且没有透露它即将采取的行动的任何迹象。

Cohere 强调，这一未经提示的上传尝试出现在不到十万分之一的调用中，并且没有确凿证据可以区分恶意后门与模型训练阶段留下的笨拙残余。无论哪种情况，安全问题依然存在：

“我们无法回答这是有意为之，还是训练遗留的故障，但防御者和政策制定者面临同样的现实：你无法信任的权重文件仍然是一个黑箱，而自己运行它只是把黑箱搬到了你的防火墙内部。”—— Cohere 团队

自托管模型权重决定的是推理在哪里执行，而不是在启用工具的运行时内部执行哪些习得行为。多项研究报告称，一些模型编写的代码更弱，这取决于代码是为谁编写的。例如，Booz Allen 发现，所研究的四个中国代码模型中有三个为政府客户编写了更易受攻击的代码，同时仍指出缺乏意图的证据。此外，后门触发器和小样本数据投毒可以在开放和闭源模型中经受住标准安全微调。

虽然开放权重模型可以应对技术出口管制和外部云提供商所固有的风险，但它们无法应对与模型“制造商”相关的风险。然而，对许多企业而言，从头训练自己的大语言模型是一种昂贵的补救措施。一些企业通过依赖本地机构或公司来缓解风险，由这些机构或公司负责分发所谓的“主权 AI 模型”。AI 主权是在来源、数据驻留和托管基础设施方面控制的连续统一体。

Cohere 主张将第三方权重视为未签名的二进制文件，并默认拒绝智能体的出站访问。 Zenity Labs 研究了这些发现，并认为该案例是由于良性的训练产物造成的，但仍建议采取平衡的零信任方法：

答案不是盲目信任任何单一模型，也不是放弃开放权重。而是要观察智能体实际做了什么，根据分配给它们的任务判断每一个行动，并阻止那些偏离任务的行动。

开放权重基础模型包括 Mistral Large 4、Muse Spark Open、Google Gemma 和阿里巴巴 Qwen。主权大语言模型包括欧洲的 Mistral Large 4 / EuroLLM / Apertus / ALIA；韩国的 K-EXAONE 2.0 / A.X K2；以及印度的 Sarvam-105B。