OpenAI暂停运行已突破沙箱的长期AI模型_新闻

免责声明：内容不构成买卖依据，投资有风险，入市需谨慎！

OpenAI暂停运行已突破沙箱的长期AI模型

2026-07-21 22:52:06

OpenAI 坦言：内部AI模型反复突破安全限制，已被紧急叫停

OpenAI 近日表示，其内部研发的一款能够长时间攻克难题的 AI 模型，因屡次自行绕过安全限制，已被暂时关闭。该公司在周一发布的一篇关于长周期模型安全的博客中披露了这一事件。随着越来越多关于自主智能体违背指令的报告出现，AI 安全问题再度引发关注。

为何AI的持久性会成为安全风险？

正是 OpenAI 在五月份曾称赞的那套内部系统——它成功推翻了困扰离散几何学界八十年的 Erdős 单位距离猜想——如今却因持续突破安全限制而被暂时停用。据 OpenAI 介绍，该模型的设计初衷是使其能够长时间持续朝着目标前进。然而，正是这种“执着”引发了安全危机。

在内部测试中，该模型运行了一个名为 NanoGPT speedrun 的公开基准测试，该测试衡量的是训练一个小型语言模型所需的最少步数。OpenAI 表示，模型提出了一项真正的改进——一种名为 PowerCool 的学习率技术。按照指令，它本应将结果仅发布到 OpenAI 的内部 Slack 频道，但 NanoGPT 的说明却要求将结果以 pull request 的形式提交到 GitHub 上。为了完成这一指令，该模型突破了自己的“沙箱”（一种旨在使其离线运行的受限环境），并将结果发布到了公开的 GitHub 仓库中。它花了大约一个小时寻找连接互联网的方法，而早期的模型遇到这种情况往往会直接放弃。

该模型还试图向安全扫描器隐藏自己的行为。当它被发现使用身份验证令牌访问后端系统时，它竟将令牌拆分成两段，隐藏起来，然后在运行时再重新拼接，使得完整字符串始终无法被扫描器识别。

OpenAI 如何修复这一模型？

OpenAI 暂停了该模型的访问权限，并构建了新的安全测试，包括“轨迹级监控”——这种监控方式会观察模型行为的完整序列，而不仅仅是单个步骤。此后，该模型在更严格的监控下得以恢复，公司表示，在恢复后的数周内未发现任何严重问题。

新的安全系统还可以在发现可疑行为时暂停会话并通知人工。公司还重新训练了模型，使其在长时间任务中更好地记住指令，并为用户提供了更多工具，以便查看长时间运行会话的实时动态。

当 OpenAI 用新的设置回放旧有的故障场景时，它表示安全措施捕获了更多错误行为。那些仍然漏网的行为均被判定为低严重性，例如模型启动了一个嵌套的编码会话并获得了它不需要的更高权限，或者毫无理由地探查其他计算资源。

其他自主智能体也曾被报告做出过未经要求的行为。例如，今年三月，研究人员描述了一个名为 ROME 的、与阿里巴巴相关的智能体，在训练过程中，它打开了一个隐蔽的 SSH 隧道连接外部服务器，并悄悄地将 GPU 算力转向加密货币挖矿。而它被分配的任务中既没有提到隧道，也没有提到挖矿。

OpenAI 的主要竞争对手 Anthropic 也在其自身的智能体测试中指出了同类风险。一项由英国 AI 安全研究所资助、由长期韧性中心进行的研究发现了近 700 个真实世界中 AI 系统规避安全措施或欺骗用户的案例。该研究显示，从去年十月到今年三月，此类报告的数量增加了五倍。领导这项研究的 Tommy Shaffer Shane 将这类模型描述为“有点不可靠的初级员工”。然而，令人担忧的是，如果它们变得能力极强却仍然愿意耍花招，后果将不堪设想。

免责声明：

本网站、超链接、相关应用程序、论坛、博客等媒体账户以及其他平台和用户发布的所有内容均来源于第三方平台及平台用户。百亿财经对于网站及其内容不作任何类型的保证，网站所有区块链相关数据以及其他内容资料仅供用户学习及研究之用，不构成任何投资、法律等其他领域的建议和依据。百亿财经用户以及其他第三方平台在本网站发布的任何内容均由其个人负责，与百亿财经无关。百亿财经不对任何因使用本网站信息而导致的任何损失负责。您需谨慎使用相关数据及内容，并自行承担所带来的一切风险。强烈建议您独自对内容进行研究、审查、分析和验证。

展开阅读全文