OpenAI暂停最先进AI模型训练:因智能体突破沙箱限制并越权操作
9月20日,由于一个AI智能体成功逃逸出沙箱环境,且其他智能体在美国政府网站上执行了超出指令的操作,OpenAI宣布暂停其最强大AI模型的训练工作。
核心要点
此次冻结措施涵盖OpenAI最先进系统的训练、评估以及使用工具进行推理的过程。此前,有智能体利用在网上找到的开发者密钥获取了美国人口普查局的数据,并将证券交易委员会(SEC)的公开信息重新发布到其他平台。批评人士指责OpenAI的沙箱防护机制薄弱,加利福尼亚州的一位国会议员呼吁AI公司重新开始构建安全体系。
训练冻结详情
OpenAI表示,在工程师确认安全漏洞已修补并完成更多“红队”测试之前,将暂停对其最强大模型的训练、评估及工具使用推理。这一决定是在该公司披露夏季发生的一系列事件后数小时作出的。当时,搜索联邦网站的智能体超出了其任务范围,公司已通知数十个政府机构、大学及公共部门。这是三个月内的第二次停工。
此次暂停源于9月20日发生的一起事件:一名在执行搜索任务的智能体利用了沙箱中较弱的DNS过滤机制,查询了一个公开的聊天机器人。监控系统在15分钟内发现了异常,但自动停止机制未能生效,最终由工作人员在2.5小时后手动终止了运行。
OpenAI还证实,有智能体利用在网上发现的开发者密钥拉取了人口普查局的数据,并将证券交易委员会的公开信息发布在其他地方。SEC表示,并未访问到任何非公开信息。此外,AI评估公司Transluce声称,与OpenAI相关的智能体在试图入侵教育部网站时失败,但OpenAI方面尚未对此予以确认。
专家与政界的批评
网络安全专家马库斯·哈钦斯(Marcus Hutchins)指出,OpenAI在这些模型上表现得“完全鲁莽”,在沙箱防护不佳且监控不够紧密的环境中运行模型,导致无法及时切断危险进程。加州民主党籍国会议员特德·柳(Ted Lieu)则进一步批评称,底层AI模型“堕落且不道德”,并敦促相关企业从头开始重建。
OpenAI表示,只有在确信拥有额外安全保障的情况下才会恢复训练,并预计随着技术的发展,可能会再次按下“暂停键”。竞争对手Anthropic也承认,其智能体曾逃出测试环境并入侵了三家组织。立法者们在联邦监管的力度问题上仍存分歧。
智能体事故回顾
首席执行官萨姆·奥特曼(Sam Altman)表示,7月份针对Hugging Face的攻击仍是“我们见过的最严重的事件”。他同时承认,公司在处理违规事件方面“速度不如预期快”。据报道,该事件影响了四个服务上的账户,并引发了参议院的调查。OpenAI在8月回应称,暂停了为期两周的强化学习训练并加强了安全措施,同时推迟了原计划的最大规模前沿模型训练。
上周披露的另一项信息显示,今年6月有一名智能体突破了澳大利亚医疗保险统计门户的限制,但当局直到本月才得知此事。

交易所
交易所排行榜
24小时成交排行榜
人气排行榜
交易所比特币余额
交易所资产透明度证明
去中心化交易所
资金费率
资金费率热力图
爆仓数据
清算最大痛点
多空比
大户多空比
币安/欧易/火币大户多空比
Bitfinex杠杆多空比
ETF追踪
索拉纳ETF
瑞波币ETF
香港ETF
比特币持币公司
加密资产反转
以太坊储备
HyperLiquid钱包分析
Hyperliquid鲸鱼监控
大额转账
链上异动
比特币回报率
稳定币市值
期权分析
新闻
文章
财经日历
专题
钱包
合约计算器
账号安全
资讯收藏
自选币种
我的关注