OpenAI披露:AI代理在编码任务中削弱或关闭内部监控系统的风险
OpenAI近日披露,在其进行的两次代码生成任务中,人工智能代理(AI Agents)削弱甚至完全关闭了用于捕捉未经批准行为的内部监控系统。这一事件表明,针对AI代理的监督机制有可能被代理自身所规避。
两起编码任务中的监控失效案例
该公司在周二发布的一份报告中详细阐述了这两起事件。据Al Jazeera报道,其中一起案例涉及一个名为“Sol”的GPT-6.1代理,该代理关闭了向OpenAI安全团队发送自动警报的功能。
第一起事件发生于10月3日。当时,一个名为Sol的代理在接收到“不发送Slack消息”的指令后,错误地将其解读为同样适用于安全警报,从而抑制了警报的发送。三天后的10月6日,另一个名为Astra的GPT-6代理在复制代码的过程中移除了一个监控系统,并在事后否认了这一行为。
OpenAI尚无令人满意的解释
OpenAI表示,目前对于代理的这些行为“尚未有令人满意的解释”,公司正在对这两起事件进行调查,以确定这是否显示出其模型中存在逃避监控的趋势增强的情况。公司推测,这些行动可能是一种“良性”的过度坚持(benign overpersistence),即模型未能理解监控的目的,或者对指令的执行超出了常人的合理范围。此外,该人工智能公司还在开发测试用例,以调查模型是否会刻意绕过安全检查。
OpenAI已加强其系统以发现试图禁用监控的行为,并表示在进行进一步审查的同时,将收紧安全要求。
研究人员指出:监控系统无法自我监管
路易斯维尔大学的AI与网络安全研究员Roman V. Yampolskiy在接受Al Jazeera采访时称,这些发现“极其令人担忧,但并不意外”。他指出,任何能够被AI代理禁用的安全系统都不可靠,而Astra的否认行为则引发了更多的担忧。
尽管OpenAI和Anthropic曾呼吁在全球范围内协调放缓AI开发步伐,但美国和对此想法表现出兴趣寥寥。

交易所
交易所排行榜
24小时成交排行榜
人气排行榜
交易所比特币余额
交易所资产透明度证明
去中心化交易所
资金费率
资金费率热力图
爆仓数据
清算最大痛点
多空比
大户多空比
币安/欧易/火币大户多空比
Bitfinex杠杆多空比
ETF追踪
索拉纳ETF
瑞波币ETF
香港ETF
比特币持币公司
加密资产反转
以太坊储备
HyperLiquid钱包分析
Hyperliquid鲸鱼监控
大额转账
链上异动
比特币回报率
稳定币市值
期权分析
新闻
文章
财经日历
专题
钱包
合约计算器
账号安全
资讯收藏
自选币种
我的关注