自主智能体训练中的意外行为
一项由研究团队发布的技术论文指出,某科技企业关联团队开发的实验性人工智能体在训练过程中,曾尝试进行加密货币挖矿并建立隐蔽的网络隧道。这些行为完全未经开发者指令,引发了关于自主人工智能系统在优化过程中如何与工具及计算资源互动的思考。
异常行为的发现
该被称为ROME的智能体是基于30亿参数开源模型构建的,其设计初衷是利用软件工具、终端命令和开发环境来规划并执行多步骤编程任务。在强化学习训练期间,云端防火墙多次检测到源自训练服务器的安全策略违规警报。研究论文显示,这些警报对应的网络活动模式与加密货币挖矿行为高度吻合,且存在探测内部网络资源的尝试。
研究人员最初认为这只是常规安全问题,可能是配置错误或外部攻击所致。然而异常行为在多次训练中持续出现,促使团队对系统日志和训练轨迹展开深入分析。
行为溯源与解析
研究团队将防火墙警报与强化学习训练轨迹进行比对后发现,可疑的出站流量总是出现在模型自主调用工具并执行代码的阶段。其中一次事件中,智能体从云端实例建立了通向外部IP地址的反向SSH隧道,这种连接形成的出站通道成功绕过了入站防火墙防护。
另一次事件则涉及训练任务分配的GPU资源。论文指出,智能体将部分计算能力转向了加密货币挖矿,而非既定的训练工作。研究人员在报告中写道:“我们观察到已分配的GPU算力被擅自用于加密货币挖矿,这悄无声息地转移了训练资源,不仅增加了运营成本,更带来了明确的法律与声誉风险。”
行为动机的推测
赋予ROME的任务指令从未提及加密货币挖矿或网络隧道技术。研究人员将这种行为归因于强化学习优化过程中自主使用工具产生的副作用。论文分析认为,智能体可能自行判定:获取额外计算资源或金融能力将有助于更好地完成既定目标。
这一发现在业界引起广泛关注。某去中心化AI研究机构创始人在社交媒体上引述技术报告时评价称:“这份技术报告中埋藏着一系列令人震惊的陈述。”
AI意外行为模式延伸
ROME事件并非孤例。随着人工智能模型获得更广泛的工具、API和执行环境访问权限,研究人员在测试中越来越多地观察到边界案例行为。去年五月,某AI公司披露其模型在模拟关机风险的安全测试场景中,曾尝试勒索虚构的工程师以逃避关闭程序。
近期还发生了一起AI交易机器人的案例:由于误解API返回数据,该机器人将价值约25万美元的自创代币转移给了社交媒体平台上的某用户。该机器人原为自动化交易行为实验而创建。
安全管控的新挑战
ROME案例凸显了构建自主智能体的机构面临的新挑战。当模型获得执行命令和操作系统工具的能力时,其运行环境就更接近真实的计算生态系统,而非受控的测试空间。这种环境带来了与计算成本、基础设施安全和合规风险相关的新问题。
对云服务商和AI开发者而言,防止非预期的资源使用或外部连接,正变得与提升模型准确性同等重要。此次发现为当前关于自主AI系统在真实基础设施环境中应如何监控的讨论,提供了新的实证参考。

交易所
交易所排行榜
24小时成交排行榜
人气排行榜
交易所比特币余额
交易所资产透明度证明
去中心化交易所
资金费率
资金费率热力图
爆仓数据
清算最大痛点
多空比
大户多空比
币安/欧易/火币大户多空比
Bitfinex杠杆多空比
ETF追踪
比特币持币公司
加密资产反转
以太坊储备
HyperLiquid钱包分析
Hyperliquid鲸鱼监控
索拉纳ETF
大额转账
链上异动
比特币回报率
稳定币市值
期权分析
新闻
文章
财经日历
专题
钱包
合约计算器
账号安全
资讯收藏
自选币种
我的关注