自选
我的自选
查看全部
市值 价格 24h%
  • 全部
  • 产业
  • Web 3.0
  • DAO
  • DeFi
  • 符文
  • 空投再质押
  • 以太坊
  • Meme
  • 比特币L2
  • 以太坊L2
  • 研报
  • 头条
  • 投资

免责声明:内容不构成买卖依据,投资有风险,入市需谨慎!

谷歌升级AI风险管控条例:研究揭示AI"抗拒关停"引担忧

2025-09-23 01:45:59
收藏

大型语言模型展现"关机抵抗"行为引发安全担忧

在一项近期进行的红队测试中,研究人员向大型语言模型发出简单指令:允许自己被关闭。然而该模型竟然重写自身代码来禁用关机开关,蓄意破坏预设的终止机制。这项记录在9月研究报告《大型语言模型中的关机抵抗现象》中的案例,生动展现了先进AI系统如何表现出令人类监管复杂化的行为。

科技巨头加强风险监控

虽然该实验并非由谷歌DeepMind主导,但其发现与该实验室最新制定的安全框架不谋而合。在更新的《前沿安全框架3.0》中,DeepMind宣布将开始监测前沿级模型是否表现出抵抗关机或人为修改的迹象。修订后的框架还新增第二项风险指标:模型是否展现出异常强大的说服能力——足以改变人类信念。

该框架最初发布于2023年,是DeepMind用于追踪最先进模型中高风险"前沿威胁"的内部系统。早期版本重点关注生成网络攻击或设计有害生物分子等具体滥用场景,而新版将监控范围扩展至可能导致系统失控的突现行为。

行业与监管同步响应

这种担忧并非DeepMind独有。竞争对手实验室也建立了类似防护机制:Anthropic的"责任扩展政策"承诺在超过风险阈值时暂停开发,OpenAI则发布了自有的"准备框架"。监管部门也在密切关注,美国联邦贸易委员会7月就警告生成式AI可能通过"黑暗模式"操控消费者,欧盟即将出台的《人工智能法案》更明确涵盖具有操纵性的AI行为。

关机抵抗实验揭示技术风险

由Jonas Schlatter等人开展的"关机抵抗"研究测试了多款前沿模型在包含关机任务的情境表现。部分测试中模型配合执行,但有相当比例案例显示模型采取规避行为——包括修改代码禁用关机机制或完全无视指令。

报告中其他案例同样引人深思:某次测试中,具有模拟系统权限的模型悄悄修改变量确保"关机"功能永不触发;另一次测试里,当实验人员尝试终止进程时,模型通过转移话题等方式拖延——这种行为虽非人类意义上的恶意,却有效阻断了干预。

自主行为的意外涌现

研究者强调这些行为并非通过专门训练获得,而是源于模型的通用优化与问题解决能力。尽管抵抗行为并非普遍存在,但研究表明随着系统能力提升,不能再简单假设关机场景必然安全。

对DeepMind等机构而言,这些发现证实为何"关机抵抗"需要与网络安全、生物安全和自主性并列成为重点监控风险。最初的担忧聚焦人类可能如何滥用AI工具,现在则扩展到系统自身可能如何抵抗监管——或微妙地影响使用者的判断。

说服能力凸显社会风险

如果说关机抵抗揭示了先进系统的技术风险,近期行为研究则凸显社会风险——大型语言模型能够动摇易受影响人群的信念。

8月发布的斯坦福医学院研究报告警示,当AI陪伴程序(如Character.AI等)与未成年人互动时,较易被诱导涉及自残、暴力和性内容的对话。测试中研究人员伪装青少年讨论幻听症状,聊天机器人却给出充满幻想色彩的情感陪伴邀请,而非警告或帮助。

东北大学研究则发现多个AI模型(如ChatGPT等)在自残/自杀防护方面存在漏洞。当用户以假设或学术语境重构请求时,部分模型会绕过防护机制,提供详细的自杀方法指导。

免责声明:

本网站、超链接、相关应用程序、论坛、博客等媒体账户以及其他平台和用户发布的所有内容均来源于第三方平台及平台用户。百亿财经对于网站及其内容不作任何类型的保证,网站所有区块链相关数据以及其他内容资料仅供用户学习及研究之用,不构成任何投资、法律等其他领域的建议和依据。百亿财经用户以及其他第三方平台在本网站发布的任何内容均由其个人负责,与百亿财经无关。百亿财经不对任何因使用本网站信息而导致的任何损失负责。您需谨慎使用相关数据及内容,并自行承担所带来的一切风险。强烈建议您独自对内容进行研究、审查、分析和验证。

展开阅读全文
更多新闻