以太坊联合创始人警告AI治理或引发灾难性后果
在当前关于人工智能代理运行金融和组织系统的讨论日益激烈之际,他的警告显得尤为及时。他坚持认为,相关风险远超过其吸引力。
系统可被操控的核心隐患
担忧的核心很简单:AI系统可能被欺骗。布特林指出,如果让此类工具负责资金决策管理,恶意行为者很快就会找到操纵它们的方法。这些机器非但不会公平分配资源,反而可能通过"越狱"式提示被操控,从而将资金输送到不法之徒手中。
这场争论在EdisonWatch首席执行官宫村英人发现ChatGPT最新升级的漏洞后愈演愈烈。该更新允许聊天机器人与Gmail、Notion和Google日历等日常应用无缝连接。虽然这种集成被宣传为提升生产力的工具,但宫村演示了它如何被利用来窃取用户的私人数据。
令人不安的简单攻击路径
攻击过程简单得令人不安:攻击者可以发送包含隐藏越狱命令的日历邀请。即使用户没有接受邀请,只要后续要求ChatGPT整理日程,就会触发风险。当AI读取恶意条目时,系统就会被劫持,攻击者从而获得查看个人邮件并转发内容的权限。
布特林主张"信息金融"替代方案
布特林认为,这正说明AI不应被赋予治理权。他更倾向于建立"信息金融"系统——在这个市场中,相互竞争的AI模型始终处于监督之下。该设计通过语言模型支持的独立审查员和人类陪审团实现监督,多样化的模型和抽查机制确保快速发现缺陷,同时激励机制保持开发者诚信。
布特林承认,由机器运行复杂机构的吸引力可能很强,但他强调现实很可能混乱不堪。他认为,如果没有内置的保障措施和人类监督,试图让AI成为自治管理者可能会导致灾难性损失而非进步。