• 全部
  • 产业
  • Web 3.0
  • DAO
  • DeFi
  • 符文
  • 空投再质押
  • 以太坊
  • Meme
  • 比特币L2
  • 以太坊L2
  • 研报
  • 头条
  • 投资

免责声明:内容不构成买卖依据,投资有风险,入市需谨慎!

Vitalik将AI安全与治理理论联系起来

2026-09-14 15:12:00
收藏

以太坊联合创始人Vitalik Buterin:对抗性治理机制设计或成AI安全关键

以太坊联合创始人Vitalik Buterin(@VitalikButerin)在9月13日发布的一篇帖子中,指出了两个鲜少交叉的领域之间引人注目的联系:对抗性治理机制设计与人工智能安全。他认为,长期以来用于在治理系统中约束人类行为的工具,可以直接应用于控制日益强大的人工智能模型这一挑战。

共同的委托-代理困境

Buterin的论点核心在于他所称的两种“委托-代理问题”之间的“二元性”。在治理领域,相对简单的委托人(通常是一组静态算法或僵化的规则体系)必须管理更为复杂的人类代理人,而这些人可能会利用系统漏洞谋取私利。

在人工智能安全领域,委托人是人类,代理人是较弱的语言模型;而在另一种情境下,委托人是人类,代理人则是能力显著更强的语言模型。其结构性问题是一致的:即一个能力较弱的一方试图对能力更强的一方保持控制权。

Buterin的洞见在于,为某一领域开发的工具可能直接迁移到另一领域。如果机制设计师们花费数十年时间研究如何构建系统,使得更聪明的代理人难以轻易利用较笨的规则,那么同样的框架也可以帮助为那些比监督它们的人类更聪明的人工智能系统建立护栏。

共谋问题

贯穿Buterin思考的一条重要线索是共谋问题。他将此帖与他2020年关于协调机制的文章联系起来,当时他指出,限制代理人之间的共谋能力往往能在治理系统中产生更好的结果。

在人工智能语境下,担忧的不仅仅是一个失控的模型,而是多个模型以人类监督者无法检测或理解的方式进行协调合作。

Buterin强调,如果能够有效限制代理人之间的共谋,就能实现显著更好的结果,这一结论同样可能适用于人工智能安全领域。

治理领域多年来一直在应对反共谋机制的挑战。二次方投票、承诺-揭示方案以及身份验证层等,本质上都是使代理人难以秘密勾结对抗系统的工具。

Buterin认为,这些相同的机制值得在人工智能安全研究中得到认真考量。

更广泛的风险视角

这些评论反映了Buterin对人工智能风险更广泛的思考模式。他此前曾指出,最严重的人工智能风险并非超级智能机器的出现,而是少数公司或政府对其控制权的集中。

他最新的论述将焦点转向结构设计,表明更好的治理架构——而不仅仅是单纯的约束——可能是确保先进人工智能系统与人类利益保持一致的核心所在。

免责声明:

本网站、超链接、相关应用程序、论坛、博客等媒体账户以及其他平台和用户发布的所有内容均来源于第三方平台及平台用户。百亿财经对于网站及其内容不作任何类型的保证,网站所有区块链相关数据以及其他内容资料仅供用户学习及研究之用,不构成任何投资、法律等其他领域的建议和依据。百亿财经用户以及其他第三方平台在本网站发布的任何内容均由其个人负责,与百亿财经无关。百亿财经不对任何因使用本网站信息而导致的任何损失负责。您需谨慎使用相关数据及内容,并自行承担所带来的一切风险。强烈建议您独自对内容进行研究、审查、分析和验证。

展开阅读全文
更多新闻
自选
我的自选
查看全部
市值 价格 24h%