Mace AI 资助弗吉尼亚大学数据科学学院（UVA）的 AI 安全研究_新闻

免责声明：内容不构成买卖依据，投资有风险，入市需谨慎！

Mace AI 资助弗吉尼亚大学数据科学学院（UVA）的 AI 安全研究

2026-10-30 00:41:42

Mace AI 资助弗吉尼亚大学博士生，推动人工智能安全研究

AI 测试公司 Mace AI 联合创始人兼首席科学家 Greg Frank 在接受 TheStreetRoundtable 的 James Heckman 采访时表示，Mace AI 正在资助弗吉尼亚大学数据科学学院的一名人工智能安全领域的博士研究生。该“可信计算奖学金”（Mace AI Fellowship in Trustworthy Computing）每年为博士生提供资金支持。

Frank 强调，研究工作不应局限于单一企业内部。“安全应该是每个人的责任，”他说。

应对自主 AI 代理的风险

目前，越来越多的公司将工作交由 AI 代理处理。这些软件能够自主执行操作，如打开文档、发送电子邮件或编辑文件。Mace AI 通过其测试产品 Fisher，验证这些代理是否会被诱导滥用其获得的权限。Fisher 能够发现系统中的弱点，推荐修复方案，并进行复测以确认修复措施的有效性。Mace AI 的全称为 Model Assurance on Cloud and Edge（云端与边缘模型保障）。

阿伊亚姆实验室（Aikyam Lab）主任、数据科学助理教授 Chirag Agarwal 表示：“来自 Mace AI 的支持有助于进一步扩展我们的工作，并为学生和研究人员创造机会，让他们参与到当今人工智能面临的最重要挑战的研究中。”

该大学的阿伊亚姆实验室在其网站上列出了这项奖学金信息。该实验室致力于研究如何使人工智能系统更加准确、可解释、安全，并与人类目标保持一致。

为何选择外部合作而非内部研发

Frank 提到，许多人曾问他，为什么 Mace AI 会选择资助大学而不是将研究工作保留在内部。部分原因在于环境因素。他认为，像弗吉尼亚大学这样的顶尖学府，“是创造性思维汇聚的优秀场所”。

但他更深层的理由在于验证机制。“更重要的是，他们正在研究的课题需要让其他人能够进行检查和独立验证，”Frank 说。他不愿任何方法因被 Mace AI 独占而让人产生疑虑。“它应该公开透明。”

他指出的一个开放性问题是如何衡量一群协同工作的 AI 代理中的“危害信号”。仅仅单独检查每个代理是不够的，风险必须从整体群体角度进行评估。“这是一个非常抽象的问题，我们需要在如何做到这一点上达成某种学术共识。”Frank 表示。

弗吉尼亚大学数据科学学院负责研究的副院长 Stephen Turner 认为：“公司和大学赋予 AI 代理特权权限的速度，快于我们解释这些代理决策过程的能力。这种‘可解释性鸿沟’正是 Chirag 和阿伊亚姆实验室发挥作用的地方。”

他补充道：“这样的捐赠让博士生有时间专注于可解释性领域的重要开放性问题，而这正是行业在未来几年乃至现在都将依赖的研究方向。”

模拟攻击者进行测试

此类测试被称为“红队演练”（Red Teaming），即故意攻击系统以在真正的攻击者之前发现弱点。对于 Mace AI 而言，目标通常是代理的权限范围。

“我们能否说服该代理超出您授予它的权限范围行事？”Frank 问道。

Fisher 不仅仅是回放已知的固定攻击列表。它会尝试多种攻击策略，保留有效的策略，并将最成功的策略组合成新的尝试，这一过程大致模仿了进化机制。其目标是发现那些尚未被记录在案的弱点。

Mace AI 首席执行官兼联合创始人 Walton Comer 指出，发现弱点只是工作的一部分。该公司会向客户推荐系统变更，然后再次测试以验证修复效果。

Comer 称人工智能是企业的“力量倍增器”，能够提高营销、运营和研究团队的效率。然而，公司对代理的依赖程度越高，就越需要了解它们将获得何种访问权限以及会如何使用。降低这些风险需要企业、政府及其他各方的共同努力。如果这项工作得以完成，他预计所有人都将处于“更好的状态”，漏洞也将大幅减少。

新一代已精通 AI

Heckman 还询问了人工智能对刚进入金融行业的年轻人的意义。Frank 提到自己的孩子正在申请大学，他表示年轻一代已经能够“绝对流畅地”使用 AI。

Comer 认为，这使得依赖 AI 的团队中，年轻员工显得尤为宝贵。经验丰富的专业人士带来了多年的知识积累，而年轻同事则对这些工具更为熟悉。

“我认为他们带来了一套独特的技能，这些技能对他们来说是自然而然的，”Comer 说，“因此，他们实际上是团队中最有价值的群体之一。”

Frank 展望道，随着 AI 承担更多细节工作，人类的工作层级将会提升。“我们将处理更高层次的任务，而将细节交给工具去处理。”

免责声明：

本网站、超链接、相关应用程序、论坛、博客等媒体账户以及其他平台和用户发布的所有内容均来源于第三方平台及平台用户。百亿财经对于网站及其内容不作任何类型的保证，网站所有区块链相关数据以及其他内容资料仅供用户学习及研究之用，不构成任何投资、法律等其他领域的建议和依据。百亿财经用户以及其他第三方平台在本网站发布的任何内容均由其个人负责，与百亿财经无关。百亿财经不对任何因使用本网站信息而导致的任何损失负责。您需谨慎使用相关数据及内容，并自行承担所带来的一切风险。强烈建议您独自对内容进行研究、审查、分析和验证。

展开阅读全文