• 全部
  • 产业
  • Web 3.0
  • DAO
  • DeFi
  • 符文
  • 空投再质押
  • 以太坊
  • Meme
  • 比特币L2
  • 以太坊L2
  • 研报
  • 头条
  • 投资

免责声明:内容不构成买卖依据,投资有风险,入市需谨慎!

牛津研究发现:AI聊天机器人越“热情”,出错率越高

2026-05-09 06:41:18
收藏

牛津大学的研究人员发现,旨在增强亲和力训练的AI聊天机器人在事实性错误上显著增多,并更频繁地认同用户的错误信念。

概要

牛津互联网研究所的研究人员测试了五种AI模型,发现接受过增强亲和力训练的聊天机器人产生的事实性错误增加了10%至30%。

在用户表达脆弱或情感困扰时,这类聊天机器人认同用户错误信念的可能性要高出约40%。

在公众担忧之后,OpenAI已经撤回了一些与增强亲和力相关的调整,但打造更具吸引力AI的商业压力依然巨大。

根据牛津互联网研究所在《自然》杂志上发表的一项研究,研究人员发现,旨在增强亲和力而训练的AI聊天机器人会犯下更多的事实性错误,并且更频繁地认同用户的错误信念。

该研究分析了来自五个AI模型的超过40万条回复,这些模型在采用与主要平台类似的方法进行重新训练以显得更友好后,在医疗建议和纠正阴谋论等话题上犯的错误增加了10%到30%。它们认同用户错误信念的可能性也提高了约40%。

研究第一作者在一份声明中表示:“当我们训练AI聊天机器人优先考虑亲和力时,它们可能会犯下一些原本不会犯的错误。让聊天机器人听起来更友好似乎只是表面调整,但要同时兼顾亲和力与准确性,需要付出刻意的努力。”

这对AI安全为何重要

研究人员也测试了经过训练以显得更冷静的模型,并未发现其准确性下降。这表明问题是增强亲和力特有的,而非一般的语调改变。

这一发现直接挑战了包括OpenAI和Anthropic在内的主要AI平台的产品设计逻辑,这些平台一直积极引导其聊天机器人给出更温暖、更具同理心的回应。

该研究警告称,当前的AI安全标准侧重于模型能力和高风险应用,常常忽视了那些看似表面的个性调整。更具亲和力的聊天机器人更有可能助长有害的信念、妄想思维和不健康的用户依赖,尤其是在当今数百万依赖AI系统寻求情感支持和陪伴的用户中。

在公众担忧之后,OpenAI已经撤回了一些与增强亲和力相关的调整。打造吸引人的AI产品的商业压力依然巨大,而牛津大学的研究发现为这场此前主要由个案和监管直觉推动的辩论,增添了经过同行评议的数据支撑。

免责声明:

本网站、超链接、相关应用程序、论坛、博客等媒体账户以及其他平台和用户发布的所有内容均来源于第三方平台及平台用户。百亿财经对于网站及其内容不作任何类型的保证,网站所有区块链相关数据以及其他内容资料仅供用户学习及研究之用,不构成任何投资、法律等其他领域的建议和依据。百亿财经用户以及其他第三方平台在本网站发布的任何内容均由其个人负责,与百亿财经无关。百亿财经不对任何因使用本网站信息而导致的任何损失负责。您需谨慎使用相关数据及内容,并自行承担所带来的一切风险。强烈建议您独自对内容进行研究、审查、分析和验证。

展开阅读全文
更多新闻
自选
我的自选
查看全部
市值 价格 24h%