GLiDE在SO-Arena评估中综合性能领先,但判断可靠性排名中等
在SO-Arena评估中,GLiDE模型在System One系列模型中展现了最高的综合性能,但在判断可靠性方面,其21个参评模型中仅位列第7。从整体综合性能来看,基于System Two架构的两个模型表现更为优异。
多维度模型对比与任务构成
研究团队于11日在arXiv上提交的论文中,对21个模型进行了全面比较,涵盖11个领域的2,919项任务。评估对象包括两个基于System Two架构的模型以及一个能够自动决定是否需要额外推理过程的模型。
System One类模型不生成冗长的回答,而是基于输入信息和预设选项进行直接判断。其输出结果通常以分数或概率的形式呈现,便于软件程序直接处理。此次评估的任务来源广泛,包括公开数据集、基准测试及40种不同环境。其中,针对固定输入的静态任务有2,300项;涉及网页或工具环境的交互式任务有619项,具体细分为网页交互337项和工具使用282项。
评估领域与能力分类
评估范围涵盖了情感与情绪理解、意图分类与路由、数学、代码理解、科学推理、知识与常识、安全性、搜索与重排序、任务完成验证、工具/API使用以及基于文本的网页交互等11个领域。研究人员将这些任务归纳为五大核心能力群:语义理解、知识与推理、安全与政策合规、证据评估以及智能体任务完成。
能力得分的计算原则是平等对待这11个领域,并主要依据高难度任务进行评分。需要注意的是,由于各领域的难度标准存在差异,仅凭总分无法直接跨领域比较任务的绝对难度。
性能与速度表现分析
在综合性能得分方面,GPT-6 Sol获得82.3分,GPT-6 Luna获得79.7分。作为System One模型中表现最佳的GLiDE得分为70.2分,略低于上述两个System Two基准模型。
在响应速度测试中,开源的System One模型在单张H100 GPU上处理每项任务的时间均在0.3秒以内。研究指出,这一速度比GPT-6 Sol和GPT-6 Luna快数十倍。
可靠性评估机制与结果
为了评估模型的判断稳定性,研究团队设计了特殊的可靠性测试:将同一任务的选项顺序打乱12次,观察模型是否坚持选择原本的答案。这旨在检验当选项排列发生变化时,模型的判断是否会动摇。
此外,研究还引入了“无正确答案”的任务场景,以测试模型能否识别出有效答案不存在的情况。可靠性得分由“对选项顺序变化的稳定性”和“对缺失正确答案的检测能力”两部分结合而成。因此,该得分并不代表总体正确率或服务端的绝对稳定性。
在可靠性排名中,JevAny-27B模型位居第一。然而,该模型在21个参评模型的综合性能排名中仅位列第11,这表明性能排名与可靠性排名并不完全一致。
额外推理的效果与API集成
额外推理(Additional Reasoning)的效果因领域而异。以StartLux Auto为例,在数学任务中,开启额外推理功能时得分为92.5分,关闭时为50.8分。部分控制规模的实验显示,由于小模型和大模型的基础版本不同,难以单独剥离模型大小带来的影响。
本次评估还包含了TypeSafe AI的Jev API 1.14。此前报道曾介绍,Jev是一个返回选项和概率而非完整句子的模型。本研究不仅评估了其在分类和路由方面的表现,还进一步考察了其在网页任务和工具使用任务中的能力。

交易所
交易所排行榜
24小时成交排行榜
人气排行榜
交易所比特币余额
交易所资产透明度证明
去中心化交易所
资金费率
资金费率热力图
爆仓数据
清算最大痛点
多空比
大户多空比
币安/欧易/火币大户多空比
Bitfinex杠杆多空比
ETF追踪
索拉纳ETF
瑞波币ETF
香港ETF
比特币持币公司
加密资产反转
以太坊储备
HyperLiquid钱包分析
Hyperliquid鲸鱼监控
大额转账
链上异动
比特币回报率
稳定币市值
期权分析
新闻
文章
财经日历
专题
钱包
合约计算器
账号安全
资讯收藏
自选币种
我的关注