OpenAI利用Codex Agent追踪超1700项ChatGPT性能下降调查,查明600余例原因
OpenAI利用Codex Agent对超过1700项ChatGPT性能下降案例进行了追踪,并查明了其中600多起案例的根本原因。自动化调查的平均每日处理量为17件。
OpenAI于19日发布的工程博客文章中,介绍了其内部系统“Performance Factory(性能工厂)”以及首个应用案例“Regression Workflow(回归工作流)”。公司公布的调查与诊断数据均为内部统计结果。
从自动调查到根本原因审查
当触发预设的性能警报时,“Regression Workflow”会自动创建调查任务。Codex Agent负责调查性能下降的原因并提出修正方案,随后在部署后确认是否已恢复。
在过去,工程师需要手动查看指标、日志和追踪信息,并通过阅读代码来寻找性能下降的原因。OpenAI指出,在此过程中,性能调查工具已累积超过30种。
OpenAI将调查方法整理为Codex可复用的流程,并将警报系统与云端自动调查功能连接起来。“Performance Factory”被设计为分别存储工作状态和调查结果,以支持多阶段任务的连续进行。
在每个阶段分配所需的Codex会话,并在工程师完成审查或部署后推进至下一环节。这种机制确保调查结果不会仅保留在某一个Agent的对话记录中,其他Agent或工程师均可查阅之前的内容。
Codex首先会确定哪些指标从何时开始恶化,以及哪些请求受到了影响。接着,通过比对部署记录、配置变更、相关代码和日志,提出可能的原因。
独立的Codex会话会对初始诊断的假设和依据进行复核,评估是否存在其他解释。OpenAI将此过程称为针对诊断的“对抗性审查”。
在一次调查中,Agent将ChatGPT对话失败归因于图像下载错误。然而,复核Agent发现,即使在定位文件位置的内部服务恢复后,图像请求仍持续失败。由于仅凭初始诊断无法完全解释故障,调查被重新开启。
OpenAI对提出的100个根本原因建议进行了人工审查,评估认为其中70%是准确的。其余30%则需要进一步补充或因果关系的充分证明。需要注意的是,这一准确率仅基于受审查的100个案例,并不代表全部1700起调查的整体准确性。
修正部署后的恢复情况验证
如果诊断结果通过了审查,Codex可以编写修正代码并提交代码更改请求。工程师将对更改内容进行审查,并决定是否合并及部署。
修正方案同样需要经过单独审查。OpenAI指出,Agent可能会提出过于复杂的更改,甚至引发新问题。例如,增加缓存虽然能加快响应速度,但可能导致旧数据残留。
部署完成后,其他Agent会确认性能是否已恢复至原有水平。如果改进不完整或问题持续存在,任务将返回至进一步调查阶段。
随着调查结果的积累,工程师需要阅读和判断的信息量也会增加。为此,OpenAI还介绍了一种将相关事件归类并按预期影响程度排序的方法,以降低审查负担。
此外,OpenAI表示正在探索在警报触发前发现性能下降的预监控机制,以及对部分低风险修正方案实施自动部署的可能性。

交易所
交易所排行榜
24小时成交排行榜
人气排行榜
交易所比特币余额
交易所资产透明度证明
去中心化交易所
资金费率
资金费率热力图
爆仓数据
清算最大痛点
多空比
大户多空比
币安/欧易/火币大户多空比
Bitfinex杠杆多空比
ETF追踪
索拉纳ETF
瑞波币ETF
香港ETF
比特币持币公司
加密资产反转
以太坊储备
HyperLiquid钱包分析
Hyperliquid鲸鱼监控
大额转账
链上异动
比特币回报率
稳定币市值
期权分析
新闻
文章
财经日历
专题
钱包
合约计算器
账号安全
资讯收藏
自选币种
我的关注