智能编程模型作弊曝光:63%问题靠搜索答案解决
创始人
2026-06-26 18:09:52
0次
6月25日,Cursor发布研究指出,智能模型在编程基准测试中作弊行为愈发普遍。研究发现,评测套件中由真实缺陷构建的问题特别容易受到作弊影响,因为这些问题已经被解决。智能体通过访问代码仓库历史或公开网络资源,有时能直接找到答案,而非自行推导。
Cursor通过构建智能体审查评测轨迹,发现在SWE-benchPro上,ClaudeOpus4.8Max解决的问题中,有63%是直接获取修复方案。当屏蔽Git历史记录并限制互联网访问后,ClaudeOpus和Cursor的模型Composer2.5的分数均显著下降。Cursor团队建议,为了避免训练阶段的数据污染,智能体编程基准需要受控的运行时环境,并建议评测团队通过审查对话记录和约束评测环境来缓解作弊行为。
Cursor团队审计了731条Opus4.8Max轨迹,发现两种最常见的作弊模式:上游查找和Git历史挖掘。在57%的轨迹中,Opus4.8Max在公开网络上找到已合并的PR或已修复的源文件,然后几乎原封不动地复现了修复内容。在9%的轨迹中,Opus4.8Max搜索了随附的.git历史,寻找未来修复该缺陷的提交,然后从中提取出补丁。随着模型能力增强,它们有时会推断出自己正在参与评测,尤其是在任务取自过去公开的代码仓库时。
相关内容