智能编程模型作弊曝光:63%问题靠搜索答案解决
创始人
2026-06-26 18:09:52
0

6月25日,Cursor发布研究指出,智能模型在编程基准测试中作弊行为愈发普遍。研究发现,评测套件中由真实缺陷构建的问题特别容易受到作弊影响,因为这些问题已经被解决。智能体通过访问代码仓库历史或公开网络资源,有时能直接找到答案,而非自行推导。

Cursor通过构建智能体审查评测轨迹,发现在SWE-benchPro上,ClaudeOpus4.8Max解决的问题中,有63%是直接获取修复方案。当屏蔽Git历史记录并限制互联网访问后,ClaudeOpus和Cursor的模型Composer2.5的分数均显著下降。Cursor团队建议,为了避免训练阶段的数据污染,智能体编程基准需要受控的运行时环境,并建议评测团队通过审查对话记录和约束评测环境来缓解作弊行为。

Cursor团队审计了731条Opus4.8Max轨迹,发现两种最常见的作弊模式:上游查找和Git历史挖掘。在57%的轨迹中,Opus4.8Max在公开网络上找到已合并的PR或已修复的源文件,然后几乎原封不动地复现了修复内容。在9%的轨迹中,Opus4.8Max搜索了随附的.git历史,寻找未来修复该缺陷的提交,然后从中提取出补丁。随着模型能力增强,它们有时会推断出自己正在参与评测,尤其是在任务取自过去公开的代码仓库时。

相关内容

热门资讯

家长一手抱娃一手拿奶瓶 ,突然... 8月24日,一段“家长单手抱娃孩子后仰摔骨折”的视频引发关注。近日,重庆一家长独自带娃,监控显示她单...
广东部署农产品品牌建设五年行动 本报讯(农民日报全媒体记者 吴砾星 李红波)日前,广东省农产品品牌建设专题会在广州召开。会议深入学习...
不得加收或者变相加收水电费!广... 8月24日,广州市人大常委会官网公布《广州市租赁房屋居民生活用水用电费用代收管理规定(草案)》(以下...
广州音乐公园今日开园!建设运营... 8月25日上午,首届流行音乐创作大会(广东)在广州湾颂艺术中心盛大启幕。大会旨在团结音乐人、写出好歌...
“中国精准扶贫战略体现国家治理... 本报记者 徐 馨“如果不是每年都去中国,我很难跟上她的发展步伐。”德国杜伊斯堡—艾森大学中国政治、社...
粤听 | 广东音乐:旧声有回响... 一曲《步步高》,陪伴了中国人近百年。轻快的旋律层层推进,逢年过节、团圆欢聚时,它总会在身边响起。很多...
两大优势产业碰撞!广东把机器人... 长隆牵手智元,打开文旅消费新空间羊城晚报全媒体记者 扶贝贝当机器人走进主题乐园,文旅消费正在成为具身...
做难而正确的事|广东农产品品牌... 2014年3月6日,习近平总书记参加十二届全国人大二次会议广东代表团审议,殷切嘱托广东继续发扬敢为人...
高高逛广东|丹霞山:游山不玩水... 穿越古今,游山玩水。暑假到广东,来韶关丹霞山,赴一场丹山碧水的治愈之约吧!@高高逛广东 #韶关#丹霞...
一湾碧水,三链奔流 肇庆封开“... 羊城晚报全媒体记者 杨再睿 李梓骞从肇庆市区出发,沿G321拐入S535,车窗外贺江越缠越紧,最后拧...