腾讯AI新突破:混元团队发布Context学习基准CL-bench
创始人
2026-02-03 20:10:57
0

今日,腾讯混元官网技术博客(TencentHYResearch)上线,并发表了一篇名为《从Context学习,远比我们想象的要难》的文章。文章介绍了腾讯混元团队联合复旦大学的新研究,这是姚顺雨加入腾讯担任首席AI科学家后带领团队首次发布的研究成果。研究指出,尽管大语言模型在预训练阶段表现出色,但在真实世界的应用中,它们主要依赖于静态记忆,而非从当前输入的新信息中学习,这揭示了当前模型训练范式与实际应用之间的不匹配。

为了衡量现有模型的Context学习能力,姚顺雨团队构建了CL-bench,这是一个专门评测语言模型能否从Context中学习新知识并正确应用的基准。CL-bench包含500个复杂Context、1,899个任务和31,607个验证标准,覆盖了领域知识推理、规则系统应用、程序性任务执行和经验发现与模拟四种广泛的现实世界Context学习场景。CL-bench的设计具有高复杂性和序列依赖性,确保了性能真正反映Context学习,而不是记忆或数据泄露。在CL-bench上评估的十个最先进的语言模型中,平均仅解决了17.2%的任务,即使是表现最好的模型GPT-5.1(High),也仅达到了23.7%。这一结果表明,当前的SOTA模型几乎不会从Context中学习。

相关内容

热门资讯

特斯拉21万辆车因倒车影像延迟... 5月6日,美国国家公路交通安全管理局(NHTSA)宣布,特斯拉将在美国召回超过21万辆电动车,涉及2...
7年低息车贷全面下架,购车压力... 近日,新能源汽车市场出现了一项重大变化,7年超长低息车贷政策全面下架。此前,特斯拉、小米SU7、理想...
商汤科技挑战AI巨头:低成本高... 5月6日,商汤科技联合创始人兼首席科学家林达华透露,公司从DeepSeek获得启发,即便在资金和技术...
承载“广交天下”的国产无人机,... 文/图 羊城晚报全媒体记者 严锦程4月的广州,春潮涌动,珠江之畔的琶洲展馆人声鼎沸,第139届广交会...
以侨引商以侨促贸,助力经济高质... 羊城晚报讯 16日下午,由广东省侨办、广州市人民政府联合主办的“2026侨助广东经济高质量发展推进大...
以微光入眼以澄明观心 傅锡洪:... 文/羊城晚报全媒体记者 王倩图/羊城晚报全媒体记者 钟振彬 方浩四月的中山大学,草木葱茏。在陈寅恪故...
早筛早诊早治​“全链条”出击 ... 广州“肿瘤防治宣传周”系列活动启动,全市癌症总体5年生存率提升至49.57%羊城晚报全媒体记者 朱嘉...
广东强对流天气或迎“双休日” ... 羊城晚报讯 记者梁怿韬报道:广东多地在4月17日迎来强对流天气。截至17日17时,多地在白天时段录得...
消费新语|“首展”+“首秀”,... 监制:唐卫彬策划:陈发宝 姜 范统筹:潘笑天 李 劼记者:林语晋拍摄:甄子豪 李丹丹 张博雅 朱轶琳...
人民论坛网评 | 忙“事务”更... 习近平总书记强调,共产党人是唯物主义者,务实是必备品格,必须实事求是、求真务实、真抓实干。在日常工作...