腾讯AI新突破:混元团队发布Context学习基准CL-bench
创始人
2026-02-03 20:10:57
0

今日,腾讯混元官网技术博客(TencentHYResearch)上线,并发表了一篇名为《从Context学习,远比我们想象的要难》的文章。文章介绍了腾讯混元团队联合复旦大学的新研究,这是姚顺雨加入腾讯担任首席AI科学家后带领团队首次发布的研究成果。研究指出,尽管大语言模型在预训练阶段表现出色,但在真实世界的应用中,它们主要依赖于静态记忆,而非从当前输入的新信息中学习,这揭示了当前模型训练范式与实际应用之间的不匹配。

为了衡量现有模型的Context学习能力,姚顺雨团队构建了CL-bench,这是一个专门评测语言模型能否从Context中学习新知识并正确应用的基准。CL-bench包含500个复杂Context、1,899个任务和31,607个验证标准,覆盖了领域知识推理、规则系统应用、程序性任务执行和经验发现与模拟四种广泛的现实世界Context学习场景。CL-bench的设计具有高复杂性和序列依赖性,确保了性能真正反映Context学习,而不是记忆或数据泄露。在CL-bench上评估的十个最先进的语言模型中,平均仅解决了17.2%的任务,即使是表现最好的模型GPT-5.1(High),也仅达到了23.7%。这一结果表明,当前的SOTA模型几乎不会从Context中学习。

相关内容

热门资讯

探访牛河梁国家考古遗址公园 ↑参观者在牛河梁遗址博物馆内参观(8月4日摄)。新华社记者 李贺 摄牛河梁国家考古遗址公园依托牛河梁...
比亚迪海豹06新色亮相,202... 今日,比亚迪汽车海洋网销售事业部总经理张卓发布了2027款海豹06全新车色官图,新色命名尚未公布。同...
深圳3D打印产业不断实现高效生... 48.5%上半年,我国数字产品制造业增势强劲,3D打印设备产品产量同比增长48.5%。喷头缓缓移动,...
广东2026年高招专科批投档结... 羊城晚报全媒体记者 郭子扬 孙唯8月5日,广东省2026年普通高校招生专科批次录取结果出炉。据广东省...
57岁保洁阿姨花5万元整形 术... 记者调查发现多个疑点,警方已介入6月19日,57岁的郑大姐(化名)来到广州艾尚美医疗美容门诊部有限公...
大众高尔夫混动版西班牙上市,2... 今日,大众高尔夫混动版在西班牙市场正式上市,提供Style和R-Line两种版本,起售价为35,80...
广东重拳整治养老领域虚假宣传 ... 羊城晚报讯 记者吴珊、通讯员粤市监报道:8月5日,由广东省市场监督管理局主办的“全省养老服务领域监管...
深度观察 | 承接大湾区厨艺顶... 优良的生态禀赋、厚重的客家饮食文化,是河源深耕粤菜产业、赋能美食创新发展的核心底气,也是河源吸引第七...
名厨、食材均已就位!揭秘粤菜师... 备受关注的第七届粤港澳大湾区“粤菜师傅”职业技能大赛将于8月6日正式开赛。8月5日,参赛的湾区厨师们...
Meta AI模型意外入侵企业... 8月7日,Meta公司在网络安全测试中发生一起AI模型入侵事件。据透露,由于Meta委托的网络安全评...