腾讯AI新突破:混元团队发布Context学习基准CL-bench
创始人
2026-02-03 20:10:57
0

今日,腾讯混元官网技术博客(TencentHYResearch)上线,并发表了一篇名为《从Context学习,远比我们想象的要难》的文章。文章介绍了腾讯混元团队联合复旦大学的新研究,这是姚顺雨加入腾讯担任首席AI科学家后带领团队首次发布的研究成果。研究指出,尽管大语言模型在预训练阶段表现出色,但在真实世界的应用中,它们主要依赖于静态记忆,而非从当前输入的新信息中学习,这揭示了当前模型训练范式与实际应用之间的不匹配。

为了衡量现有模型的Context学习能力,姚顺雨团队构建了CL-bench,这是一个专门评测语言模型能否从Context中学习新知识并正确应用的基准。CL-bench包含500个复杂Context、1,899个任务和31,607个验证标准,覆盖了领域知识推理、规则系统应用、程序性任务执行和经验发现与模拟四种广泛的现实世界Context学习场景。CL-bench的设计具有高复杂性和序列依赖性,确保了性能真正反映Context学习,而不是记忆或数据泄露。在CL-bench上评估的十个最先进的语言模型中,平均仅解决了17.2%的任务,即使是表现最好的模型GPT-5.1(High),也仅达到了23.7%。这一结果表明,当前的SOTA模型几乎不会从Context中学习。

相关内容

热门资讯

AI冲击波来袭!法律软件股暴跌... 2月3日,Anthropic公司推出了一款面向企业法务的新AI工具,这一动作导致部分法律软件公司股价...
东风日产8年低息0首付购车政策... 2月3日,东风日产宣布推出8年超长期低息购车政策,活动时间从即日起至2月28日。在此期间,东风日产全...
北京人形机器人创新中心获超7亿... 2月3日,北京人形机器人创新中心宣布完成首轮超过7亿元人民币的融资。参与投资的机构包括北京市人工智能...
智界V9内饰曝光:豪华MPV配... 近日,智界V9的内饰谍照曝光,展示了其豪华配置。新车内饰采用高端标准,前排三联屏设计,优化屏幕黑边提...
腾讯AI新突破:混元团队发布C... 今日,腾讯混元官网技术博客(TencentHYResearch)上线,并发表了一篇名为《从Conte...
2026年中央一号文件发布 2026年中央一号文件2月3日发布这也是“十五五”首个中央一号文件《中共中央 国务院关于锚定农业农村...
健康稳定的中欧关系:成就彼此,... 中国网2月3日讯(记者李智)从去年12月法国总统马克龙访华,到今年1月爱尔兰总理马丁、芬兰总理奥尔波...
俄外长:日本加速“再军事化”威... 当地时间2月2日,俄罗斯外交部网站发布俄罗斯外长拉夫罗夫就2025年俄外交成果答媒体问文字实录。△俄...
新华视点|文旅新体验点亮消费新... ■再造消费新场域:如何让“家附近”的烟火滋养日常生活?年末岁初,到处都热闹了起来。不知道你有没有发现...
特斯拉领跑中国品牌榜,比亚迪问... 今日,胡润研究院发布了《2025胡润中国品牌榜》,其中汽车品牌细分榜单备受关注。特斯拉以2700亿元...