腾讯联合UCLA发布OpenSearch-VL,AI智能体开启多模态深度搜索新时代
创始人
2026-05-07 15:11:18
0次

5月7日,腾讯混元(TencentHunyuan)联合加州大学洛杉矶分校(UCLA)、香港中文大学等学府发布了OpenSearch-VL开源多模态训练方案。该方案通过强化学习技术,旨在打造能够处理图像、文本等多种模态输入,并主动调用外部工具进行多步骤推理、证据验证与知识检索的深度搜索智能体。这一研究聚焦于解决知识密集型的复杂视觉问答问题,报告于5月6日在arXiv平台发表。

OpenSearch-VL方案的核心在于构建高质量数据管道,通过维基百科路径采样与模糊实体重写减少检索捷径,产出SearchVL-SFT-36k等数据集。研究团队指出,高质量训练数据是多模态搜索智能体进化的最大瓶颈,而现有顶尖系统的数据来源、过滤标准与工具使用轨迹均属私有,限制了先进能力的复现与系统性研究。因此,OpenSearch-VL提供了从数据、工具到训练算法的完整开源方案,以促进研究发展。

在工具环境方面,OpenSearch-VL不仅包括文本搜索、图像搜索,还整合了OCR、裁剪、锐化、超分辨率与透视校正等功能,使智能体能在查询外部知识前先处理模糊、低分辨率或倾斜的视觉输入。实验结果显示,OpenSearch-VL-30B-A3B模型在VDR、MMSearch等基准上取得了显著增益,平均得分从47.8提升至61.6,消融实验也验证了各组件的贡献。

相关内容

热门资讯

半小时就能配齐一台机器人,深圳... 编者按:健康完备的经济生态,是推动高质量发展的重要保障。即日起,南方日报、南方+推出“解码广东经济生...
护航开学季,河源海事多措并举保... 金秋九月,新学期如期开启。为有效应对开学季学生水路返程高峰,切实防范化解水上交通安全风险,保障辖区学...
2026广马来了!9月2日10... 广州马拉松赛组委会今日(9月1日)发布消息,2026广州马拉松赛将于9月2日10点开启报名。记者了解...
救援,救援!再难也要继续 在吉隆口岸核心受灾区搜救队伍度过了风雨交加的一晚队员们为应对可能突然而至的泥石流只能穿衣而眠天亮之后...
新华视点|深耕特色产业 激活乡... 近年来,各地立足资源禀赋,因地制宜发展特色种养、农光互补等乡村产业。通过建好基地、延伸链条、带动就近...
潮涌湾区,文通四海 第六届粤港... 羊城晚报全媒体记者梁善茵、熊安娜、李娇娇、阎回、谢婉莹报道:由广东省作家协会主办的第六届粤港澳大湾区...
净环境、畅通行、排隐患!广州城... 9月1日,广州中小学、幼儿园迎来秋季新学期。开学前夕,广州市城市管理和综合执法局统筹各区城管部门,聚...
高端访谈|愿同中国持续巩固永久... 新华社比什凯克9月1日电 高端访谈|愿同中国持续巩固永久全面战略伙伴关系——访哈萨克斯坦总统托卡耶夫...
西藏吉隆:巡逻在撤离村庄的党员... 8月26日上午,因尼泊尔一侧发生泥石流灾害,造成我方一侧通往吉隆口岸的道路、通信、电力中断。西藏吉隆...
一颗“粤芯”,如何撬动大湾区集... 8月28日,粤芯半导体技术股份有限公司(下称“粤芯半导体”)取得中国证监会IPO注册批文,成为创业板...