腾讯联合UCLA发布OpenSearch-VL,AI智能体开启多模态深度搜索新时代
创始人
2026-05-07 15:11:18
0

5月7日,腾讯混元(TencentHunyuan)联合加州大学洛杉矶分校(UCLA)、香港中文大学等学府发布了OpenSearch-VL开源多模态训练方案。该方案通过强化学习技术,旨在打造能够处理图像、文本等多种模态输入,并主动调用外部工具进行多步骤推理、证据验证与知识检索的深度搜索智能体。这一研究聚焦于解决知识密集型的复杂视觉问答问题,报告于5月6日在arXiv平台发表。

OpenSearch-VL方案的核心在于构建高质量数据管道,通过维基百科路径采样与模糊实体重写减少检索捷径,产出SearchVL-SFT-36k等数据集。研究团队指出,高质量训练数据是多模态搜索智能体进化的最大瓶颈,而现有顶尖系统的数据来源、过滤标准与工具使用轨迹均属私有,限制了先进能力的复现与系统性研究。因此,OpenSearch-VL提供了从数据、工具到训练算法的完整开源方案,以促进研究发展。

在工具环境方面,OpenSearch-VL不仅包括文本搜索、图像搜索,还整合了OCR、裁剪、锐化、超分辨率与透视校正等功能,使智能体能在查询外部知识前先处理模糊、低分辨率或倾斜的视觉输入。实验结果显示,OpenSearch-VL-30B-A3B模型在VDR、MMSearch等基准上取得了显著增益,平均得分从47.8提升至61.6,消融实验也验证了各组件的贡献。

相关内容

热门资讯

捷豹Type00电动GT跑车即... 5月6日,汽车媒体AutocarIndia报道,捷豹计划于5月12日公布其Type00电动GT跑车的...
比亚迪领汇e9即将上市,5分钟... 5月7日,比亚迪旗下品牌领汇汽车宣布,其第二款车型领汇e9将于5月9日上市。领汇e9搭载了比亚迪的闪...
韩国SEMIFIVE联手寒序科... 5月7日,韩国SEMIFIVE公司宣布与中国寒序科技(ICYTech)合作,成功流片了一款采用三星晶...
问界M7Pro+升级城区智能驾... 5月7日,问界M7Pro+车型迎来了重要的功能升级,正式支持城区领航辅助NCA功能,使得日常城市驾驶...
雷克萨斯旗舰纯电SUV TZ冬... 5月7日,雷克萨斯宣布其旗舰纯电SUV车型TZ将于今年冬季在日本和北美市场上市。新车延续品牌最新理念...
腾讯联合UCLA发布OpenS... 5月7日,腾讯混元(TencentHunyuan)联合加州大学洛杉矶分校(UCLA)、香港中文大学等...
雷克萨斯发布全新纯电SUV:5... 今日,雷克萨斯公布了其全新纯电动三排座SUV车型——TZ。新车的车长达到5.1米,轴距为3.05米,...
华为钱包携手首驱科技,全球首发... 近日,智慧车联产业生态联盟宣布,联盟首个两轮车企成员首驱科技与华为钱包合作,共同打造了全球首个面向两...
马斯克再出手!xAI并入Spa... 5月6日,美国航天公司SpaceX和AI公司xAI的创始人埃隆·马斯克在社交媒体上宣布,xAI更名为...
MG4X纯电SUV盲订将启:5... 5月7日,上汽MG宣布旗下纯电SUV——MG4X将于5月11日开启盲订。MG4X延续了发光LOGO设...