苹果联手威斯康星大学发布RubiCap,AI图像描述技术新突破
创始人
2026-03-26 09:26:41
0

3月26日,苹果公司与威斯康星大学麦迪逊分校联合发布了名为RubiCap的AI训练框架,旨在优化密集图像描述模型的训练流程。这项技术能够识别图片中的各个局部区域,并为每个细节生成精准的文字说明,对于训练视觉语言模型、文本生成图像以及改善无障碍工具等领域具有重要意义。

RubiCap框架通过创新的强化学习机制,解决了传统训练方法中人工标注成本过高的问题。系统首先从数据集中抽取5万张图像,并利用GPT-5、Gemini2.5Pro等大模型生成候选描述。随后,系统通过Gemini2.5Pro分析候选内容,提炼共识与遗漏点,转化为清晰的评分标准。最后,Qwen2.5模型根据这些标准对描述进行打分,为模型提供结构化的精准反馈。

基于RubiCap框架,苹果训练出了参数量分别为20亿、30亿和70亿的三个模型。测试数据显示,这些紧凑型模型展现出了惊人的效率,其中70亿参数模型在盲测中获得了最高的排名,并实现了最低的“幻觉”错误率,全面超越了参数量高达720亿的前沿大模型。30亿参数的微型模型在部分测试中甚至反超了70亿参数版本,证明高质量的图像描述模型可以摆脱对庞大参数量的绝对依赖。

相关内容

热门资讯

广州荔湾西关正骨“双遗”联动首... 2026年8月1日,广州市荔湾区骨伤科医院(西关正骨医院)在芳村花园启动“骨”文探秘·双遗共辉非遗体...
【有事好商量③政府推】全周期服... 本期话题:优化婚恋服务品牌,建设甜蜜幸福之都婚恋服务既是民生实事,也是城市治理的温情注脚。自2021...
广州用一个物业小程序,给居民配... 文、图/羊城晚报全媒体记者 陈玉霞2026年7月31日,由广州市住房和城乡建设局指导、广州市物业管理...
广州市双拥促进会举行庆祝“八一... 文、图/羊城晚报全媒体记者 侯梦菲 通讯员 彭景团在中国人民解放军建军99周年即将到来之际,7月31...
广州市首条双拥主题公交专线启航 7月31日,广州市首条双拥主题公交专线——“双拥先锋号”正式发车。这一流动的双拥阵地和国防教育宣传窗...
打通食饮出海全链路,1500余... 国内消费市场深挖增量,海外跨境贸易机遇与挑战并存,中国食饮产业迎来双向发展新窗口。将于9月3日至5日...
年均成交1宗宅地的从化,一口气... 文、图/羊城晚报全媒体记者 陈玉霞 马灿在住建领域“沉寂”了多年的从化,突然有了大动作!7月28日,...
下午出门防雷雨!广州多区发布雷... 广州市气象台7月30日午间表示,目前东南方向移近的雷雨云团显著加强,预计未来1-3小时广州市越秀区、...
2026广州艺术季圆满落幕,超... 7月31日晚,随着俄罗斯圣彼得堡国家冰上芭蕾舞团带来的经典剧目《胡桃夹子》在广州大剧院精彩谢幕,由中...
“去白云机场节约半小时以上!”... 文/羊城晚报全媒体记者 严艺文 实习生 刘紫茵图、视频拍摄/羊城晚报全媒体记者 刘畅 实习生 刘紫茵...