近日,英伟达的ARC-AGI2竞赛中,NVARC小模型以27.64%的成绩超越GPT-5Pro的18.3%,成为榜首。NVARC的每任务成本仅为20美分,远低于GPT-5Pro的超过7美元。NVARC的成功在于其零预训练深度学习方法,避免了预训练模型的领域偏见和数据依赖问题。
NVARC团队采用了改进版ARChitects方法,选用小参数模型Qwen3-4B,通过对话式模板简化谜题理解。训练时借助NeMoRL框架和Megatron后端进行监督微调。关键一步在于测试时微调(TTFT),针对ARC-AGI-2每个任务都是全新规则的特点,NVARC引入了LoRA微调技术,对每个问题都进行微调,让模型快速适应。同时,对ARChitects方法的改进在于解码阶段DFS算法做了批处理优化,修复结果非确定性问题。
NVARC团队还应用了“少即是多”的TRM方法,尝试与Qwen3-4B集成补充分数,虽有提升但未大幅优化。这一成果表明,在特定领域任务中,经过针对性优化的小模型性能并不逊色于全面发力的超级大模型。将正确的方法用在正确的地方,小模型也能实现更大的价值。


