12月8日,谷歌DeepMind CEO德米斯·哈萨比斯提出,扩大AI模型规模是实现通用人工智能(AGI)的关键。哈萨比斯认为,将当前AI的规模化推向极致,可能是构建通用人工智能的关键组成部分,甚至可能构成整个通用人工智能系统。他强调,规模定律(scaling laws)描述了机器学习领域性能与模型规模、训练数据集大小及计算资源之间的可预测关系,是大模型预训练的核心原则。
哈萨比斯同时指出,尽管规模定律可能推动AI走向AGI,但可能还需要一到两个额外的突破才能实现。然而,规模定律并非没有缺陷,公开数据量有限,增加算力意味着建设更多数据中心,导致训练成本上升,对环境造成压力。一些AI专家担心,持续投入规模定律可能出现投入产出递减现象。与此同时,前Meta首席AI科学家Yann LeCun提出,AI行业不能仅依赖规模定律,他离开Meta是为了构建一款不依赖语言数据,而是依靠空间数据的“世界模型”AI体系,作为大语言模型的替代方案。
