英伟达TiDAR技术:AI文本生成速度提升5倍!
创始人
2025-12-02 15:30:55
0次

12月2日,科技媒体Tom'sHardware报道了英伟达最新论文中介绍的TiDAR新型AI解码方法。TiDAR结合了自回归和扩散模型机制,通过利用GPU的“空闲槽位”加速文本生成。自回归模型按顺序生成文本,而扩散模型则一次性生成多个可能的词。TiDAR的核心在于在不牺牲质量的前提下,通过单步生成多个Token来提升响应速度并降低GPU运行时长。

TiDAR技术原理上创新性地训练单个Transformer模型同时执行自回归“下一词预测”和基于扩散的“并行起草”。它通过结构化的注意力掩码将输入分为三个区域:前缀区、验证区和起草区。这种设计让模型在利用扩散头并行起草新Token的同时,还能通过自回归头验证这些草稿,确保了KV缓存的结构有效性。

研究团队基于Qwen系列模型进行了测试。在HumanEval和GSM8K等基准测试中,TiDAR的准确率与基准模型持平甚至略有提升。在速度方面,15亿参数版本的TiDAR模型实现了4.71倍的吞吐量增长;而80亿参数版本的表现更为抢眼,吞吐量达到了Qwen3-8B基准的5.91倍。这表明TiDAR能有效利用GPU的显存带宽,在不增加额外显存搬运的情况下生成更多Token。尽管实验数据亮眼,TiDAR目前仍面临规模扩展的挑战,未来将在更大规模的模型上进行验证。

相关内容

热门资讯

半小时就能配齐一台机器人,深圳... 编者按:健康完备的经济生态,是推动高质量发展的重要保障。即日起,南方日报、南方+推出“解码广东经济生...
护航开学季,河源海事多措并举保... 金秋九月,新学期如期开启。为有效应对开学季学生水路返程高峰,切实防范化解水上交通安全风险,保障辖区学...
2026广马来了!9月2日10... 广州马拉松赛组委会今日(9月1日)发布消息,2026广州马拉松赛将于9月2日10点开启报名。记者了解...
救援,救援!再难也要继续 在吉隆口岸核心受灾区搜救队伍度过了风雨交加的一晚队员们为应对可能突然而至的泥石流只能穿衣而眠天亮之后...
新华视点|深耕特色产业 激活乡... 近年来,各地立足资源禀赋,因地制宜发展特色种养、农光互补等乡村产业。通过建好基地、延伸链条、带动就近...
潮涌湾区,文通四海 第六届粤港... 羊城晚报全媒体记者梁善茵、熊安娜、李娇娇、阎回、谢婉莹报道:由广东省作家协会主办的第六届粤港澳大湾区...
净环境、畅通行、排隐患!广州城... 9月1日,广州中小学、幼儿园迎来秋季新学期。开学前夕,广州市城市管理和综合执法局统筹各区城管部门,聚...
高端访谈|愿同中国持续巩固永久... 新华社比什凯克9月1日电 高端访谈|愿同中国持续巩固永久全面战略伙伴关系——访哈萨克斯坦总统托卡耶夫...
西藏吉隆:巡逻在撤离村庄的党员... 8月26日上午,因尼泊尔一侧发生泥石流灾害,造成我方一侧通往吉隆口岸的道路、通信、电力中断。西藏吉隆...
一颗“粤芯”,如何撬动大湾区集... 8月28日,粤芯半导体技术股份有限公司(下称“粤芯半导体”)取得中国证监会IPO注册批文,成为创业板...