英伟达TiDAR技术:AI文本生成速度提升5倍!
创始人
2025-12-02 15:30:55
0

12月2日,科技媒体Tom'sHardware报道了英伟达最新论文中介绍的TiDAR新型AI解码方法。TiDAR结合了自回归和扩散模型机制,通过利用GPU的“空闲槽位”加速文本生成。自回归模型按顺序生成文本,而扩散模型则一次性生成多个可能的词。TiDAR的核心在于在不牺牲质量的前提下,通过单步生成多个Token来提升响应速度并降低GPU运行时长。

TiDAR技术原理上创新性地训练单个Transformer模型同时执行自回归“下一词预测”和基于扩散的“并行起草”。它通过结构化的注意力掩码将输入分为三个区域:前缀区、验证区和起草区。这种设计让模型在利用扩散头并行起草新Token的同时,还能通过自回归头验证这些草稿,确保了KV缓存的结构有效性。

研究团队基于Qwen系列模型进行了测试。在HumanEval和GSM8K等基准测试中,TiDAR的准确率与基准模型持平甚至略有提升。在速度方面,15亿参数版本的TiDAR模型实现了4.71倍的吞吐量增长;而80亿参数版本的表现更为抢眼,吞吐量达到了Qwen3-8B基准的5.91倍。这表明TiDAR能有效利用GPU的显存带宽,在不增加额外显存搬运的情况下生成更多Token。尽管实验数据亮眼,TiDAR目前仍面临规模扩展的挑战,未来将在更大规模的模型上进行验证。

相关内容

热门资讯

开放共赢是人工智能发展的必由之... 中国开源模型正从全球产业版图的“可选项”,成为众多海外开发者开展技术创新的“必选项”日前,由美国硅谷...
奔腾中国·质胜未来丨坚持以人为... 不久前,国务院印发的《关于推行常住地提供基本公共服务的实施意见》对外发布。让新市民在稳定就业居住的城...
湾区新力量丨提前58天入出境外... 随着APEC第三十三次领导人非正式会议进入倒计时,外国人来深圳热度持续攀升。8月4日,经深圳口岸入出...
视频丨长崎原子弹爆炸81周年 ... 8月9日是日本长崎原子弹爆炸81周年。当天,日本东京民众自发举行集会,抗议高市早苗政府企图扩军修宪的...
当好东道主,喜迎APEC——写... 还有100天,亚太经合组织(APEC)第三十三次领导人非正式会议就将在广东深圳举行。这是中国今年最重...
把电竞粤超冠军留在深圳 深圳V... 羊城晚报讯 记者陈旭泽报道:8月9日,电竞粤超赛区对抗赛宝安站在“湾区之眼”落下帷幕。无畏契约项目中...
海外侨胞赋能“百千万工程” 侨... 正值暑期,位于广东潮州潮安的大吴村成为周边市民的热门去处。白天,大吴会客厅里茶香氤氲,村民与游客可阅...
广东地理标志产品首次集中亮相粤... 文/图 羊城晚报全媒体记者 吴珊 严艺文 见习记者 杨慧丽 实习生 邱思哲8月8日清晨6时多,张泽振...
叩问红山:百年考古现场的五千年... 来源:8月7日《新华每日电讯》作者:新华每日电讯记者崔峰 孙仁斌 赵洪南视频:新华社记者杨青 姜兆臣...
广州荔湾300余民兵高温下奋战... “看到这么多民兵都在帮我们搞卫生、灭蚊子,心里特别踏实,也特别感动。”8月9日,在荔湾区社区防控一线...