2月21日,AI芯片初创公司Taalas宣布推出“硬连线”技术,旨在解决大模型的延迟与成本问题。该公司通过将AI模型直接固化在硅片中,实现了计算与存储的融合,消除了数据传输的“内存墙”障碍。Taalas的ASIC路线与Cerebras或Groq的集成SRAM加速路径不同,其首款产品HC1专为Meta的Llama3.18B模型设计,采用台积电6nm工艺制造,芯片面积达到815mm²。
Taalas的HC1芯片在性能上表现出色,每秒Token生成数(TPS)提升了10倍,生产成本降低至20分之一。尽管芯片面积巨大,但仅容纳了80亿参数的模型,与当前万亿参数的前沿模型相比显得容量有限。为了解决单芯片容量不足的问题,Taalas采用了集群化扩展策略,通过30芯片的集群配置,实现了高达12000TPS/User的吞吐速度,为用户提供近乎零延迟的体验。然而,由于模型权重被硬连线在硅片中,一旦制造完成便无法更改模型参数,这给Taalas的商业模式带来了独特挑战。


