7月10日,科技媒体The Information报道,苹果公司正在与PrismML初创公司进行接触,探讨在iPhone上直接运行更大规模AI模型的可能性。PrismML是加州理工学院衍生出的AI初创公司,其核心技术为原生1-bit模型压缩技术,该技术能够将模型体积压缩至全精度版本的1/14左右,同时内存占用降低超过90%。
PrismML的1-bit模型压缩技术通过仅使用{-1,+1}的权重表示,配合分组缩放因子,实现非传统量化。该公司声称,在保持接近FP16模型精度的同时,推理速度提升最高可达8倍,能耗降低75%-80%。PrismML已经成功精简阿里巴巴开源的大型语言模型Qwen3.6(拥有27B参数),并使其在iPhone 17 Pro上完整运行。苹果公司对PrismML的量化能力表示出浓厚兴趣,希望借此增强iPhone上本地AI模型的推理性能。
