大模型服务计费难题:卖算力还是卖Token?
创始人
2026-06-12 20:33:39
0次
6月12日,北京智源大会上,上海无问芯穹智能科技股份有限公司CTO李伯勋提出,当前推理服务厂商普遍面临的核心问题是选择卖算力还是卖token(词元)作为盈利模式。李伯勋指出,以词元作为计费单位的“卖Token”业务存在挑战,因为模型即服务(MaaS)的门槛较高,需要模型部署后的精度对齐、高速低成本、高可靠稳定性和高算力供给。
李伯勋进一步分析称,一些客户反馈,使用供应商的模型精度比原厂模型的精度差30%。即便是同样的开源模型,如果模型部署和细节设计不同,最终结果也会有所差异。这表明,模型部署的精度对齐和细节设计对于推理服务厂商来说至关重要,直接影响到服务的质量和客户满意度。
相关内容