7月28日,科技媒体Tom'sHardware报道了乌克兰开发者SlavaS在ESP32-AI项目中取得的新进展。SlavaS成功在乐鑫(Espressif)的ESP32-S3开发板上部署了一个拥有2890万个参数的本地AI模型,这一成就打破了此前DaveBennett所设定的26万个参数的上限。
ESP32-S3开发板拥有512KB的SRAM、8MB的PSRAM和16MB的闪存,内存容量相对有限。SlavaS采用了GoogleGemma使用的Per-LayerEmbeddings技术,将模型经过4-bit量化后,文件大小缩减至14.9MB。他将25M参数的嵌入表存入16MB的闪存中,使得模型每生成一个Token时,只需读取嵌入表中的少量数据。
尽管ESP32-S3开发板成功部署了大型参数模型,但其应用范围有限,无法支持聊天或编程等复杂任务。不过,SlavaS提出了一个离线咖啡机的应用设想,该设备可以根据咖啡豆、研磨方式、配比和水温等因素生成内容,展现了AI模型在特定领域的应用潜力。

