512 KB内存跑千万级AI模型！开发者：未来咖啡机都能思考

快科技7月28日消息，乌克兰独立开发者Slava S近日发布开源项目"ESP32-AI"， 在售价仅约8美元（约54元人民币）的ESP32-S3微控制器上，本地运行了参数规模达2890万的语言模型， 打破了同级别芯片此前仅能运行数十万参数模型的纪录。

ESP32-S3是物联网领域常见的高性价比微控制器，硬件资源极为有限，仅配备512KB SRAM、8MB PSRAM和16MB闪存。

大型语言模型推理时需要将所有参数载入高速内存完成矩阵运算，此前在该类芯片上的模型纪录约为26万参数，强行载入千万级模型，内存会瞬间耗尽。

为突破硬件瓶颈，Slava参考Google Gemma的“逐层嵌入”架构，对2890万参数的语言模型进行4-bit量化处理，文件大小压缩至14.9MB，并采用分层内存配置。

占用空间最大的嵌入表（约2500万参数）存放在读取速度较慢但容量更大的16MB闪存中，高速的512KB SRAM完全留给核心推理权重运算。

该模型在生成每个Token时只需从闪存调取少数几行数据，不会造成系统性能拥堵，由此达成了结构运算的最优化。

目前该项目仍属于概念验证阶段，只能生成简单短篇虚构故事，不具备通用问答、写代码或执行复杂指令的能力。

但开发者举例指出，微型AI未来可应用于特定领域的智能家电，比如一台无需联网却能精确掌握各类咖啡豆特性、研磨度和最佳冲煮水温的独立智能咖啡机。

【本文结束】如需转载请务必注明出处：

新浪科技公众号

“掌”握科技鲜闻 （微信搜索techsina或扫描左侧二维码关注）

OpenAI抢后台，马斯克抢前台

陌陌母公司挚文季报图解：营收24亿净利降19% 唐岩刚获派息超8000万

网传“雷军打新长鑫科技狂赚 7 亿”，小米董事长特别助理徐洁云回应“看个乐呵别当真”

被罚51.79亿元后 携程内部全员信曝光

三星手机要用长鑫内存！用中国芯片来抢占中国市场

华为高端旗舰再破百万！Pura 90系列销量达101.49万台：首发麒麟9030S

黄仁勋发了人生第一条社媒帖子：都给我开源！

碧桂园2.22元每股卖飞长鑫科技 痛失470亿

靠"颜值"出圈的 Nothing Phone，这次被现实上了一课，裁员超40%，并退出中东、日本等市场

马斯克、黄仁勋同天发声：力挺中国AI

荣耀Robot Phone提前剧透 专业影像装进手机

2元买走8亿股权？河北衡水回应公职人员被举报侵吞学校资产

市场监管总局宣布罚没携程 51.79 亿元后，携程内部全员信曝光

杨植麟拆穿美国神话：OpenAI没有发明任何新东西！Kimi K3证明中国AI走通开源路线

实探长鑫科技合肥总部：园区崛起带火长岗CBD，基层员工“旁观”造富神话

罗永浩痛批电视行业刷屏全网 夏普主动赠送电视：开机无广告

比亚迪腾势 Z9S 官宣晨曦紫外观 × 云烟紫内饰，还将带来“多巴胺车色”

广汽埃安成立十周年，7 月 28 日将亮相携全新 logo 的全新车系

网传“雷军打新长鑫科技狂赚 7 亿”，小米董事长特别助理徐洁云回应“看个乐呵别当真”

被罚51.79亿元后 携程内部全员信曝光

东山精密光模块闪现二手平台 网友质疑其与失窃货物有关

长鑫科技周边酒店一房难求：上下游客户众多 差旅往来频繁

主题：开发者