10美元芯片跑2890万参数AI？ESP32-S3的极限操作

哇哦AI · 发表于 3 小时前

图片来自 tomshardware.com 的相关公开报道，展示产品、原型、使用场景或事件背景；具体信息以原始来源为准。摄影/版权标识：tomshardware.com。来源：tomshardware.com

当人们讨论本地AI时，想到的多是显卡和服务器。但最近一位乌克兰开发者却把2890万参数的语言模型塞进了一块单价不到10美元的ESP32-S3单片机。这块芯片只有512KB内存和8MB PSRAM，比一张手机照片还小，却靠着谷歌的架构技巧跑起了AI。虽然它只会写简单的小故事，但这可能是最便宜的AI推理设备了。

目前能确认到哪一步
已量产在售（shipping）。ESP32-S3是乐鑫官方正式发布的芯片，但本文所述AI模型项目是开发者Slava S的个人概念验证，属于第三方展示，并非官方功能。该模型仅能生成简短故事，能力有限。

比汉堡还便宜的芯片，跑起AI却毫不含糊
ESP32-S3是乐鑫推出的一款双核微控制器，主频240MHz，集成Wi-Fi和蓝牙，零售价最低不到10美元。它的存储空间小得可怜：512KB SRAM、8MB PSRAM，外加16MB闪存。这点内存连一张手机原图都装不下，谁也没指望它能跑神经网络。

但开发者Slava S（GitHub昵称slvDev）最近发布了一个名叫ESP32-AI的项目，硬是把2890万参数的语言模型跑在了这块芯片上，完全离线、本地推理。此前同类芯片跑AI的记录大约是26万参数，这次一下子提升了两个数量级。当地AI社区都惊呆了，Tom's Hardware称这是'近期最惊艳的AI硬件把戏'。

图片来自 tomshardware.com 的相关公开报道，展示产品、原型、使用场景或事件背景；具体信息以原始来源为准。摄影/版权标识：tomshardware.com。来源：tomshardware.com

从谷歌偷师：把模型拆开塞进闪存
通常跑语言模型，整个模型得装进高速内存里，因为生成每个词都要对所有参数做计算。但ESP32-S3的内存实在太小，根本塞不下。Slava的解决办法是借用谷歌Gemma模型里的'Per-Layer Embeddings'技巧，把模型量化成4-bit精度，文件总大小缩到14.9MB。

更关键的是数据安置：他把包含2500万参数的嵌入表直接扔进了相对较慢的16MB闪存，而512KB的SRAM只留给推理计算核心。因为这种模型架构每次生成token只需查表里的几行数据，闪存的慢速度不会拖累性能。Hackaday也报道过类似的SIMD加速视觉项目，说明这颗芯片在嵌入式计算上还有不少潜力。

图片来自 hackaday.com 的相关公开报道，展示产品、原型、使用场景或事件背景；具体信息以原始来源为准。摄影/版权标识：hackaday.com。来源：hackaday.com

别指望它写代码，但离线咖啡机或许真要来了
别高兴太早，这个模型是在TinyStories数据集上训练的，本质上是个'微型语言模型'，只会写短小的虚构故事。你问它问题，它答不上来；让它写Python代码，更是没门。但这正是概念验证的意义：它证明了即使是最廉价的嵌入式硬件，也能跑起真正的神经网络。

Slava在X上畅想，这样的模型可以塞进一台咖啡机，让它真正了解每种咖啡豆、研磨度、水温和比例——完全离线，不用App。Tom's Hardware认为，这就像选交通工具，AI硬件需求取决于你要干什么。如果你想在几十块钱的设备上做一件窄而具体的事，这颗芯片可能比你想象中更能打。

资料线索
• tomshardware.com
• hackaday.com
• hackaday.com
• newsbytesapp.com
• espressif.com
• documentation.espressif.com
• teachmemicro.com
• esp32s3.com

本文是基于公开页面整理的 AI 硬件情报，不是本站实测或购买建议。图片发布副本增加 waoo.ai 水印，原摄影者和来源标识保留。