跑大模型最怕显存不够,它把128GB摊开给CPU和GPU用
普通人在本地跑大模型,第一道坎往往不是算力而是显存:权重和上下文缓存一超标,模型就被拆到内存里慢慢搬。EdgeMesa N AI+ 换了个思路——CPU 与 GPU 共享同一池最高128GB LPDDR5X-9600统一内存,谁都能直接取用。核心是 NVIDIA 的 RTX Spark N1X:20核 Grace CPU 加6144核 Blackwell GPU,NVIDIA 标称这套配置最高有1 PFLOP 的 FP4 AI 算力,官方定位就是在本机跑推理与 AI 工作负载。
需要说清楚的是,“1 PFLOP”是 FP4 这种低精度格式下的峰值数字,日常跑模型不可能一直贴着它。TweakTown 还注意到一个反差:这颗集成 GPU 的 CUDA 核心数比笔记本版 RTX 5070 Ti 多约4%,但该媒体同时强调两者的功耗墙、频率、带宽和散热条件都不同,不能直接拿来比性能。所以它更像一台缩小的 AI 工作站,而不是塞进盒子里的游戏显卡。