淘宝MNN团队开源0.3B手机端模型MNN-Pocket

淘宝MNN团队发布并开源手机端侧轻量语言模型MNN-Pocket-0.3B，含Base、SFT、MNN等版本，面向手机应用的算力、内存和能耗限制设计。 其W4A16 QAT端侧部署版本配合MNN推理引擎的低比特算子与硬件后端优化，在特定设备上解码吞吐可达466 token/s；据IT之家报道，在iPhone 18 Pro上完全离线运行平均解码速度约350 token/s，INT4部署文件仅173MB。团队称在指定设备与上下文配置下解码吞吐超过200 token/s，指定测试条件下峰值内存低于300MB。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。