跳到正文
蚂蚁 inclusionAI · 新项目·原文发布· 1 天前AI 评分47

蚂蚁 inclusionAI 开源 ASpec:面向投机解码 Draft 模型的高吞吐训练框架

inclusionAI/ASpec

AI 导读

蚂蚁 inclusionAI 推出 ASpec,一个用于投机解码 Draft 模型的高吞吐训练框架,基于 TorchSpec 代码库开发,采用 Apache 2.0 开源。

本站提供 AI 导读,完整报道请前往来源网站阅读。

阅读原文 蚂蚁 inclusionAI · 新项目 · github.com