DeepSeek 全面开源内部推理框架 DeepInfer

DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，目标是帮助开发者与企业优化大规模推理的吞吐与延迟，降低算力成本、实现大模型普惠。这是在此前开源一系列大模型、TileLang 编译工具及推理算子库基础上的进一步动作。 DeepInfer 集成高性能算子，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出，兼容英伟达与华为昇腾平台。同步开源的 deepseek-recipe 编解码组件与官方 API 处理逻辑对齐。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。