Baseten 优化 Qwen3-ASR 批量转写，称成本全行业最低

Baseten 宣布对开源语音识别模型 Qwen3-ASR 1.7B 的批量转写做了优化，称实现了所有转写服务商中最低的每分钟音频成本。据其博客，相比开箱即用的 vLLM，优化后的栈在单张 RTX PRO 6000、64 并发下每秒可转写 7 倍以上的音频，长音频吞吐最高达 3,128 倍实时。 优化包括原生音频解码、FP8 KV cache、减少同步和请求处理优化。该优化部署已成为 Baseten Model Library 中的默认版本。其成本数据基于在单张 RTX PRO 6000 上跑满一小时长音频并按标价估算。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。