在 NVIDIA DGX Spark 上提升 MoE 推理的三种方法

NVIDIA 技术博客介绍在 DGX Spark 上对 Inclusion AI 的 Ling-3.0-flash 做 batch-size-1 评测时，profiling 显示解码受内存带宽限制，读取模型权重主导执行时间，其中 MoE 计算和输出层投影两个操作最为突出。文章给出三种提升 MoE 推理性能的方法。