推理中的计算与数据搬运

混合专家（MoE）已改变前沿模型的推理服务结构与经济性，它改变的不只是参数量，而是每个 token 激活哪些张量、哪些数据必须就近放置、哪些传输需要高本地带宽。