Baseten 重构 GPU 端 delta 权重同步，GLM-5.3 同步从 36 秒降至 15 秒

Baseten 发布技术博客，讲解其重构的 delta weight 同步设计：以 GPU 上已有的权重替代 CPU 内存中的完整副本作为同步父本，省去维护第二份完整 CPU 拷贝。在 ~770 GB 的 GLM-5.3 checkpoint 上，同步时间从 36 秒降至 15 秒，请求暂停从 6 秒缩短到 0.8 秒，吞吐最高提升 3.2 倍。 这些数据来自 Baseten 的测试环境：单副本、使用 trainer 形状的 fixture delta，测量从 trainer 发出 delta 权重同步请求到副本开始服务新策略的时间。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。