PyTorch 推出 Zephon，为 TorchTitan 实现弹性确定性数据加载

PyTorch 团队推出 Zephon，为 TorchTitan 提供弹性确定性数据加载：从 16 GPU 的 step 150 checkpoint 恢复到 8、32、64 GPU 时，损失曲线与基线完全重合，每个 global batch 的 SHA-256 哈希一致。 其 TorchTitan 集成用基于数据配方（数据集、混合权重及打包、混洗、并行设置）构建的 Zephon Pipeline 替换 TorchTitan 默认数据加载器，训练其余部分保持不变。使用时需将数据并行规模设为预期运行规模的公倍数，并保持数据、tokenizer、种子、混合比例、上下文长度和 global batch size 不变。 Zephon 团队称，不同 GPU 数量下 global batch 完全一致，损失非常接近但可能不完全相同，因为训练循环中的浮点归约顺序仍取决于参与计算的 GPU 数量。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。