使用 NVIDIA Megatron Core 扩展位级确定性预训练

NVIDIA Megatron Core 支持位级确定性（bitwise determinism）预训练，使大规模预训练更易调试、验证和可复现地恢复。该能力在数千块 GPU 上训练万亿参数模型时尤为关键，可应对多并行维度、低精度计算和分布式检查点带来的故障复现与修复验证难题。