三模态掩码扩散模型的设计空间

Apple 团队首次从头预训练三模态掩码扩散模型（MDM），同时处理文本、图文和音频-文本数据，并系统分析多模态缩放规律、模态混合比例与噪声调度。其批次大小分析提出基于 SDE 的重参数化，将物理批次与逻辑批次解耦，免去最优批次调参。团队预训练出 3B 规模（6.4T tokens）初步模型，在文本生成、T2I 和 T2S 任务上均取得强劲结果。