Apple首次预训练三模态掩码扩散模型

Apple 团队首次从头预训练三模态掩码扩散模型（MDM），可同时处理文本、图文和音频-文本数据，并系统分析了多模态缩放规律、模态混合比例与噪声调度。团队称，其批次大小分析提出基于 SDE 的重参数化，将物理批次与逻辑批次解耦，免去最优批次调参。 团队预训练出 3B 规模（6.4T tokens）初步模型，称在文本生成、T2I 和 T2S 任务上均取得强劲结果。

AI 根据报道生成 · 1 天前更新

还没有足够的连续观测数据，暂不绘制趋势。