Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings
苹果研究团队在 150M 至 1.43B 四种模型规模、约 1000 次预训练实验中,以阿拉伯语为目标语言、英语为辅助语言,比较了数据混合与超参数调优两种方案。混合在验证损失和下游任务准确率上均优于超参数调优,且优势随模型规模扩大而增大,效果相当于 2–3 倍目标数据(验证损失)和 2–13 倍(下游准确率)。作者建议优先调整混合比例,并通过 μP 从小代理模型迁移超参数。