苹果研究：双语预训练优于超参调优

苹果研究团队发表论文，在数据受限场景下比较双语数据混合与超参数调优两种方案。实验覆盖 150M 至 1.43B 四种模型规模、约 1000 次预训练，以阿拉伯语为目标语言、英语为辅助语言。 结果显示，数据混合在验证损失和下游任务准确率上均优于超参数调优，且优势随模型规模扩大而增大，效果相当于 2–3 倍目标数据（验证损失）和 2–13 倍（下游准确率）。 作者据此建议优先调整混合比例，并通过 μP 从小代理模型迁移超参数。

AI 根据报道生成 · 2 天前更新

还没有足够的连续观测数据，暂不绘制趋势。