AISI 研究：预训练数据过滤对蛋白质模型效果有限

UK AI Security Institute 的 Chem-Bio 团队发布研究，从零预训练 8M 到 3B 参数的 ESM-2 蛋白质语言模型，测试在训练数据中剔除病毒蛋白序列的过滤效果。 AISI 称，数据过滤本身不构成可靠的安全保障，因为被移除的能力可以较低成本恢复，即使其最大的模型恢复成本也不到 80 美元算力；且结果仅基于 ESM-2 这一个模型家族，能否推广到其他蛋白质模型尚不确定。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。