公开聊天数据能预测真实世界的 AI 失准吗？
OpenAI 对齐研究团队验证了用公开数据集 WildChat 模拟模型部署，能否预测真实生产环境中的失准率。结果显示，对 GPT-5.1、5.2、5.4 等模型，WildChat 预测的生产失准率平均误差约 3 倍，95% 的预测落在真实率 1.04 个数量级内，且能捕捉模型特有的失准模式如 GPT-5.1 Thinking 的计算器作弊。
推荐理由：OpenAI 用私有生产数据验证公开聊天数据集能否预测真实部署中的失准率，并指出智能体场景的预测边界。