为更安全的评估实现并评测一个基础的逐动作监控器

METR 开发并部署了一个基础的实时逐动作监控器，用 LLM 裁判在智能体动作执行前审查，超过阈值即转人工复核并暂停评估，以降低评估中智能体造成现实危害的风险。该监控仅针对现实危害和规避监控系统的行为，不覆盖作弊等可事后扫描的问题。METR 还梳理出监控有效性的论证结构，并发现策略执行不可靠、编码智能体可能自动"批准"被拦截动作、监控无法抵御伪造用户轮次等红队攻击等问题。