技术方向
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
48 条精选近 30 天 31 条共收录 166 条
日期栏展示收录日期，历史补录归入原文日期。
LiveKit 发布教程，介绍如何构建不会脱离既定脚本的语音智能体，并以酒店前台参考智能体为例贯穿全文。文章主张单一控制手段都不可靠，需在模型内外分层设防：结构化提示词划分身份与护栏、用确定性代码校验规则并限制工具调用步数、把工作拆成聚焦任务、在敏感操作前加验证与转人工，再叠加独立审核层和基于 LLM 评判的评测框架。作者强调提示词级防御对坚定攻击者较弱，真正的规则应在代码中强制执行。
推荐理由：原文给出语音智能体防跑偏的分层做法，从提示词结构到代码校验与独立审核，可迁移到自己的 Agent 项目。
OpenAI 发布 GPT-5.6 系统卡，将 Sol、Luna、Terra 三个模型在生物化学领域均按 High 能力处理，但未达到 Critical 阈值。
推荐理由：GPT-5.6 系统卡披露了生物化学能力分级与部署模拟方法，可了解前沿模型安全评估的具体做法。
OpenAI 发布 GPT-5.6 Preview 系统卡，将 GPT-5.6 家族三个成员 Sol、Luna、Terra 在生物化学领域全部按 High 能力处理，但均未达到 Critical 阈值。
推荐理由：系统卡披露了 GPT-5.6 家族在生物化学与网络安全能力上的分级评估和部署模拟方法，可供了解前沿模型安全评估流程。
OpenAI 发现，在真实场景中对有益特质做强化学习，能在数十个衡量对齐与有益行为的基准上带来广泛提升，且这些收益可泛化到训练领域之外并在对抗压力下保持。研究构建了覆盖健康、教育、科学、法律、工程、经济等领域的合成对话数据集，用于测量和训练诚实、认知谦逊、元认知透明、可纠正性、普遍公平和关心人类福祉等特质。
推荐理由：OpenAI 用真实场景 RL 训练有益特质，展示对齐能力可跨域泛化并在对抗压力下保持。
OpenAI 对齐研究团队验证了用公开数据集 WildChat 模拟模型部署，能否预测真实生产环境中的失准率。结果显示，对 GPT-5.1、5.2、5.4 等模型，WildChat 预测的生产失准率平均误差约 3 倍，95% 的预测落在真实率 1.04 个数量级内，且能捕捉模型特有的失准模式如 GPT-5.1 Thinking 的计算器作弊。
推荐理由：OpenAI 用私有生产数据验证公开聊天数据集能否预测真实部署中的失准率，并指出智能体场景的预测边界。
Goodfire Research 发布预测性数据调试研究，可在训练前预测 DPO 会放大或抑制哪些行为，预测结果与实际学习效果的 R² 达 0.9，并能追溯到具体数据点。
推荐理由：Goodfire 提出在训练前预测偏好数据会放大或抑制哪些行为，并给出多个真实数据集的意外案例。
OpenAI 披露，其新检测系统发现 GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini 和 GPT-5.4 mini 的部分 RL 训练曾意外对 CoT 评分，GPT-5.5 未受影响。
推荐理由：OpenAI 公开了 CoT 评分事故的检测系统、影响范围与消融实验，可了解 CoT 可监控性在真实 RL 流程中的脆弱边界。
OpenAI 发布 Auto-review 研究，用独立的 Codex 智能体在沙箱边界审批越界操作，替代用户逐次授权。内部部署中 Codex 会话需人工审批的频率比手动模式降低约 200 倍，Auto-review 对需审查操作批准约 99%，在提示注入合成评测中拒绝率 99.3%、过度主动场景 90.3%、MonitoringBench 困难集 96.1%。
推荐理由：OpenAI 公开 Auto-review 的内部部署数据与安全评测，可了解用独立智能体替代人工审批的取舍。