跳到正文

日期栏展示收录日期,历史补录归入原文日期。

9月25日周五
  1. Claude Developer Blog62

    使用 Claude Code:如何分配 effort

    Anthropic 的 Thariq Shihipar 在 Claude Developer Blog 上解释了 Claude Code 中 effort 档位的含义与用法,effort 近似于让模型在任务上投入多少算力,档位越高 Claude 会做更多独立判断和验证。

    推荐理由:作者用 Terminal-Bench 3.0 数据与自测案例,说明不同 effort 档位适合的任务类型和验证强度。

  2. 上海人工智能实验室 InternLM · 新项目62

    InternLM 开源 Intern-Decision:把状态与多类型问题转成带概率的决策

    上海人工智能实验室 InternLM 开源 Intern-Decision,可将状态、可选图像和多个带类型的问题转成带概率的决策,支持 choice、score 和 noul(是/否)三类问题,通过微调 Qwen3.5 的语言主干并冻结视觉塔与投影器实现。

    推荐理由:上海人工智能实验室开源 Intern-Decision,给出训练、推理与校准的完整流程和七套基准结果,可据此判断决策概率建模的可用性。

9月24日周四
9月23日周三
  1. Redwood Research78

    Astra 用填充 token 推理的能力远超前代模型

    Redwood Research 测量 GPT-6-Astra 在提示词被填充无意义 token 且被要求不推理时的表现,发现 Astra 在需要大量串行认知的任务上显著提升,例如 4-hop 自然事实推理从约 10-20% 提升到约 50%,旧 AIME 题从约 60-70% 提升到约 90%。

    推荐理由:Redwood Research 用填充 token 测试 GPT-6-Astra 的无 CoT 推理能力,为链式思维监控的可靠性提供了新的实证。

9月22日周二
9月21日周一
  1. Every60

    如何创建你自己的个人 AI 基准

    Every 评测负责人撰文介绍如何为个人工作搭建私有 AI 基准,以判断哪个模型更适合自己的任务。文章引用 Wharton 教授 Ethan Mollick 的观点,指出 MMLU-Pro 等热门基准考的是 Homo erectus 颅容量、Cheap Trick 1979 年现场专辑名这类知识,方向上有用但回答不了模型能否帮上你的工作。

9月12日周六
9月4日周五
  1. 上海人工智能实验室 InternLM · 新项目36

    InternLM/SciDocBench

    上海人工智能实验室发布科学文档理解基准 SciDocBench,含 124 道人工设计题目、7 大能力组与 19 个子任务,覆盖 5 个科学领域和中英文两种语言,共 496 个评测实例。

9月3日周四
8月27日周四
  1. Cartesia Blog62

    Cartesia 发布 Sonic-3.6 语音模型

    Cartesia 发布语音模型 Sonic-3.6,在十五个地区的盲测对比中听众偏好率最高达 93%,并在 Artificial Analysis 的受控与供应商语音榜上均列第一。

    推荐理由:Cartesia 公布 Sonic-3.6 的盲测偏好数据与延迟指标,可据此判断语音合成在自然度与多语言上的进展。

  2. UK AI Security Institute37

    Optimal stopping: spending evaluation compute where it counts

    AISI 开源 Python 包 optstop,可接入其 Inspect 评估框架,在模型性能估计足够精确时提前停止评估运行。测试中,optstop 在设定的每种条件下节省了 57% 至 97% 的计划运行量。它通过跟踪可信区间,按精度和稳定化两条规则停止采样,并在估计成功率低于 1% 时要求更多数据。

8月15日周六
  1. Prime Intellect Blog71

    Measuring Autonomous AI Research

    Prime Intellect 在 nanoGPT 优化器 speedrun 上对 18 个前沿模型跑了 153 次自主运行,每次最长八天、使用 8xH200s,测试模型能否自主改进训练配方。

    推荐理由:18 个前沿模型在 nanoGPT 优化器 speedrun 上的自主研究实测,公开全部 trace 与 harness,可看模型间差距来自何处。

7月28日周二
  1. Cartesia Blog22

    这个 TTS 模型好吗?

    Cartesia 发文拆解 TTS 模型评测为何困难:语音合成是"一对多"映射,同一句文本可对应兴奋、愤怒、悲伤、讽刺等多种正确读法。WER 虽是最常用指标,但会随可懂度提升而饱和,且受 ASR 质量牵制,难以区分感知质量差异。此外还需评估上下文正确性(如 read、lead、Polish 等多音词)与文本规范化(如 "$1.05"、"3/4"、"IV")等层面的错误。

7月23日周四
  1. UK AI Security Institute28

    AI 测量中的国际评估最佳实践与开放问题

    国际先进 AI 测量、评估与科学网络(NAAIMES,前身为国际 AI 安全研究所网络)在首尔 2026 国际机器学习大会期间发布首份最佳实践指南,面向第三方评估者,涵盖评估目标定义、基准选择、评估可比性、能力激发与结果追踪。新加坡、加拿大、法国等成员机构还分别就 AI 系统测试、评估信息共享与资源有限时的优先级发表文章。网络下一步将聚焦智能体能力,推进更多最佳实践。

  2. UK AI Security Institute62

    英国 AISI / CAISI 对 Kimi K3 网络能力的初步评估

    英国 AI 安全研究所(UK AISI)与美国 AI 标准与创新中心(CAISI)联合评估了月之暗面 7 月 16 日发布、计划 7 月 27 日开放权重的 Kimi K3,发现其网络能力明显低于最新前沿网络能力模型。

    推荐理由:英国 AISI 与美国 CAISI 联合评测 Kimi K3 的网络攻击能力,给出与前沿模型的具体差距数据。

7月9日周四
6月17日周三
  1. OpenAI Alignment Research62

    公开聊天数据能预测真实世界的 AI 失准吗?

    OpenAI 对齐研究团队验证了用公开数据集 WildChat 模拟模型部署,能否预测真实生产环境中的失准率。结果显示,对 GPT-5.1、5.2、5.4 等模型,WildChat 预测的生产失准率平均误差约 3 倍,95% 的预测落在真实率 1.04 个数量级内,且能捕捉模型特有的失准模式如 GPT-5.1 Thinking 的计算器作弊。

    推荐理由:OpenAI 用私有生产数据验证公开聊天数据集能否预测真实部署中的失准率,并指出智能体场景的预测边界。