使用 Claude Code:如何分配 effort
Anthropic 的 Thariq Shihipar 在 Claude Developer Blog 上解释了 Claude Code 中 effort 档位的含义与用法,effort 近似于让模型在任务上投入多少算力,档位越高 Claude 会做更多独立判断和验证。
推荐理由:作者用 Terminal-Bench 3.0 数据与自测案例,说明不同 effort 档位适合的任务类型和验证强度。
日期栏展示收录日期,历史补录归入原文日期。
Anthropic 的 Thariq Shihipar 在 Claude Developer Blog 上解释了 Claude Code 中 effort 档位的含义与用法,effort 近似于让模型在任务上投入多少算力,档位越高 Claude 会做更多独立判断和验证。
推荐理由:作者用 Terminal-Bench 3.0 数据与自测案例,说明不同 effort 档位适合的任务类型和验证强度。
上海人工智能实验室 InternLM 开源 Intern-Decision,可将状态、可选图像和多个带类型的问题转成带概率的决策,支持 choice、score 和 noul(是/否)三类问题,通过微调 Qwen3.5 的语言主干并冻结视觉塔与投影器实现。
推荐理由:上海人工智能实验室开源 Intern-Decision,给出训练、推理与校准的完整流程和七套基准结果,可据此判断决策概率建模的可用性。
Factory 的 Legacy-Bench 加入 Fireworks 的 Specialized Intelligence Index(SII),用于评测前沿模型在 COBOL、Java 7、BASIC、C89、Fortran 和 Assembly 上的调试、实现与迁移能力。
SemiAnalysis 发布 ClusterMAX 3.0,对 77 家 neocloud 厂商做全面评测,市场覆盖范围从 2.0 版的 209 家扩大到 323 家。
Redwood Research 测量 GPT-6-Astra 在提示词被填充无意义 token 且被要求不推理时的表现,发现 Astra 在需要大量串行认知的任务上显著提升,例如 4-hop 自然事实推理从约 10-20% 提升到约 50%,旧 AIME 题从约 60-70% 提升到约 90%。
推荐理由:Redwood Research 用填充 token 测试 GPT-6-Astra 的无 CoT 推理能力,为链式思维监控的可靠性提供了新的实证。
METR 发布对 Claude Opus 5.5 的部署前评估摘要,认为该模型对 AI 研发的加速略高于 Fable 5.1,但不太可能完全自动化 AI 研发。
推荐理由:METR 对 Claude Opus 5.5 的部署前评估,给出该模型在 AI 研发任务上的能力定位与自动化边界。
OpenAI 的 GPT-6 Sol 与 Anthropic 的 Claude Opus 5.5 同日发布,Every 基于日常工作的实测与评测对两者进行对比,回答该用哪一个的问题。文章称两个模型之间存在一个明确的取舍,但完整内容需订阅后阅读。
Nathan Lambert 发布其向美国国会议员及幕僚做简报的讲稿,梳理开源权重模型在中美竞争中的现状。
Every 评测负责人撰文介绍如何为个人工作搭建私有 AI 基准,以判断哪个模型更适合自己的任务。文章引用 Wharton 教授 Ethan Mollick 的观点,指出 MMLU-Pro 等热门基准考的是 Homo erectus 颅容量、Cheap Trick 1979 年现场专辑名这类知识,方向上有用但回答不了模型能否帮上你的工作。
Browser Use 与 Browserbase 的对比显示,Browser Use 浏览器小时单价 0.02 美元、代理 5 美元/GB,比 Browserbase 的 0.10-0.12 美元/小时和 10-12 美元/GB 分别便宜约 5 倍和 2 倍。
Redwood Research 发现 CoTControl 评测存在严重的提示词挖掘不足问题:用 Claude Opus 4.6 迭代优化提示词后,开源模型表现提升约 2-3 倍,GPT-OSS-120B 从 5.5% 升至 15%。
上海人工智能实验室发布科学文档理解基准 SciDocBench,含 124 道人工设计题目、7 大能力组与 19 个子任务,覆盖 5 个科学领域和中英文两种语言,共 496 个评测实例。
文章用 RAG 检索的 top_k 取值说明 Precision 与 Recall 的权衡:取 3 个 chunk 精度高但漏掉相关内容,取 50 个则召回高但混入大量无关内容。
Every 发布对 GPT-6 Astra 的 Vibe Check 评测,指出它是一次大幅升级,但也有一些坏习惯。该评测的初稿由 GPT-6 Astra 根据单条提示词生成,Every 联合创始人兼 CEO Dan Shipper 起初以为初稿是作者本人所写。
Cartesia 发布语音模型 Sonic-3.6,在十五个地区的盲测对比中听众偏好率最高达 93%,并在 Artificial Analysis 的受控与供应商语音榜上均列第一。
推荐理由:Cartesia 公布 Sonic-3.6 的盲测偏好数据与延迟指标,可据此判断语音合成在自然度与多语言上的进展。
AISI 开源 Python 包 optstop,可接入其 Inspect 评估框架,在模型性能估计足够精确时提前停止评估运行。测试中,optstop 在设定的每种条件下节省了 57% 至 97% 的计划运行量。它通过跟踪可信区间,按精度和稳定化两条规则停止采样,并在估计成功率低于 1% 时要求更多数据。
Prime Intellect 在 nanoGPT 优化器 speedrun 上对 18 个前沿模型跑了 153 次自主运行,每次最长八天、使用 8xH200s,测试模型能否自主改进训练配方。
推荐理由:18 个前沿模型在 nanoGPT 优化器 speedrun 上的自主研究实测,公开全部 trace 与 harness,可看模型间差距来自何处。
Cartesia 发文拆解 TTS 模型评测为何困难:语音合成是"一对多"映射,同一句文本可对应兴奋、愤怒、悲伤、讽刺等多种正确读法。WER 虽是最常用指标,但会随可懂度提升而饱和,且受 ASR 质量牵制,难以区分感知质量差异。此外还需评估上下文正确性(如 read、lead、Polish 等多音词)与文本规范化(如 "$1.05"、"3/4"、"IV")等层面的错误。
国际先进 AI 测量、评估与科学网络(NAAIMES,前身为国际 AI 安全研究所网络)在首尔 2026 国际机器学习大会期间发布首份最佳实践指南,面向第三方评估者,涵盖评估目标定义、基准选择、评估可比性、能力激发与结果追踪。新加坡、加拿大、法国等成员机构还分别就 AI 系统测试、评估信息共享与资源有限时的优先级发表文章。网络下一步将聚焦智能体能力,推进更多最佳实践。
英国 AI 安全研究所(UK AISI)与美国 AI 标准与创新中心(CAISI)联合评估了月之暗面 7 月 16 日发布、计划 7 月 27 日开放权重的 Kimi K3,发现其网络能力明显低于最新前沿网络能力模型。
推荐理由:英国 AISI 与美国 CAISI 联合评测 Kimi K3 的网络攻击能力,给出与前沿模型的具体差距数据。
Cartesia 发布面向实时语音智能体的语音转文字模型 Ink-2,据 2026 年 6 月 Artificial Analysis 流式榜单,其词错误率最低排名第一。
推荐理由:原文给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据,读者可据此判断实时语音智能体的选型。
OpenAI 对齐研究团队验证了用公开数据集 WildChat 模拟模型部署,能否预测真实生产环境中的失准率。结果显示,对 GPT-5.1、5.2、5.4 等模型,WildChat 预测的生产失准率平均误差约 3 倍,95% 的预测落在真实率 1.04 个数量级内,且能捕捉模型特有的失准模式如 GPT-5.1 Thinking 的计算器作弊。
推荐理由:OpenAI 用私有生产数据验证公开聊天数据集能否预测真实部署中的失准率,并指出智能体场景的预测边界。