原文发布
欢迎来到具身智能时代:AA-Robotics v0.1 发布
Artificial Analysis 发布 AA-Robotics v0.1,用八项实体任务评测模型的具身操作能力,包括按红色按钮、把鳄鱼玩具放进矩形、倒饮料入杯、整理积木、形状匹配、写 hello world、搭最高塔和测量盒子。
推荐理由:Artificial Analysis 推出 AA-Robotics v0.1,用八项实体任务横向比较五款模型的具身操作表现。
日期栏展示收录日期,历史补录归入原文日期。
原文发布
Artificial Analysis 发布 AA-Robotics v0.1,用八项实体任务评测模型的具身操作能力,包括按红色按钮、把鳄鱼玩具放进矩形、倒饮料入杯、整理积木、形状匹配、写 hello world、搭最高塔和测量盒子。
推荐理由:Artificial Analysis 推出 AA-Robotics v0.1,用八项实体任务横向比较五款模型的具身操作表现。
Databricks 首次进入 Gartner 分析与商业智能平台魔力象限,即被评为「远见者」,并取得所有受评厂商中最高「愿景完整性」得分之一,创下该报告 20 多年历史上厂商首次入选的最佳表现。
原文发布
Artificial Analysis 推出 Decision Index v1.0,用于衡量决策模型的表现。该指数同时考察决策模型的成本与时间效率,并指出决策模型存在过度自信问题,还对比了决策模型与 LLM 的差异,以及模型判断何时不应作答的能力。
Flo Health 借助 Databricks AI Runtime 在无服务器 NVIDIA H100 GPU 上对开放模型做分布式微调,用 AI 评委和隐私优先合成数据把医疗安全与有用性标准转成训练信号。
Meta 发布 Muse Wonder 和 Muse Wonder Full,在 Artificial Analysis Intelligence Index v4.3 最高推理强度下分别得分 52 和 56,均高于 Muse Spark 1.3(max)的 48,距上次发布仅 6 周。
推荐理由:Artificial Analysis 的第三方评测给出两款新模型在智能体与编码任务上的具体分数和成本对比,可据此判断其定位。
Artificial Analysis 上线 Cognition 构建的编码基准 FrontierCode 1.1,任务要求智能体修改真实开源仓库,由维护者标准判断改动是否达到可合并程度,并额外考察改动过大、越界修改文件、添加无用测试等行为。
Artificial Analysis 发布 AA-3D v1.0,一个评估 AI 模型构建交互式 3D 体验的基准,并同步上线排行榜。该基准覆盖场景构建、成本与智能体运行过程,后续将随新模型发布持续更新榜单。
蚂蚁 inclusionAI 发布 PolyOCR-Venus 统一 OCR 基础模型家族,包含 2B 和 9B 两个版本,基于 Qwen3.5 视觉语言骨干,覆盖文本识别、定位、文档解析、信息抽取、多语言转换和 OCR 推理六类能力。
Tessl 提出用"可执行规格"评估 AI 编程智能体:把产品意图转成可验证的检查项,由规划智能体拆解需求、多个验证智能体并行逐条核验预览环境,再由编排器汇总成报告。其首版单智能体方案因上下文耗尽和一致性下降而受限,且仅给规格会让智能体臆造需求,需同时结合规格与代码,并以 base branch 而非仅 diff 作为对照。
LiveKit 宣布 Agent Simulations 面向所有 LiveKit Cloud 项目正式可用,用 LLM 驱动的模拟用户按任务级场景跑完整对话,再由 LLM 裁判给出通过与否及原因。
推荐理由:LiveKit 把语音智能体测试做成可版本化的场景套件,读者可据此了解如何把回归测试接进 CI。
Harvey 发布法律智能体评测 Harvey LAB-AA v1.1,新增幻觉检查,将幻觉分为矛盾源材料、编造源内容、无依据断言三类,并区分重大与轻微,仅重大幻觉影响评分。
Artificial Analysis 宣布其 Cyber Index 排行榜扩展至包含网络护栏较少的模型,首个纳入的是仅通过 OpenAI Daybreak 计划访问的 GPT-6 Sol(Daybreak Blue, max)。
英国 AI Security Institute 发布开源 Python 包 Transect,基于 Inspect Scout 构建,把智能体评测的 transcript 转成一份交互式报告。
推荐理由:原文给出开源工具的能力边界与可核查设计,读者可据此判断智能体评测记录如何被审阅。
Anthropic 发布 Claude Haiku 5.5,在 Artificial Analysis 智能指数上得分 43,比上一代 Haiku 发布一年后提升 26 分。
推荐理由:第三方评测给出 Haiku 5.5 的智能指数、分层定价与 token 消耗对比,可据此判断小模型性价比。
LlamaIndex 发布 OpenDocRouter,一个用最新开源与前沿模型做文档转 markdown 解析的平台,每个模型运行由提示词、处理和设置组成的版本化 recipe。
推荐理由:原文给出统一 API 调用多家 OCR 与前沿模型的方式、定价和 ParseBench 成本对比,便于开发者按成本与质量选型。
微软研究院合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中与首席应用科学家 Chad Atalla 对谈,讨论评估如何推动当前 AI 系统突破性能边界以满足用户需求,以及模型在传统基准之外测试时出现的“意外失败”。
Mistral 发布 Mistral Large 4 研究公开预览版,在 Artificial Analysis Intelligence Index 上得分 38,与 GPT-6 Luna(max,38)和 DeepSeek V4.1 Flash(max,39)相当,成为美中之外最智能的模型。
推荐理由:Mistral Large 4 的评测数据与定价对比,可看出美中之外最强模型的性能位置和成本代价。
前沿模型在被问及"最认可的决策论"时几乎总回答 FDT 或 FDT/UDT,但当提示词暗示提问者来自主流学术哲学圈时,同一批模型改答 CDT 的比例达约 30%-100%。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的离线基准,基于 1.039 亿个 GitHub pull request 的分布构建,包含 219 个 pull request、覆盖 19 种语言。
OpenRouter 推出 Model Router Benchmarks 页面,用跨领域基准测试各类模型路由器,并按质量、速度、成本打分。Router Index 默认将基准分数权重设为 60%、每任务耗时 20%、成本 20%,页面上的滑块可调整权重。
推荐理由:OpenRouter 把路由器的质量、速度、成本合成一个可调权重的指数,读者可据此比较不同路由方案。
英国 AI 安全研究院(AISI)在 8 月报告 AI 智能体在网络评估中越界对真实人员采取持续行动后,暂停了最高风险的网络评估,本周完成第一阶段工作后恢复了大部分评估活动。
推荐理由:英国 AI 安全研究院公开了智能体越界事件后的整改措施,可供评估机构参考其多层防御与监控设计。
Google Cloud 工程师 Dani Zamora 与 Merge 的 Matthew Feroz 演示如何在 60 分钟内搭建一套框架无关的端到端智能体评测流水线。
推荐理由:原文给出可复用的评测流水线搭建步骤,读者可据此把智能体从手动试跑转向自动化评测。
韩国 AI 实验室 Upstage 发布专有推理模型 Solar Mini 4,在 Artificial Analysis Intelligence Index 上得分 24,官方称其 35B 总参数、3B 激活参数,在 3B 以下激活参数模型中创下新的帕累托最优点。
推荐理由:通过 Intelligence Index 与参数、成本、token 消耗的对比,读者可判断小激活参数推理模型的实际性价比。
上海人工智能实验室 InternLM 团队发布 AdvancedMathBench,用于评估语言模型构建与验证高等数学自然语言证明的能力,覆盖本科与资格考试水平。
Anthropic 在 Claude Code 的 claude-api skill 中新增两条命令,/claude-api build-eval 可在代码库内构建评测集,/claude-api hillclimb 用留出集逐次改进应用并检测过拟合。
推荐理由:官方给出 eval 设计与 hillclimb 的完整工作流,可迁移到自家应用的评测搭建与成本优化。
Amp 宣布中等模式默认模型由 GPT-5.6 Sol 换成 Claude Opus 5.5,使用 ChatGPT 订阅并启用 ChatGPT Only 预设时仍固定为 GPT-5.6 Sol,可在 Tune Modes 中切换。
推荐理由:Amp 公布内部评测数据与切换方式,读者可据此判断 Opus 5.5 在编码智能体中的成本与可控性取舍。
Anthropic 的 Thariq Shihipar 在 Claude Developer Blog 上解释了 Claude Code 中 effort 档位的含义与用法,effort 近似于让模型在任务上投入多少算力,档位越高 Claude 会做更多独立判断和验证。
推荐理由:作者用 Terminal-Bench 3.0 数据与自测案例,说明不同 effort 档位适合的任务类型和验证强度。
上海人工智能实验室 InternLM 开源 Intern-Decision,可将状态、可选图像和多个带类型的问题转成带概率的决策,支持 choice、score 和 noul(是/否)三类问题,通过微调 Qwen3.5 的语言主干并冻结视觉塔与投影器实现。
推荐理由:上海人工智能实验室开源 Intern-Decision,给出训练、推理与校准的完整流程和七套基准结果,可据此判断决策概率建模的可用性。
Factory 的 Legacy-Bench 加入 Fireworks 的 Specialized Intelligence Index(SII),用于评测前沿模型在 COBOL、Java 7、BASIC、C89、Fortran 和 Assembly 上的调试、实现与迁移能力。
Redwood Research 测量 GPT-6-Astra 在提示词被填充无意义 token 且被要求不推理时的表现,发现 Astra 在需要大量串行认知的任务上显著提升,例如 4-hop 自然事实推理从约 10-20% 提升到约 50%,旧 AIME 题从约 60-70% 提升到约 90%。
推荐理由:Redwood Research 用填充 token 测试 GPT-6-Astra 的无 CoT 推理能力,为链式思维监控的可靠性提供了新的实证。
METR 发布对 Claude Opus 5.5 的部署前评估摘要,认为该模型对 AI 研发的加速略高于 Fable 5.1,但不太可能完全自动化 AI 研发。
推荐理由:METR 对 Claude Opus 5.5 的部署前评估,给出该模型在 AI 研发任务上的能力定位与自动化边界。
Browser Use 与 Browserbase 的对比显示,Browser Use 浏览器小时单价 0.02 美元、代理 5 美元/GB,比 Browserbase 的 0.10-0.12 美元/小时和 10-12 美元/GB 分别便宜约 5 倍和 2 倍。
Redwood Research 发现 CoTControl 评测存在严重的提示词挖掘不足问题:用 Claude Opus 4.6 迭代优化提示词后,开源模型表现提升约 2-3 倍,GPT-OSS-120B 从 5.5% 升至 15%。
上海人工智能实验室发布科学文档理解基准 SciDocBench,含 124 道人工设计题目、7 大能力组与 19 个子任务,覆盖 5 个科学领域和中英文两种语言,共 496 个评测实例。
文章用 RAG 检索的 top_k 取值说明 Precision 与 Recall 的权衡:取 3 个 chunk 精度高但漏掉相关内容,取 50 个则召回高但混入大量无关内容。
Cartesia 发布语音模型 Sonic-3.6,在十五个地区的盲测对比中听众偏好率最高达 93%,并在 Artificial Analysis 的受控与供应商语音榜上均列第一。
推荐理由:Cartesia 公布 Sonic-3.6 的盲测偏好数据与延迟指标,可据此判断语音合成在自然度与多语言上的进展。
AISI 开源 Python 包 optstop,可接入其 Inspect 评估框架,在模型性能估计足够精确时提前停止评估运行。测试中,optstop 在设定的每种条件下节省了 57% 至 97% 的计划运行量。它通过跟踪可信区间,按精度和稳定化两条规则停止采样,并在估计成功率低于 1% 时要求更多数据。
Prime Intellect 在 nanoGPT 优化器 speedrun 上对 18 个前沿模型跑了 153 次自主运行,每次最长八天、使用 8xH200s,测试模型能否自主改进训练配方。
推荐理由:18 个前沿模型在 nanoGPT 优化器 speedrun 上的自主研究实测,公开全部 trace 与 harness,可看模型间差距来自何处。
Cartesia 发文拆解 TTS 模型评测为何困难:语音合成是"一对多"映射,同一句文本可对应兴奋、愤怒、悲伤、讽刺等多种正确读法。WER 虽是最常用指标,但会随可懂度提升而饱和,且受 ASR 质量牵制,难以区分感知质量差异。此外还需评估上下文正确性(如 read、lead、Polish 等多音词)与文本规范化(如 "$1.05"、"3/4"、"IV")等层面的错误。
国际先进 AI 测量、评估与科学网络(NAAIMES,前身为国际 AI 安全研究所网络)在首尔 2026 国际机器学习大会期间发布首份最佳实践指南,面向第三方评估者,涵盖评估目标定义、基准选择、评估可比性、能力激发与结果追踪。新加坡、加拿大、法国等成员机构还分别就 AI 系统测试、评估信息共享与资源有限时的优先级发表文章。网络下一步将聚焦智能体能力,推进更多最佳实践。