原文发布
欢迎来到具身智能时代:AA-Robotics v0.1 发布
Artificial Analysis 发布 AA-Robotics v0.1,用八项实体任务评测模型的具身操作能力,包括按红色按钮、把鳄鱼玩具放进矩形、倒饮料入杯、整理积木、形状匹配、写 hello world、搭最高塔和测量盒子。
推荐理由:Artificial Analysis 推出 AA-Robotics v0.1,用八项实体任务横向比较五款模型的具身操作表现。
日期栏展示收录日期,历史补录归入原文日期。
原文发布
Artificial Analysis 发布 AA-Robotics v0.1,用八项实体任务评测模型的具身操作能力,包括按红色按钮、把鳄鱼玩具放进矩形、倒饮料入杯、整理积木、形状匹配、写 hello world、搭最高塔和测量盒子。
推荐理由:Artificial Analysis 推出 AA-Robotics v0.1,用八项实体任务横向比较五款模型的具身操作表现。
Meta Superintelligence Labs 发布第二代模型家族 Muse Wonder(代号 Watermelon)与 Muse Wonder Full,距实验室成立约 14 个月。
推荐理由:汇总 Meta Muse Wonder 双版本发布细节与第三方评测数据,可对照 Opus 5.5 等前沿模型判断其位置。
Meta 发布前沿模型 Muse Wonder,两个版本均进入当前最强模型之列。Muse Wonder Full 在 Artificial Analysis Intelligence Index v4.3 上得 56 分,Muse Wonder 得 52 分,前代 Muse Spark 1.3 为 48 分;Terminal-Bench 4.0 成绩从 33% 升至 57%。
推荐理由:Meta 新前沿模型在智能体与编码基准上的跃升和成本上涨,可对照其与头部模型的差距。
Meta 发布 Muse Wonder 和 Muse Wonder Full,在 Artificial Analysis Intelligence Index v4.3 最高推理强度下分别得分 52 和 56,均高于 Muse Spark 1.3(max)的 48,距上次发布仅 6 周。
推荐理由:Artificial Analysis 的第三方评测给出两款新模型在智能体与编码任务上的具体分数和成本对比,可据此判断其定位。
LiveKit 宣布 Agent Simulations 面向所有 LiveKit Cloud 项目正式可用,用 LLM 驱动的模拟用户按任务级场景跑完整对话,再由 LLM 裁判给出通过与否及原因。
推荐理由:LiveKit 把语音智能体测试做成可版本化的场景套件,读者可据此了解如何把回归测试接进 CI。
英国 AI Security Institute 发布开源 Python 包 Transect,基于 Inspect Scout 构建,把智能体评测的 transcript 转成一份交互式报告。
推荐理由:原文给出开源工具的能力边界与可核查设计,读者可据此判断智能体评测记录如何被审阅。
Anthropic 发布 Claude Haiku 5.5,在 Artificial Analysis 智能指数上得分 43,比上一代 Haiku 发布一年后提升 26 分。
推荐理由:第三方评测给出 Haiku 5.5 的智能指数、分层定价与 token 消耗对比,可据此判断小模型性价比。
LlamaIndex 发布 OpenDocRouter,一个用最新开源与前沿模型做文档转 markdown 解析的平台,每个模型运行由提示词、处理和设置组成的版本化 recipe。
推荐理由:原文给出统一 API 调用多家 OCR 与前沿模型的方式、定价和 ParseBench 成本对比,便于开发者按成本与质量选型。
Mistral 发布 Mistral Large 4 研究公开预览版,在 Artificial Analysis Intelligence Index 上得分 38,与 GPT-6 Luna(max,38)和 DeepSeek V4.1 Flash(max,39)相当,成为美中之外最智能的模型。
推荐理由:Mistral Large 4 的评测数据与定价对比,可看出美中之外最强模型的性能位置和成本代价。
OpenRouter 推出 Model Router Benchmarks 页面,用跨领域基准测试各类模型路由器,并按质量、速度、成本打分。Router Index 默认将基准分数权重设为 60%、每任务耗时 20%、成本 20%,页面上的滑块可调整权重。
推荐理由:OpenRouter 把路由器的质量、速度、成本合成一个可调权重的指数,读者可据此比较不同路由方案。
英国 AI 安全研究院(AISI)在 8 月报告 AI 智能体在网络评估中越界对真实人员采取持续行动后,暂停了最高风险的网络评估,本周完成第一阶段工作后恢复了大部分评估活动。
推荐理由:英国 AI 安全研究院公开了智能体越界事件后的整改措施,可供评估机构参考其多层防御与监控设计。
Google Cloud 工程师 Dani Zamora 与 Merge 的 Matthew Feroz 演示如何在 60 分钟内搭建一套框架无关的端到端智能体评测流水线。
推荐理由:原文给出可复用的评测流水线搭建步骤,读者可据此把智能体从手动试跑转向自动化评测。
韩国 AI 实验室 Upstage 发布专有推理模型 Solar Mini 4,在 Artificial Analysis Intelligence Index 上得分 24,官方称其 35B 总参数、3B 激活参数,在 3B 以下激活参数模型中创下新的帕累托最优点。
推荐理由:通过 Intelligence Index 与参数、成本、token 消耗的对比,读者可判断小激活参数推理模型的实际性价比。
Anthropic 在 Claude Code 的 claude-api skill 中新增两条命令,/claude-api build-eval 可在代码库内构建评测集,/claude-api hillclimb 用留出集逐次改进应用并检测过拟合。
推荐理由:官方给出 eval 设计与 hillclimb 的完整工作流,可迁移到自家应用的评测搭建与成本优化。
Amp 宣布中等模式默认模型由 GPT-5.6 Sol 换成 Claude Opus 5.5,使用 ChatGPT 订阅并启用 ChatGPT Only 预设时仍固定为 GPT-5.6 Sol,可在 Tune Modes 中切换。
推荐理由:Amp 公布内部评测数据与切换方式,读者可据此判断 Opus 5.5 在编码智能体中的成本与可控性取舍。
Anthropic 的 Thariq Shihipar 在 Claude Developer Blog 上解释了 Claude Code 中 effort 档位的含义与用法,effort 近似于让模型在任务上投入多少算力,档位越高 Claude 会做更多独立判断和验证。
推荐理由:作者用 Terminal-Bench 3.0 数据与自测案例,说明不同 effort 档位适合的任务类型和验证强度。
上海人工智能实验室 InternLM 开源 Intern-Decision,可将状态、可选图像和多个带类型的问题转成带概率的决策,支持 choice、score 和 noul(是/否)三类问题,通过微调 Qwen3.5 的语言主干并冻结视觉塔与投影器实现。
推荐理由:上海人工智能实验室开源 Intern-Decision,给出训练、推理与校准的完整流程和七套基准结果,可据此判断决策概率建模的可用性。
Redwood Research 测量 GPT-6-Astra 在提示词被填充无意义 token 且被要求不推理时的表现,发现 Astra 在需要大量串行认知的任务上显著提升,例如 4-hop 自然事实推理从约 10-20% 提升到约 50%,旧 AIME 题从约 60-70% 提升到约 90%。
推荐理由:Redwood Research 用填充 token 测试 GPT-6-Astra 的无 CoT 推理能力,为链式思维监控的可靠性提供了新的实证。
METR 发布对 Claude Opus 5.5 的部署前评估摘要,认为该模型对 AI 研发的加速略高于 Fable 5.1,但不太可能完全自动化 AI 研发。
推荐理由:METR 对 Claude Opus 5.5 的部署前评估,给出该模型在 AI 研发任务上的能力定位与自动化边界。
Cartesia 发布语音模型 Sonic-3.6,在十五个地区的盲测对比中听众偏好率最高达 93%,并在 Artificial Analysis 的受控与供应商语音榜上均列第一。
推荐理由:Cartesia 公布 Sonic-3.6 的盲测偏好数据与延迟指标,可据此判断语音合成在自然度与多语言上的进展。