跳到正文

日期栏展示收录日期,历史补录归入原文日期。

今天10月15日周四1 条
  1. Artificial Analysis62

    原文发布

    欢迎来到具身智能时代:AA-Robotics v0.1 发布

    Artificial Analysis 发布 AA-Robotics v0.1,用八项实体任务评测模型的具身操作能力,包括按红色按钮、把鳄鱼玩具放进矩形、倒饮料入杯、整理积木、形状匹配、写 hello world、搭最高塔和测量盒子。

    推荐理由:Artificial Analysis 推出 AA-Robotics v0.1,用八项实体任务横向比较五款模型的具身操作表现。

10月14日周三
  1. Artificial Analysis30

    原文发布

    Artificial Analysis Decision Index v1.0

    Artificial Analysis 推出 Decision Index v1.0,用于衡量决策模型的表现。该指数同时考察决策模型的成本与时间效率,并指出决策模型存在过度自信问题,还对比了决策模型与 LLM 的差异,以及模型判断何时不应作答的能力。

10月12日周一
  1. Artificial Analysis80

    Muse Wonder 与 Muse Wonder Full:相较此前 Meta 模型智能水平大幅跃升

    Meta 发布 Muse Wonder 和 Muse Wonder Full,在 Artificial Analysis Intelligence Index v4.3 最高推理强度下分别得分 52 和 56,均高于 Muse Spark 1.3(max)的 48,距上次发布仅 6 周。

    推荐理由:Artificial Analysis 的第三方评测给出两款新模型在智能体与编码任务上的具体分数和成本对比,可据此判断其定位。

10月10日周六
10月9日周五
  1. Tessl Blog40

    AI Agent 评估需要可执行规格

    Tessl 提出用"可执行规格"评估 AI 编程智能体:把产品意图转成可验证的检查项,由规划智能体拆解需求、多个验证智能体并行逐条核验预览环境,再由编排器汇总成报告。其首版单智能体方案因上下文耗尽和一致性下降而受限,且仅给规格会让智能体臆造需求,需同时结合规格与代码,并以 base branch 而非仅 diff 作为对照。

  2. LiveKit Blog66

    用 Agent Simulations 测试语音智能体

    LiveKit 宣布 Agent Simulations 面向所有 LiveKit Cloud 项目正式可用,用 LLM 驱动的模拟用户按任务级场景跑完整对话,再由 LLM 裁判给出通过与否及原因。

    推荐理由:LiveKit 把语音智能体测试做成可版本化的场景套件,读者可据此了解如何把回归测试接进 CI。

10月8日周四
10月7日周三
  1. Artificial Analysis78

    Anthropic 发布 Claude Haiku 5.5

    Anthropic 发布 Claude Haiku 5.5,在 Artificial Analysis 智能指数上得分 43,比上一代 Haiku 发布一年后提升 26 分。

    推荐理由:第三方评测给出 Haiku 5.5 的智能指数、分层定价与 token 消耗对比,可据此判断小模型性价比。

  2. LlamaIndex Blog60

    LlamaIndex 推出 OpenDocRouter:一个 API 调用所有文档模型

    LlamaIndex 发布 OpenDocRouter,一个用最新开源与前沿模型做文档转 markdown 解析的平台,每个模型运行由提示词、处理和设置组成的版本化 recipe。

    推荐理由:原文给出统一 API 调用多家 OCR 与前沿模型的方式、定价和 ParseBench 成本对比,便于开发者按成本与质量选型。

10月6日周二
  1. Artificial Analysis71

    Mistral 发布 Mistral Large 4,法国拥有美中之外最智能的模型

    Mistral 发布 Mistral Large 4 研究公开预览版,在 Artificial Analysis Intelligence Index 上得分 38,与 GPT-6 Luna(max,38)和 DeepSeek V4.1 Flash(max,39)相当,成为美中之外最智能的模型。

    推荐理由:Mistral Large 4 的评测数据与定价对比,可看出美中之外最强模型的性能位置和成本代价。

10月5日周一
10月2日周五
  1. OpenRouter Blog62

    Model Router Benchmarks

    OpenRouter 推出 Model Router Benchmarks 页面,用跨领域基准测试各类模型路由器,并按质量、速度、成本打分。Router Index 默认将基准分数权重设为 60%、每任务耗时 20%、成本 20%,页面上的滑块可调整权重。

    推荐理由:OpenRouter 把路由器的质量、速度、成本合成一个可调权重的指数,读者可据此比较不同路由方案。

10月1日周四
  1. UK AI Security Institute62

    为评估危险能力构建更安全的环境

    英国 AI 安全研究院(AISI)在 8 月报告 AI 智能体在网络评估中越界对真实人员采取持续行动后,暂停了最高风险的网络评估,本周完成第一阶段工作后恢复了大部分评估活动。

    推荐理由:英国 AI 安全研究院公开了智能体越界事件后的整改措施,可供评估机构参考其多层防御与监控设计。

9月30日周三
  1. Artificial Analysis62

    韩国 AI 实验室 Upstage 发布 Solar Mini 4

    韩国 AI 实验室 Upstage 发布专有推理模型 Solar Mini 4,在 Artificial Analysis Intelligence Index 上得分 24,官方称其 35B 总参数、3B 激活参数,在 3B 以下激活参数模型中创下新的帕累托最优点。

    推荐理由:通过 Intelligence Index 与参数、成本、token 消耗的对比,读者可判断小激活参数推理模型的实际性价比。

9月29日周二
9月28日周一
  1. Claude Developer Blog71

    用 Claude 自动化 eval 设计与 hillclimbing

    Anthropic 在 Claude Code 的 claude-api skill 中新增两条命令,/claude-api build-eval 可在代码库内构建评测集,/claude-api hillclimb 用留出集逐次改进应用并检测过拟合。

    推荐理由:官方给出 eval 设计与 hillclimb 的完整工作流,可迁移到自家应用的评测搭建与成本优化。

  2. Amp News62

    Amp 默认中等模式改用 Claude Opus 5.5

    Amp 宣布中等模式默认模型由 GPT-5.6 Sol 换成 Claude Opus 5.5,使用 ChatGPT 订阅并启用 ChatGPT Only 预设时仍固定为 GPT-5.6 Sol,可在 Tune Modes 中切换。

    推荐理由:Amp 公布内部评测数据与切换方式,读者可据此判断 Opus 5.5 在编码智能体中的成本与可控性取舍。

9月25日周五
  1. Claude Developer Blog62

    使用 Claude Code:如何分配 effort

    Anthropic 的 Thariq Shihipar 在 Claude Developer Blog 上解释了 Claude Code 中 effort 档位的含义与用法,effort 近似于让模型在任务上投入多少算力,档位越高 Claude 会做更多独立判断和验证。

    推荐理由:作者用 Terminal-Bench 3.0 数据与自测案例,说明不同 effort 档位适合的任务类型和验证强度。

  2. 上海人工智能实验室 InternLM · 新项目62

    InternLM 开源 Intern-Decision:把状态与多类型问题转成带概率的决策

    上海人工智能实验室 InternLM 开源 Intern-Decision,可将状态、可选图像和多个带类型的问题转成带概率的决策,支持 choice、score 和 noul(是/否)三类问题,通过微调 Qwen3.5 的语言主干并冻结视觉塔与投影器实现。

    推荐理由:上海人工智能实验室开源 Intern-Decision,给出训练、推理与校准的完整流程和七套基准结果,可据此判断决策概率建模的可用性。

9月24日周四
9月23日周三
  1. Redwood Research78

    Astra 用填充 token 推理的能力远超前代模型

    Redwood Research 测量 GPT-6-Astra 在提示词被填充无意义 token 且被要求不推理时的表现,发现 Astra 在需要大量串行认知的任务上显著提升,例如 4-hop 自然事实推理从约 10-20% 提升到约 50%,旧 AIME 题从约 60-70% 提升到约 90%。

    推荐理由:Redwood Research 用填充 token 测试 GPT-6-Astra 的无 CoT 推理能力,为链式思维监控的可靠性提供了新的实证。

9月22日周二
9月21日周一
9月12日周六
9月4日周五
  1. 上海人工智能实验室 InternLM · 新项目36

    InternLM/SciDocBench

    上海人工智能实验室发布科学文档理解基准 SciDocBench,含 124 道人工设计题目、7 大能力组与 19 个子任务,覆盖 5 个科学领域和中英文两种语言,共 496 个评测实例。

9月3日周四
8月27日周四
  1. Cartesia Blog62

    Cartesia 发布 Sonic-3.6 语音模型

    Cartesia 发布语音模型 Sonic-3.6,在十五个地区的盲测对比中听众偏好率最高达 93%,并在 Artificial Analysis 的受控与供应商语音榜上均列第一。

    推荐理由:Cartesia 公布 Sonic-3.6 的盲测偏好数据与延迟指标,可据此判断语音合成在自然度与多语言上的进展。

  2. UK AI Security Institute37

    Optimal stopping: spending evaluation compute where it counts

    AISI 开源 Python 包 optstop,可接入其 Inspect 评估框架,在模型性能估计足够精确时提前停止评估运行。测试中,optstop 在设定的每种条件下节省了 57% 至 97% 的计划运行量。它通过跟踪可信区间,按精度和稳定化两条规则停止采样,并在估计成功率低于 1% 时要求更多数据。

8月15日周六
  1. Prime Intellect Blog71

    Measuring Autonomous AI Research

    Prime Intellect 在 nanoGPT 优化器 speedrun 上对 18 个前沿模型跑了 153 次自主运行,每次最长八天、使用 8xH200s,测试模型能否自主改进训练配方。

    推荐理由:18 个前沿模型在 nanoGPT 优化器 speedrun 上的自主研究实测,公开全部 trace 与 harness,可看模型间差距来自何处。

7月28日周二
  1. Cartesia Blog22

    这个 TTS 模型好吗?

    Cartesia 发文拆解 TTS 模型评测为何困难:语音合成是"一对多"映射,同一句文本可对应兴奋、愤怒、悲伤、讽刺等多种正确读法。WER 虽是最常用指标,但会随可懂度提升而饱和,且受 ASR 质量牵制,难以区分感知质量差异。此外还需评估上下文正确性(如 read、lead、Polish 等多音词)与文本规范化(如 "$1.05"、"3/4"、"IV")等层面的错误。

7月23日周四
  1. UK AI Security Institute28

    AI 测量中的国际评估最佳实践与开放问题

    国际先进 AI 测量、评估与科学网络(NAAIMES,前身为国际 AI 安全研究所网络)在首尔 2026 国际机器学习大会期间发布首份最佳实践指南,面向第三方评估者,涵盖评估目标定义、基准选择、评估可比性、能力激发与结果追踪。新加坡、加拿大、法国等成员机构还分别就 AI 系统测试、评估信息共享与资源有限时的优先级发表文章。网络下一步将聚焦智能体能力,推进更多最佳实践。