跳到正文
热点事件历史事件

Artificial Analysis 上线 FrontierCode 编码基准

1 篇报道1 个报道来源4 天前更新

先了解这件事

AI 综述

Artificial Analysis 上线了由 Cognition 构建的编码基准 FrontierCode 1.1，并公布各模型排名。该基准要求智能体修改真实开源仓库，由维护者判断改动是否达到可合并程度，同时考察改动过大、越界修改文件、添加无用测试等行为。 任务不公开以避免污染，每个模型在 Artificial Analysis 的开源智能体框架 Stirrup 中运行，每次尝试上限 250 轮。该榜单目前独立发布，不计入 Artificial Analysis Intelligence Index，Artificial Analysis 称计划很快将其纳入其 Coding Agents 榜单。

AI 根据报道生成 · 2 天前更新

最新进展10月12日 08:00
Artificial Analysis 上线 FrontierCode：AI 模型写的代码维护者会合并吗？

报道时间线

沿着报道，了解事件的不同侧面。

10月12日
  1. Artificial Analysis
    Artificial Analysis 上线 FrontierCode：AI 模型写的代码维护者会合并吗？

    Artificial Analysis 上线 Cognition 构建的编码基准 FrontierCode 1.1，任务要求智能体修改真实开源仓库，由维护者标准判断改动是否达到可合并程度，并额外考察改动过大、越界修改文件、添加无用测试等行为。