用 Claude 自动化 eval 设计与 hillclimbing
Anthropic 在 Claude Code 的 claude-api skill 中新增两条命令,/claude-api build-eval 可在代码库内构建评测集,/claude-api hillclimb 用留出集逐次改进应用并检测过拟合。
推荐理由:官方给出 eval 设计与 hillclimb 的完整工作流,可迁移到自家应用的评测搭建与成本优化。
内容形态
AI 产品与应用的功能上新、改版与商业化动态——谁家的产品变强了、变贵了、能用了。
59 条精选近 30 天 53 条共收录 211 条
日期栏展示收录日期,历史补录归入原文日期。
Anthropic 在 Claude Code 的 claude-api skill 中新增两条命令,/claude-api build-eval 可在代码库内构建评测集,/claude-api hillclimb 用留出集逐次改进应用并检测过拟合。
推荐理由:官方给出 eval 设计与 hillclimb 的完整工作流,可迁移到自家应用的评测搭建与成本优化。
NVIDIA 发布 Open Agent Safety Platform,由开源软件 OpenShell 与 Sentry 参考系统设计组成,为智能体提供全栈治理与控制。
推荐理由:NVIDIA 把智能体安全边界从模型层挪到运行时与硬件层,读者可据此判断企业级智能体治理的落地路径。
Amp 宣布中等模式默认模型由 GPT-5.6 Sol 换成 Claude Opus 5.5,使用 ChatGPT 订阅并启用 ChatGPT Only 预设时仍固定为 GPT-5.6 Sol,可在 Tune Modes 中切换。
推荐理由:Amp 公布内部评测数据与切换方式,读者可据此判断 Opus 5.5 在编码智能体中的成本与可控性取舍。
LangChain 在 Interrupt 26 大会上发布 LangSmith Fine-Tuning,可将 LangSmith 中的 Agent 轨迹转成监督微调数据集,训练与部署都跑在 Baseten 上。
推荐理由:原文给出了从 LangSmith 轨迹到微调数据集的完整链路,读者可据此判断自有 Agent 数据能否直接转成部署模型。
GitHub Security Lab 发布 Fuzzing Taskflow,一个面向 C/C++ 项目的自主模糊测试流水线,只需指向一个 GitHub 仓库,它就能识别入口点、分析构建系统、编写 harness、运行 AFL++、读取覆盖率报告并改进 harness,最后对每个崩溃做分类并生成漏洞报告。
推荐理由:原文给出了一套可复用的自主模糊测试流水线设计,读者可据此了解 LLM 智能体如何接管覆盖率与崩溃分类工作。
Amp 上线共享 Runner 功能,用 --share 启动后工作区成员都能在这台机器上从 ampcode.com 发起线程,带 GPU 的机器、用于构建签名 iOS 应用的 Mac 或特定网络内的开发机都可作为共享算力。
推荐理由:原文给出共享 runner 的启动方式、环境变量隔离与权限边界,便于团队评估自建算力如何接入智能体工作流。
Comfy 在 Comfy Developer Platform 上线 Comfy Router,用一个 API 接入前沿图像、视频、3D 和音频模型,首日支持 Seedance 2.5、MiniMax H3、Nano Banana Pro、GPT Image 2、Kling 和 Black Forest Labs。
推荐理由:Comfy Router 把多家前沿图像视频模型的调用收敛到一个 API,读者可据此判断多供应商路由是否值得接入。
Prime Intellect 宣布 Prime Sandboxes 正式可用,每个沙箱是一台完整 Linux 虚拟机,支持 Docker Compose、后台任务和依赖内核的工作负载,可运行数万个并发沙箱。
推荐理由:Prime Intellect 公布智能体 RL 沙箱的架构取舍与定价,可据此比较容器与 microVM 方案的差异。
Factory 公布 Factory Router 的生产数据,使用该路由的会话总体成本比按前沿模型公开价格计算低 63%,6 月底这一数字为 42%,同期路由会话量增长约四倍。
推荐理由:原文给出路由在生产环境的成本与通过率数据,可据此判断模型路由对智能体工作流的实际收益。
Cursor 推出 Rollouts 和 Security Review 两个 bot,分别监控每次变更的部署健康状况、在每个 PR 中报告可被利用的缺陷,现已在团队版和企业版上线。
推荐理由:Cursor 把部署监控与安全审查做成两个 bot,读者可了解 AI 编码工具如何延伸到交付与安全环节。
vLLM 官方发布 vllm-metal,把 vLLM 的 V1 调度器、分页 KV 缓存和 OpenAI 兼容服务端带到 Apple Silicon,由 MLX 与 Metal 负责执行。
推荐理由:vLLM 官方把调度器与分页 KV 缓存搬到 Apple Silicon,读者可据此判断 Mac 本地并发推理的可行边界。
联合国系统推出 UN System Data Commons,这是一个基于 Google Data Commons 构建的开源平台,把分散的全球统计数据整合为可搜索的 AI-ready 知识图谱。
推荐理由:联合国系统与 Google 合作把分散的全球统计数据整合为可自然语言查询的知识图谱,读者可了解其数据来源与智能体接入方式。
Anthropic 将 Claude Cowork 的能力扩展到任意对话,用户无需先选择模式即可提问或交付报告、表格、演示等较大任务,原有对话、Cowork 任务、项目、连接器和技能都会保留,该体验正逐步向 Pro 和 Max 套餐的 web、桌面和移动端推送。
推荐理由:官方说明 Cowork 能力并入所有对话,并给出 Design、Slides、Docs 的可用范围与套餐差异。
Cursor 推出「项目」功能,用于承接一项功能、一次迁移或一个完整应用这类更大规模的工作,可在数月周期内保持上下文并把任务委派给成千上万个子智能体。项目中的协调智能体不写代码,负责规划与分派,由云端智能体在独立计算机上运行,需要本机测试时再启动本地智能体。
推荐理由:原文给出项目式多智能体协作的上下文共享与云端运行方式,可据此判断长周期任务的委派形态。
蚂蚁 inclusionAI 开源 Agent 工作区 Choruz,支持 Codex、Claude Code 和 Muse,可在后台把用户交互轨迹异步转化为个性化基准用例,用于调整 harness、减少重复错误,并选择性地用自配置的更小模型执行部分任务。
推荐理由:官方开源了一个从真实交互轨迹生成个性化评测、再据此调整 Agent 配置的工作区,可了解其机制与边界。
Cursor 推出自托管机器,让工具执行完全留在用户自己的网络内,代码库、构建产物和密钥都保留在自有基础设施上运行的内部机器上,由智能体在本地处理工具调用。
推荐理由:原文给出自托管机器的池化调度与沙箱接入方式,读者可据此判断工具执行如何留在自有网络内。
LiveKit 发布 Connectors,在 LiveKit 房间与 Twilio Programmable Voice、WhatsApp Business Calling 之间建立直连,通话作为 kind 为 CONNECTOR 的参与者进入房间,无需配置 SIP trunk 或运行网关。
推荐理由:LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间,读者可据此判断现有电话工作流如何少改架构。
LiveKit 在 LiveKit Agents 中发布 expressive mode,通过一个参数开启,让语音智能体根据对话情境调整情绪、语气和非语言声音。
推荐理由:LiveKit 官方说明 expressive mode 的实现方式与接入成本,可据此判断语音智能体情感表达如何落地。
Modem 面向所有用户开放 MCP server 和公开 API,任何 MCP 客户端可通过 https://mcp.modem.dev/mcp 连接。
推荐理由:Modem 把客户反馈聚合成主题后通过 MCP 交给编码智能体,并给出跨模型 token 对比数据。