用 Claude 自动化 eval 设计与 hillclimbing
Anthropic 在 Claude Code 的 claude-api skill 中新增两条命令,/claude-api build-eval 可在代码库内构建评测集,/claude-api hillclimb 用留出集逐次改进应用并检测过拟合。
推荐理由:官方给出 eval 设计与 hillclimb 的完整工作流,可迁移到自家应用的评测搭建与成本优化。
日期栏展示收录日期,历史补录归入原文日期。
Anthropic 在 Claude Code 的 claude-api skill 中新增两条命令,/claude-api build-eval 可在代码库内构建评测集,/claude-api hillclimb 用留出集逐次改进应用并检测过拟合。
推荐理由:官方给出 eval 设计与 hillclimb 的完整工作流,可迁移到自家应用的评测搭建与成本优化。
Baseten 宣布成为 NVIDIA Agent Safety Platform 的启动合作伙伴,并加入 Open Secure AI Alliance,同时为 NVIDIA 开源运行时 OpenShell 提供支持。
NVIDIA 发布 Open Agent Safety Platform,由开源软件 OpenShell 与 Sentry 参考系统设计组成,为智能体提供全栈治理与控制。
推荐理由:NVIDIA 把智能体安全边界从模型层挪到运行时与硬件层,读者可据此判断企业级智能体治理的落地路径。
Amp 宣布中等模式默认模型由 GPT-5.6 Sol 换成 Claude Opus 5.5,使用 ChatGPT 订阅并启用 ChatGPT Only 预设时仍固定为 GPT-5.6 Sol,可在 Tune Modes 中切换。
推荐理由:Amp 公布内部评测数据与切换方式,读者可据此判断 Opus 5.5 在编码智能体中的成本与可控性取舍。
Modem 现已上线 ChatGPT 插件目录,用户可在 ChatGPT 中安装并登录 Modem,通过输入 @ 选择 Modem 后直接提问。该插件把客户反馈上下文带入团队已有的对话中,除登录外无需额外设置。官方给出的示例工作流是:用 Modem 找出最近 30 天客户反馈中呼声最高的修复项、合并重复项并统计受影响客户数,若某个答案值得每周获取,可将其保存为技能并定时运行。
Amp 现在会进一步折叠 AI 智能体的逐步执行过程,默认只展示智能体做了什么,需要时仍可展开查看每一步。官方称用户如今同时运行大量智能体,应让它们独立运行更久、承担更难的任务,而不是近距离盯着每一步。
Anthropic 开放 Claude 插件提交,开发者可通过新的开发者门户向 Claude 目录提交插件,跟踪审核进度,并在插件上线后查看使用分析数据。
Midjourney 在 alpha.midjourney.com 界面中试验快速模型,Styles 侧边栏可预览最新提示词在多种风格下的效果,开启 "Live previews" 后点击缩略图即可用该风格生成。编辑模型的局部重绘与扩图能力改进,定向编辑只改变选中像素,可反复编辑而不降低画质。tile --tile 在 V8.1/8.2 上优化,平铺图像之间的接缝现已无缝融合。
LangChain 在 Interrupt 26 大会上发布 LangSmith Fine-Tuning,可将 LangSmith 中的 Agent 轨迹转成监督微调数据集,训练与部署都跑在 Baseten 上。
推荐理由:原文给出了从 LangSmith 轨迹到微调数据集的完整链路,读者可据此判断自有 Agent 数据能否直接转成部署模型。
GitHub Security Lab 发布 Fuzzing Taskflow,一个面向 C/C++ 项目的自主模糊测试流水线,只需指向一个 GitHub 仓库,它就能识别入口点、分析构建系统、编写 harness、运行 AFL++、读取覆盖率报告并改进 harness,最后对每个崩溃做分类并生成漏洞报告。
推荐理由:原文给出了一套可复用的自主模糊测试流水线设计,读者可据此了解 LLM 智能体如何接管覆盖率与崩溃分类工作。
Midjourney 在 alpha.midjourney.com 更新:Styles 侧栏新增实时预览,浏览样式时可用当前提示词快速预览效果;设置中新增默认参数保存,可将提示词栏当前配置设为默认。
Amp 上线共享 Runner 功能,用 --share 启动后工作区成员都能在这台机器上从 ampcode.com 发起线程,带 GPU 的机器、用于构建签名 iOS 应用的 Mac 或特定网络内的开发机都可作为共享算力。
推荐理由:原文给出共享 runner 的启动方式、环境变量隔离与权限边界,便于团队评估自建算力如何接入智能体工作流。
Liquid AI 发布实验性草稿模型 LFM2.5-VL-DSpark,为其视觉语言模型 LFM2.5-VL-3B 加速解码,GPU 解码吞吐最高提升 2.66×、边缘设备最高 3.13×,端到端吞吐分别最高提升 2.27× 和 2.62×,且不改变输出质量。
Google Beam 宣布扩展至美国、加拿大、英国、法国、德国和日本六国,由 18 家渠道合作伙伴支持部署,旗舰硬件为 HP Dimension with Google Beam,可无缝接入 Google Meet 和 Zoom。
Comfy 在 Comfy Developer Platform 上线 Comfy Router,用一个 API 接入前沿图像、视频、3D 和音频模型,首日支持 Seedance 2.5、MiniMax H3、Nano Banana Pro、GPT Image 2、Kling 和 Black Forest Labs。
推荐理由:Comfy Router 把多家前沿图像视频模型的调用收敛到一个 API,读者可据此判断多供应商路由是否值得接入。
Prime Intellect 宣布 Prime Sandboxes 正式可用,每个沙箱是一台完整 Linux 虚拟机,支持 Docker Compose、后台任务和依赖内核的工作负载,可运行数万个并发沙箱。
推荐理由:Prime Intellect 公布智能体 RL 沙箱的架构取舍与定价,可据此比较容器与 microVM 方案的差异。
Factory 公布 Factory Router 的生产数据,使用该路由的会话总体成本比按前沿模型公开价格计算低 63%,6 月底这一数字为 42%,同期路由会话量增长约四倍。
推荐理由:原文给出路由在生产环境的成本与通过率数据,可据此判断模型路由对智能体工作流的实际收益。
Cursor 推出 Rollouts 和 Security Review 两个 bot,分别监控每次变更的部署健康状况、在每个 PR 中报告可被利用的缺陷,现已在团队版和企业版上线。
推荐理由:Cursor 把部署监控与安全审查做成两个 bot,读者可了解 AI 编码工具如何延伸到交付与安全环节。
Cartesia 发布 Multilingual Voices,50+ 语音库音色可原生支持最多 25 种语言,并支持把自建语音克隆做成多语言。每个语言和口音由母语者按评分标准审核,检查口音是否保持以及日期、数字、货币是否按当地方式朗读。
Sierra 发布 Agent Studio,让用 Ghostwriter 构建的智能体的每条旅程、动作、策略和人格都可见可编辑,并可通过 Simulations 和 Experiments 在全面上线前测试改动影响。
vLLM 官方发布 vllm-metal,把 vLLM 的 V1 调度器、分页 KV 缓存和 OpenAI 兼容服务端带到 Apple Silicon,由 MLX 与 Metal 负责执行。
推荐理由:vLLM 官方把调度器与分页 KV 缓存搬到 Apple Silicon,读者可据此判断 Mac 本地并发推理的可行边界。
LlamaIndex 发布 LiteParse 9 月更新,通过 PDFium 定制优化将文本提取提速 20-25%,实测 2.8ms/页提取文本、3.9ms/页渲染 markdown。
LiveKit 推出 Private Links,让托管的 AI 智能体通过云网络私有访问企业内部敏感资源,无需维护公网 IP、入站防火墙规则或 VPN。该功能通过加密 WireGuard 隧道连接 AWS PrivateLink 或 Azure Private Link,仅支持基于 TCP 且经 TLS 加密的连接,不支持非安全 TCP 和 UDP。
Composio 的 Browser Tool 让接入 Composio 的 AI 智能体在无 API 的网站上完成登录、导航、填表、提取数据和下载文件,每个任务都由托管云浏览器中的 Browser Use 智能体执行。
Google 旗下 Envisioning Studio 与 Google Labs 合作,在纽约时装周前用 AI 创意工作室 Google Flow 为设计师 Jane Wade 和 Sergio Hudson 分别定制了 Styling Suite 和 Runway Visualization 两款工具。
vLLM 宣布支持 NVIDIA GPU 内置的硬件视频解码,通过集成 PyNvVideoCodec(NVDEC 的 Python 接口)把视频解码从 CPU 转移到 GPU,缓解此前 CPU 先于 VLM 推理成为瓶颈的问题。
联合国系统推出 UN System Data Commons,这是一个基于 Google Data Commons 构建的开源平台,把分散的全球统计数据整合为可搜索的 AI-ready 知识图谱。
推荐理由:联合国系统与 Google 合作把分散的全球统计数据整合为可自然语言查询的知识图谱,读者可了解其数据来源与智能体接入方式。
Midjourney 为 alpha.midjourney.com 推送更新,新增韩语支持,并修复 v8.2 编辑器多项问题:附加图片时提示词栏改为询问“What would you like to change?
Baseten 发布 Hosted Tools,首个工具是网页搜索 Baseten Grounded Inference,让托管在 Baseten 上的模型能获取当天最新信息。
Anthropic 将 Claude Cowork 的能力扩展到任意对话,用户无需先选择模式即可提问或交付报告、表格、演示等较大任务,原有对话、Cowork 任务、项目、连接器和技能都会保留,该体验正逐步向 Pro 和 Max 套餐的 web、桌面和移动端推送。
推荐理由:官方说明 Cowork 能力并入所有对话,并给出 Design、Slides、Docs 的可用范围与套餐差异。
Anthropic 在 Claude 中上线 Salesforce 插件(beta),把销售人员的客户、商机和销售管道数据接入 Claude,并内置 37 个预置销售技能,可在 Claude 内准备通话、审阅交易、创建管道看板和发送预测。该插件目前面向 Salesforce 通过其 beta 报名审核的组织,在所有付费方案中以 beta 形式提供。
Cursor 推出「项目」功能,用于承接一项功能、一次迁移或一个完整应用这类更大规模的工作,可在数月周期内保持上下文并把任务委派给成千上万个子智能体。项目中的协调智能体不写代码,负责规划与分派,由云端智能体在独立计算机上运行,需要本机测试时再启动本地智能体。
推荐理由:原文给出项目式多智能体协作的上下文共享与云端运行方式,可据此判断长周期任务的委派形态。
Anthropic 在 Claude Enterprise 方案中推出 beta 版智能报告,可分析团队如何使用 Claude,并报告已完成的工作、成本、会话遇到阻力的环节,以及哪些重复模式值得打包为共享技能。
Midjourney 在 alpha.midjourney.com 上线 v8.2 编辑模型,并在 lightbox 中内置新编辑器,支持用自然语言指令编辑图片、附加最多 4 张参考图,并集中查看本次会话的所有编辑。
蚂蚁 inclusionAI 开源 Agent 工作区 Choruz,支持 Codex、Claude Code 和 Muse,可在后台把用户交互轨迹异步转化为个性化基准用例,用于调整 harness、减少重复错误,并选择性地用自配置的更小模型执行部分任务。
推荐理由:官方开源了一个从真实交互轨迹生成个性化评测、再据此调整 Agent 配置的工作区,可了解其机制与边界。
LiveKit 推出非生产部署(non-production deployments),让智能体以另一个名称与生产环境并行运行,共用同一镜像、项目和密钥,一条命令即可创建。
Cursor 推出自托管机器,让工具执行完全留在用户自己的网络内,代码库、构建产物和密钥都保留在自有基础设施上运行的内部机器上,由智能体在本地处理工具调用。
推荐理由:原文给出自托管机器的池化调度与沙箱接入方式,读者可据此判断工具执行如何留在自有网络内。
LiveKit 发布 Connectors,在 LiveKit 房间与 Twilio Programmable Voice、WhatsApp Business Calling 之间建立直连,通话作为 kind 为 CONNECTOR 的参与者进入房间,无需配置 SIP trunk 或运行网关。
推荐理由:LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间,读者可据此判断现有电话工作流如何少改架构。
AISI 开源 Python 包 optstop,可接入其 Inspect 评估框架,在模型性能估计足够精确时提前停止评估运行。测试中,optstop 在设定的每种条件下节省了 57% 至 97% 的计划运行量。它通过跟踪可信区间,按精度和稳定化两条规则停止采样,并在估计成功率低于 1% 时要求更多数据。
Cursor 云端智能体不再需要连接 GitHub 或其他第三方 SCM 提供商即可开始使用,用户可直接输入提示,Cursor 会在后台创建 Origin 代码仓库。满意后可点击创建代码仓库,自定义名称并设为私有或内部,获得完整搭建的仓库用于分享或继续构建。此外,Cursor 支持将云端智能体的实时环境通过端口转发呈现在浏览器中,连接 Vercel 账户后点击发布即可生成可访问的 URL。