教程实践 最新动态

原文发布 10月14日 08:00

更快完成 RL 训练：位级一致、高性能、智能体驱动

vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel，使 rollout 与训练对每个采样 token 产生位级相同的 logprob（diff = 0）。

原文发布 10月14日 08:00

vLLM 推出基于 Push 的 KV 传输，改善分离式推理的 TTFT 与 TPOT

vLLM 新增 push 模式的 NIXL KV 连接器，把传输协调与建立连接从解码实例的关键路径移到预填充侧的后台线程，从而降低 TTFT 与 TPOT。在 1P1D 部署、Amazon EC2 P5en 实例加 EFA 的 Qwen3-32B 基准中，push 模式相比默认 pull 模式 TTFT 最高改善 3 倍、TPOT 最高改善 30%，结果随负载与配置变化。

在 Amazon Bedrock 上用 Grok 4.7 构建长时程智能体

AWS 官方博客介绍 Grok 4.7 已在 Amazon Bedrock 上线，并演示如何用它构建工具调用智能体。作者在三个需要搜索而非查表、各有唯一正确答案的任务上，按 low、medium、high、xhigh 四档推理强度各跑六次共 72 次，智能体答对 67 次，xhigh 全部 18 次正确，low 答对 15 次且输出 token 约为 xhigh 的八分之一。

原文发布 10月12日 17:58

如何只用自己拥有的文件约束编码智能体

作者用同一张工单在无约束和有约束两种情况下运行编码智能体，裸跑只通过 8 项检查中的 1 项，加入约束文件后通过 8 项。

vLLM 双向 KV 传输改善多轮智能体负载的 TTFT

vLLM 引入双向 KV 传输，让 decode 节点把已计算的 KV 缓存回传给 prefill 节点，避免多轮对话中重复计算上下文。在 1P1D 的 Amazon EC2 P5en 加 EFA 部署上，最长提示下 TTFT 降低约 1.6 倍（Qwen3-32B）和 3.3 倍（zai-org/GLM-5-FP8）。

我如何在单张 GPU 上用 MiniMax H3 生成实时视频

作者在单张 RTX 5090（32 GB 显存）上实现了 15 秒内生成 15 秒 448×256 视频的实时方案，使用 FastVideo 的 FastH3 V2 checkpoint 并采用四步采样。

你的 AI 不是笨，是看不见

VarOps 作者总结为跨组织智能体构建记忆系统的经验，认为问题不在模型推理能力，而在于关键决策从未被记录成智能体可用的形式。

构建高效的 agent 自动化

Anthropic 用 Claude Managed Agents（beta）搭建了一个参考实现，按计划读取 Slack 和 GitHub 等自定义来源、追踪上次运行后的变化，并把要点推送到 Slack。

DeepSeek-V4.1-Flash 在 vLLM 上：Day 0 以来智能体吞吐提升 5 倍

vLLM 团队与 Inferact 及社区在 DeepSeek-V4.1-Flash 发布后三周内完成优化，低并发下提速 1.9 倍，150 TPS 约束下吞吐提升 5.3 倍。

Claude Code 云端会话：云端会话实战指南

Addy Osmani 发布 Claude Code 云端会话实战指南，云端会话在独立虚拟机上运行，每个任务克隆仓库到新分支，可从 claude.ai/code、移动端、桌面端、终端和 Slack 启动。作者用四个真实会话演示并行修复 flaky 测试、更新 API 文档和重构日志，三个会话在 16 秒内启动、87 秒内全部完成。指南还覆盖 GitHub 连接与权限排查、环境配置和七类适用工作流。

AI 智能体的服务端代码执行工具对比

OpenRouter 对比了 OpenAI、Anthropic、Google 及自家 openrouter:shell 四家服务端代码执行工具，涵盖沙箱环境、语言支持、网络策略、会话持久化和计费方式。

智能体推理优化：引擎提速 50-90%

Baseten 作者让 Claude Code 基于 MetaInfer 技能框架自动生成推理引擎，在单张 B200 上为 Qwen-3.6-35B-A3B（NVFP4）生成的 VibeQwen 相比 vLLM 0.25.1 单流解码提速最高 90%，首 token 时间从 28ms 降至 12ms，并发 32 时输出吞吐提升 71%。

Claude Code mods 入门指南

Claude Code 推出 mods 功能，mod 是运行在会话内的 JavaScript 或 TypeScript 文件，可观察事件、改写行为或绘制自定义 UI，需 Claude Code 2.1.287 或更高版本，默认开启。

模型升级路由的置信度阈值

OpenRouter 发布指南，介绍基于置信度的模型升级路由：让模型用结构化输出返回 0 到 1 的置信度分数，低于阈值时把请求转给更强的模型。

Claude 形态的科学

物理学家 Matthew Schwartz 在 Anthropic 客座文章中提出“Claude 形态”问题思路，即寻找最适合当前 LLM 能力的问题，而非让模型像人类科学家那样工作。他据此构建开源工具包 BootLoops，用于定量科学中的精确计算，并在生态学、群体遗传学、语言学等领域与专家合作取得进展。文中还给出应对模型虚报完成、时间估计失准等失败模式的具体经验。

别再靠感觉检查 AI 智能体：如何在 60 分钟内搭建生产级评测

Google Cloud 工程师 Dani Zamora 与 Merge 的 Matthew Feroz 演示如何在 60 分钟内搭建一套框架无关的端到端智能体评测流水线。

拆解 vLLM：分离式推理实践指南

vLLM 官方发布分离式推理实践指南，把 prefill、decode 和 CPU 侧渲染拆成独立服务，并给出 vLLM v0.31.0 及以上的部署命令。文章说明 P/D 分离主要提升 goodput 而非峰值吞吐，KV cache 传输速度是关键前提，并给出 L40S 双卡实测中 collocated 与 P/D 的 p99 ITL 对比。

如何用 Gemini Live API 构建实时语音 AI 智能体

Google Cloud 团队发布教程，讲解如何用 Gemini Live API 构建可实时打断的语音 AI 智能体。方案由浏览器客户端、Gemini Live API 和 Python 后端三部分组成，通过 WebSocket 保持双向音频流，并利用内置 VAD 实现 barge-in 打断，在本地先静音并清空播放缓冲以降低延迟。

用 Claude 自动化 eval 设计与 hillclimbing

Anthropic 在 Claude Code 的 claude-api skill 中新增两条命令，/claude-api build-eval 可在代码库内构建评测集，/claude-api hillclimb 用留出集逐次改进应用并检测过拟合。

为什么 VLM 读不懂表单？

LlamaIndex 发文解释 VLM 在表单解析上的失败模式，包括复选框状态误判、边界框漏检与错位、以及把数值挂到错误字段的静默归因错误。文章给出 LlamaParse 的表单 JSON 结构，用字段、分区和边界框表示 W-2 等表单，并说明其自研复选框状态分类器与边界框检测模型如何修正 VLM 输出。