原文发布
更快完成 RL 训练:位级一致、高性能、智能体驱动
vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel,使 rollout 与训练对每个采样 token 产生位级相同的 logprob(diff = 0)。
推荐理由:原文给出训练与推理数值不一致的量化后果和逐算子对齐方案,可了解 RL 训练稳定性的一条工程路径。
日期栏展示收录日期,历史补录归入原文日期。
原文发布
vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel,使 rollout 与训练对每个采样 token 产生位级相同的 logprob(diff = 0)。
推荐理由:原文给出训练与推理数值不一致的量化后果和逐算子对齐方案,可了解 RL 训练稳定性的一条工程路径。
原文发布
vLLM 为所有基于草稿模型的投机解码器类型支持置信度评分,无需置信头即可启用自适应验证(AV)。该方案用在线拟合的逻辑回归,从草稿模型 logits 的 log-odds 特征预测目标模型的接受概率,K 个 token 的草稿器仅需 K+1 个参数,参数随线上流量持续拟合。
原文发布
vLLM 新增 push 模式的 NIXL KV 连接器,把传输协调与建立连接从解码实例的关键路径移到预填充侧的后台线程,从而降低 TTFT 与 TPOT。在 1P1D 部署、Amazon EC2 P5en 实例加 EFA 的 Qwen3-32B 基准中,push 模式相比默认 pull 模式 TTFT 最高改善 3 倍、TPOT 最高改善 30%,结果随负载与配置变化。
推荐理由:vLLM 新增 push 模式 KV 连接器,给出架构、线程模型与复现脚本,可据此评估分离式推理的延迟收益。
NVIDIA 推出 CUDA-X 新库 cuPotential,开发者可用其构建模拟原子与分子相互作用的 AI 智能体,早期测试中在已 GPU 优化的流程上再提速 2-3 倍。
基于 Amazon Bedrock AgentCore 的多智能体 IDP 系统可自动分类、提取、校验业务文档,并在遇到新格式时自我训练并复用所学,后续同类文档直接进入提取流程。系统由 8 个专用智能体组成,运行于识别与训练/自动化两条图工作流,依托 Strands Agents、Amazon Textract、S3 Vectors 和 Aurora DSQL,通常可在 20 分钟内完成部署。
MIT 等机构的研究团队开发出一种机器学习后处理层,通过学习历史数据修正现有预报模型的误差,将两到六周(次季节)预报的准确率提升一倍,并在 ECMWF 的预报竞赛中夺得第一。该成果发表在 Nature 上,首次让这一时间尺度的预报优于气候学平均值,同时显著提升了对极端天气的预测能力。模型为开源、低成本的外挂式 wrapper,可叠加到任意预报模型上,肯尼亚气象部门已联系希望用于改进季风预报。
推荐理由:MIT 团队用后处理层修正现有预报模型误差,把 2 至 6 周预报精度提升一倍,并给出开源低成本路径。
Factory 发布 OpenCompute,一个自托管的智能体沙箱编排器,可运行在客户自选运行时上,目前处于 private preview。
推荐理由:原文给出 OpenCompute 的架构取舍与自托管部署路径,可据此判断智能体沙箱如何落到自有基础设施。
原文发布
Liquid AI 发布 LFM2.5-24B-A2B,一个 24B 参数、每 token 仅激活 2B 的推理模型,面向端侧快速私有智能体,是 LFM2.5 系列中最大也是最后一款。
推荐理由:官方给出端侧智能体的速度、基准与部署入口,可据此判断本地 Agent 的可行边界。
NVIDIA 将完整的 Run:ai 平台以开源软件形式发布,向客户、开发者和生态伙伴开放生产级 AI 工作负载与 GPU 编排能力。此次发布扩展了 NVIDIA DSX AI Factory 平台,把 Run:ai 确立为开放基础,让更广泛的生态能够推出差异化解决方案。
推荐理由:NVIDIA 将 Run:ai 全平台开源并纳入 DSX AI Factory,读者可了解 GPU 编排能力的开放范围。
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,并联合生态伙伴推出面向本地 AI 的软件更新,涵盖 GitHub Copilot、Hermes、OpenClaw、Perplexity、Pi 和 WorkBuddy 等智能体应用。
推荐理由:NVIDIA 官方汇总 RTX Spark 笔记本上市前的本地 AI 软件生态更新,可了解端侧智能体与开发工具的落地节奏。
Microsoft Research 提出 StudentSim,一个用公开去标识化学习记录训练个性化 AI 学生模拟器的研究系统,可在真实学习者测试前评估和改进 AI 辅导系统。该系统从行为保真度和指导响应性两个维度评估模拟器,并配套推出覆盖国际象棋、英语二语写作和数学的 StudentSimEval 基准,表现优于主流基线。StudentSim 并非产品,不部署于课堂,也不旨在取代教师。
AWS 发布面向 llama.cpp 的 Deep Learning Container,可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型,并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
蚂蚁 inclusionAI 发布双臂灵巧操作基准 BiDex-100,覆盖 106 个任务、五大能力维度(Memory、Long-Horizon、Instruction-Following。
Artificial Analysis 上线 Cognition 构建的编码基准 FrontierCode 1.1,任务要求智能体修改真实开源仓库,由维护者标准判断改动是否达到可合并程度,并额外考察改动过大、越界修改文件、添加无用测试等行为。
vLLM 引入双向 KV 传输,让 decode 节点把已计算的 KV 缓存回传给 prefill 节点,避免多轮对话中重复计算上下文。在 1P1D 的 Amazon EC2 P5en 加 EFA 部署上,最长提示下 TTFT 降低约 1.6 倍(Qwen3-32B)和 3.3 倍(zai-org/GLM-5-FP8)。
推荐理由:vLLM 新增双向 KV 传输,读者可了解多轮智能体场景下降低 TTFT 的机制与实测数据。
蚂蚁 inclusionAI 发布 PolyOCR-Venus 统一 OCR 基础模型家族,包含 2B 和 9B 两个版本,基于 Qwen3.5 视觉语言骨干,覆盖文本识别、定位、文档解析、信息抽取、多语言转换和 OCR 推理六类能力。
vLLM 现已支持 NVIDIA Vera Rubin NVL72,官方称在 AgentX 上匹配交互性时每 GPU 吞吐量最高达 GB200 NVL72 的 7.8 倍,在 MLPerf 中 VLM 吞吐量最高达 GB300 NVL72 的 3.7 倍。
推荐理由:vLLM 官方给出 Rubin 平台的早期适配状态与实测吞吐数据,可据此判断新硬件上的推理部署进展。
Prime Intellect 将 Prime Agent 从 TypeScript 重写为 Rust,由 2000 多个智能体在两周内完成端到端重写,消耗超 2000 亿 token,运行在 10000 多个 Prime Sandboxes 上。
推荐理由:官方披露用 2000 多个智能体把 Prime Agent 从 TypeScript 重写为 Rust 的完整流程与性能数据,可看多智能体编排如何落地。
作者在单张 RTX 5090(32 GB 显存)上实现了 15 秒内生成 15 秒 448×256 视频的实时方案,使用 FastVideo 的 FastH3 V2 checkpoint 并采用四步采样。
推荐理由:作者把多项优化拼成单卡实时视频方案,并公开了可复用的开源节点与实测数据。
微软亚洲研究院开源 Agent Lightning v1.0,提出 Harnessed Agentic RL 训练范式,让部署时使用的同一套 agent harness 直接参与强化学习,无需在训练框架内重新实现智能体。
推荐理由:微软开源 Agent Lightning v1.0,读者可了解用真实 harness 做智能体 RL 训练的思路与 3500 行代码的工程取舍。
英国 AI Security Institute 发布开源 Python 包 Transect,基于 Inspect Scout 构建,把智能体评测的 transcript 转成一份交互式报告。
推荐理由:原文给出开源工具的能力边界与可核查设计,读者可据此判断智能体评测记录如何被审阅。
Liquid AI 发布 d1-3B 和 d1-omni-600M 两款开放权重决策模型,均已在 Hugging Face 上线。
推荐理由:官方给出两款开放权重决策模型的基准、延迟与架构细节,可据此判断端侧实时决策的可用边界。
Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、740M 参数的开源多模态嵌入模型,采用 Apache 2.0 许可,将文本、图像、音频、视频映射到统一嵌入空间。
推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一进一个 740M 端侧嵌入模型,读者可据此判断本地多模态检索的可行边界。
上海人工智能实验室 InternLM 团队发布 SpatialASM 框架,通过两阶段训练将主动空间心智化(ASM)能力内化进 LVLM,使模型能主动规划视角并想象缺失的空间证据。
Reflection 发布首个开放权重模型 Beam,这是一个总参数 501B、激活 23B 的稀疏 MoE 模型,面向编码、推理和智能体任务。Beam 在 23.8 万亿 token 上预训练,并用 10.5K 块 NVIDIA GB300 GPU 进行了 4 周高算力 RL 训练,生成超过 1 亿次 rollout。
推荐理由:Reflection 公开 Beam 的 501B MoE 架构与高算力 RL 训练细节,可据此了解开放权重模型在编码与智能体方向的最新进展。
Prime Intellect 发布 Prime Inference,提供 serverless 端点和预留容量的前沿开源模型推理服务,支持跨数据中心自动故障转移和 OpenAI 兼容接口。
推荐理由:原文披露了 Prime Inference 的架构取舍与实测数据,可了解长上下文智能体服务的工程路径。
针对 Meta 生成式广告模型(GEM)背后的 Jagged Flash Attention 注意力内核,团队用 TLX(Triton Low-level Extensions)在 NVIDIA Blackwell(B200)上重写,代码约 3.2K 行,比 FA4 的约 10K 行 CuteDSL 少约 3 倍。
Browser Use 博客对比了 Browser Use、KERNEL、Browserbase、Steel、Browserless、Anchor、Hyperbrowser 七家浏览器基础设施服务商,覆盖可靠性、性能与规模、开发者体验和成本四个维度。
物理学家 Matthew Schwartz 在 Anthropic 客座文章中提出“Claude 形态”问题思路,即寻找最适合当前 LLM 能力的问题,而非让模型像人类科学家那样工作。他据此构建开源工具包 BootLoops,用于定量科学中的精确计算,并在生态学、群体遗传学、语言学等领域与专家合作取得进展。文中还给出应对模型虚报完成、时间估计失准等失败模式的具体经验。
推荐理由:作者以第一手实践复盘如何为 Claude 设计适配问题,并给出跨学科协作与工具化的可迁移方法。
上海人工智能实验室 InternLM 开源 InstantFusion,通过共享隐空间把不同扩散模型的隐变量对齐,使去噪轨迹可以组合。方法用 Sigma 条件编码器与解码器把两个模型的隐变量映射到共享空间,训练结合重建、交叉重建、隐空间对齐和去噪速度对齐损失,可实现不同步数预算模型间的接力加速、多偏好组合以及跨模型 OPD 蒸馏。
推荐理由:上海人工智能实验室开源 InstantFusion,给出跨扩散模型共享隐空间与模型接力去噪的完整训练和推理代码。
上海人工智能实验室联合上海交大等发布 ResOPD,一种稀疏在线策略蒸馏方法:精确积分教师 Top-k 粗分布,仅对尾部残差采样,复用同一稀疏教师载荷且不增加教师前向。
上海人工智能实验室 InternLM 团队发布 AdvancedMathBench,用于评估语言模型构建与验证高等数学自然语言证明的能力,覆盖本科与资格考试水平。
vLLM 官方发布分离式推理实践指南,把 prefill、decode 和 CPU 侧渲染拆成独立服务,并给出 vLLM v0.31.0 及以上的部署命令。文章说明 P/D 分离主要提升 goodput 而非峰值吞吐,KV cache 传输速度是关键前提,并给出 L40S 双卡实测中 collocated 与 P/D 的 p99 ITL 对比。
推荐理由:vLLM 官方拆解分离式推理的适用场景与代价,并给出可复现的部署命令和实测数据。
NVIDIA 发布 Open Agent Safety Platform,由开源软件 OpenShell 与 Sentry 参考系统设计组成,为智能体提供全栈治理与控制。
推荐理由:NVIDIA 把智能体安全边界从模型层挪到运行时与硬件层,读者可据此判断企业级智能体治理的落地路径。
上海人工智能实验室 InternLM 开源 Intern-Decision,可将状态、可选图像和多个带类型的问题转成带概率的决策,支持 choice、score 和 noul(是/否)三类问题,通过微调 Qwen3.5 的语言主干并冻结视觉塔与投影器实现。
推荐理由:上海人工智能实验室开源 Intern-Decision,给出训练、推理与校准的完整流程和七套基准结果,可据此判断决策概率建模的可用性。
LangChain 在 Interrupt 26 大会上发布 LangSmith Fine-Tuning,可将 LangSmith 中的 Agent 轨迹转成监督微调数据集,训练与部署都跑在 Baseten 上。
推荐理由:原文给出了从 LangSmith 轨迹到微调数据集的完整链路,读者可据此判断自有 Agent 数据能否直接转成部署模型。
vLLM 现已支持基于 Gumbel-max 算法的无失真文本水印,并集成到 Model Runner v2 的采样管线中,同时支持投机解码。实现将伪随机数生成、Gumbel 变换与 argmax 归约融合进单个 GPU kernel,在 Qwen3.5-27B 上跨 batch size 1–256 的吞吐变化在 −1.1% 到 +2.0% 之间。
推荐理由:vLLM 把无失真文本水印接进采样管线,读者可了解其算法取舍与吞吐开销。
Liquid AI 发布实验性草稿模型 LFM2.5-VL-DSpark,为其视觉语言模型 LFM2.5-VL-3B 加速解码,GPU 解码吞吐最高提升 2.66×、边缘设备最高 3.13×,端到端吞吐分别最高提升 2.27× 和 2.62×,且不改变输出质量。
MiniMax H3 视频 VAE 编码最高提速约 2.2 倍、解码提速约 1.4-2.7 倍,1344x768、129 帧的编解码往返从 24.3 秒降至 12.7 秒。
vLLM 官方发布 vllm-metal,把 vLLM 的 V1 调度器、分页 KV 缓存和 OpenAI 兼容服务端带到 Apple Silicon,由 MLX 与 Metal 负责执行。
推荐理由:vLLM 官方把调度器与分页 KV 缓存搬到 Apple Silicon,读者可据此判断 Mac 本地并发推理的可行边界。