原文发布
更快完成 RL 训练:位级一致、高性能、智能体驱动
vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel,使 rollout 与训练对每个采样 token 产生位级相同的 logprob(diff = 0)。
推荐理由:原文给出训练与推理数值不一致的量化后果和逐算子对齐方案,可了解 RL 训练稳定性的一条工程路径。
日期栏展示收录日期,历史补录归入原文日期。
原文发布
vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel,使 rollout 与训练对每个采样 token 产生位级相同的 logprob(diff = 0)。
推荐理由:原文给出训练与推理数值不一致的量化后果和逐算子对齐方案,可了解 RL 训练稳定性的一条工程路径。
昆仑万维发布 Matrix-Game 4.0,称其为世界首款运行在单张消费级显卡上的视频大模型游戏,可在 NVIDIA RTX 5090 上实现 480p、60 FPS 实时体验,按键到画面响应延迟低于 150 毫秒。
推荐理由:原文给出消费级显卡上的实时视频生成游戏闭环与开源入口,可据此判断端侧视频模型落地的可行路径。
阶跃正式释放 Step 5 Preview 权重,开放 BF16 与 FP8 模型权重、技术博客及配套开源开发工具。该模型面向长程 Agent 任务设计,采用稀疏 MoE 架构,总参数量 600B、每 token 激活参数仅 27B,支持 100 万 token 上下文窗口,原生支持文本与视觉输入。
推荐理由:阶跃开源 600B 稀疏 MoE 模型权重,读者可了解其百万 token 上下文与长程 Agent 设计取舍。
上海人工智能实验室访问学者、大湾区大学教授许地生团队依托书生科学多模态大模型 S2(书生-S2),通过人机协同完成三维 Ghys 猜想证明,该猜想由法国数学家 Étienne Ghys 于 1995 年提出,困扰数学界 30 余年。
Fish Audio 发布 Fish Audio Drama 3,一个 35B 混合专家(MoE)文本转语音模型,每 token 约 3B 激活参数,权重已上传 Hugging Face 并上线 Fish Audio API。
原文发布
vLLM 为所有基于草稿模型的投机解码器类型支持置信度评分,无需置信头即可启用自适应验证(AV)。该方案用在线拟合的逻辑回归,从草稿模型 logits 的 log-odds 特征预测目标模型的接受概率,K 个 token 的草稿器仅需 K+1 个参数,参数随线上流量持续拟合。
Leash Bio 发布 Minos 的完整预印本、博客和开放数据集,把过去几年收集的 DEL 数据转化为数万条实验室闭环模拟,用于智能体的科学强化学习。访谈还提到其 Hermes 模型仅用自家数据训练,在公开基准上与 Boltz 持平,以及让 LLM 用自然语言推理 SAR、在 650 万分子中以 100 的预算寻找最佳结合物。
原文发布
vLLM 新增 push 模式的 NIXL KV 连接器,把传输协调与建立连接从解码实例的关键路径移到预填充侧的后台线程,从而降低 TTFT 与 TPOT。在 1P1D 部署、Amazon EC2 P5en 实例加 EFA 的 Qwen3-32B 基准中,push 模式相比默认 pull 模式 TTFT 最高改善 3 倍、TPOT 最高改善 30%,结果随负载与配置变化。
推荐理由:vLLM 新增 push 模式 KV 连接器,给出架构、线程模型与复现脚本,可据此评估分离式推理的延迟收益。
NVIDIA 推出 CUDA-X 新库 cuPotential,开发者可用其构建模拟原子与分子相互作用的 AI 智能体,早期测试中在已 GPU 优化的流程上再提速 2-3 倍。
基于 Amazon Bedrock AgentCore 的多智能体 IDP 系统可自动分类、提取、校验业务文档,并在遇到新格式时自我训练并复用所学,后续同类文档直接进入提取流程。系统由 8 个专用智能体组成,运行于识别与训练/自动化两条图工作流,依托 Strands Agents、Amazon Textract、S3 Vectors 和 Aurora DSQL,通常可在 20 分钟内完成部署。
微软研究院联合 MIT、ECMWF 等机构在 Nature 发表 Probabilistic Bias Correction(PBC)方法,用机器学习识别并校正现有天气预报模型的系统性偏差,而非新建独立模型,相关工具已开源。
MIT 等机构的研究团队开发出一种机器学习后处理层,通过学习历史数据修正现有预报模型的误差,将两到六周(次季节)预报的准确率提升一倍,并在 ECMWF 的预报竞赛中夺得第一。该成果发表在 Nature 上,首次让这一时间尺度的预报优于气候学平均值,同时显著提升了对极端天气的预测能力。模型为开源、低成本的外挂式 wrapper,可叠加到任意预报模型上,肯尼亚气象部门已联系希望用于改进季风预报。
推荐理由:MIT 团队用后处理层修正现有预报模型误差,把 2 至 6 周预报精度提升一倍,并给出开源低成本路径。
Factory 发布 OpenCompute,一个自托管的智能体沙箱编排器,可运行在客户自选运行时上,目前处于 private preview。
推荐理由:原文给出 OpenCompute 的架构取舍与自托管部署路径,可据此判断智能体沙箱如何落到自有基础设施。
Liquid AI 发布 LFM2.5-24B-A2B,一个 24B 参数、每 token 激活约 2B 参数的 MoE 推理模型,面向笔记本和 PC 上的智能体,权重已在 Hugging Face 开放。
本教程演示如何用 Meta 的分配求解器 Rebalancer(C++ 内核 + Python 绑定)完成数据中心任务放置:定义对象、容器、维度、作用域与分区,添加约束和目标,再选择局部搜索或精确混合整数求解器 HiGHS。在 24 次求解中,有 14 次 solved 标志为 True 却仍让内存超容;局部搜索下的 HARD 会返回违规起点而不报错,拼错的 spec 键被静默忽略。
原文发布
Liquid AI 发布 LFM2.5-24B-A2B,一个 24B 参数、每 token 仅激活 2B 的推理模型,面向端侧快速私有智能体,是 LFM2.5 系列中最大也是最后一款。
推荐理由:官方给出端侧智能体的速度、基准与部署入口,可据此判断本地 Agent 的可行边界。
NVIDIA 将完整的 Run:ai 平台以开源软件形式发布,向客户、开发者和生态伙伴开放生产级 AI 工作负载与 GPU 编排能力。此次发布扩展了 NVIDIA DSX AI Factory 平台,把 Run:ai 确立为开放基础,让更广泛的生态能够推出差异化解决方案。
推荐理由:NVIDIA 将 Run:ai 全平台开源并纳入 DSX AI Factory,读者可了解 GPU 编排能力的开放范围。
原文发布
阿里千问发布 QwenGyre,一款面向长程智能体任务的在线强化学习框架,通过弹性调度与轨迹处理把超长程任务变成有效训练来源。官方在 NL2RepoBench 在线强化学习实验中,以每次 rollout 约 70 万 token 的任务训练 48 步,模型通过率从 52.5% 提升至 58.5%;相同 GPU 预算下相对 Async 实现 1.78× 端到端加速。
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,并联合生态伙伴推出面向本地 AI 的软件更新,涵盖 GitHub Copilot、Hermes、OpenClaw、Perplexity、Pi 和 WorkBuddy 等智能体应用。
推荐理由:NVIDIA 官方汇总 RTX Spark 笔记本上市前的本地 AI 软件生态更新,可了解端侧智能体与开发工具的落地节奏。
面壁智能发布新一代端侧多模态大模型 MiniCPM-V 4.7,提供 35B-A3B 和 1B 两种规格,其中 35B-A3B 是 MiniCPM-V 系列首个 MoE 模型。
阿里千问团队推出 QwenGyre,一个面向超长时程智能体训练的弹性强化学习框架,通过在线 RL 用未经修改的黑盒 harness 训练编码智能体,单次 rollout 可运行数小时、处理近 100 万 token。
Sakana AI 与 UC Berkeley 提出 Multi-Agent Self-Supervision(MASS),让同一个语言模型同时承担解题、优化工作流和评判结果三种角色,实现递归自我改进。
Microsoft Research 提出 StudentSim,一个用公开去标识化学习记录训练个性化 AI 学生模拟器的研究系统,可在真实学习者测试前评估和改进 AI 辅导系统。该系统从行为保真度和指导响应性两个维度评估模拟器,并配套推出覆盖国际象棋、英语二语写作和数学的 StudentSimEval 基准,表现优于主流基线。StudentSim 并非产品,不部署于课堂,也不旨在取代教师。
AWS 发布面向 llama.cpp 的 Deep Learning Container,可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型,并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
蚂蚁 inclusionAI 发布双臂灵巧操作基准 BiDex-100,覆盖 106 个任务、五大能力维度(Memory、Long-Horizon、Instruction-Following。
阿布扎比技术创新研究院(TII)发布 1.6B 参数的阿拉伯语语音识别模型 Falcon-ASR,在 6 个阿拉伯语测试集上平均 WER 为 20.92%,比 Audar-ASR-V1-Turbo 的 23.17% 低 2.25 个百分点。
Artificial Analysis 上线 Cognition 构建的编码基准 FrontierCode 1.1,任务要求智能体修改真实开源仓库,由维护者标准判断改动是否达到可合并程度,并额外考察改动过大、越界修改文件、添加无用测试等行为。
vLLM 引入双向 KV 传输,让 decode 节点把已计算的 KV 缓存回传给 prefill 节点,避免多轮对话中重复计算上下文。在 1P1D 的 Amazon EC2 P5en 加 EFA 部署上,最长提示下 TTFT 降低约 1.6 倍(Qwen3-32B)和 3.3 倍(zai-org/GLM-5-FP8)。
推荐理由:vLLM 新增双向 KV 传输,读者可了解多轮智能体场景下降低 TTFT 的机制与实测数据。
Cloudflare 发布 Clef-omni,这是其 Clef 决策模型家族的新开源权重成员,可在一次调用中对文本、图像、音频和视频打分。
vLLM Semantic Router 团队发布 Decision 3.0 多模态决策模型家族,共 5 个尺寸,从 0.85B 到 26.09B,全部采用 Apache-2.0 许可。
一位非 AI 专家在 M5 Ultra Mac Studio(256GB 统一内存)上安装开源 Hermes Agent,并选用 1250 亿参数、约 105GB 的 Qwen 3.8 Flash Next 本地模型,尝试用本地 LLM 处理日常任务。
蚂蚁 inclusionAI 发布 PolyOCR-Venus 统一 OCR 基础模型家族,包含 2B 和 9B 两个版本,基于 Qwen3.5 视觉语言骨干,覆盖文本识别、定位、文档解析、信息抽取、多语言转换和 OCR 推理六类能力。
vLLM 现已支持 NVIDIA Vera Rubin NVL72,官方称在 AgentX 上匹配交互性时每 GPU 吞吐量最高达 GB200 NVL72 的 7.8 倍,在 MLPerf 中 VLM 吞吐量最高达 GB300 NVL72 的 3.7 倍。
推荐理由:vLLM 官方给出 Rubin 平台的早期适配状态与实测吞吐数据,可据此判断新硬件上的推理部署进展。
Prime Intellect 将 Prime Agent 从 TypeScript 重写为 Rust,由 2000 多个智能体在两周内完成端到端重写,消耗超 2000 亿 token,运行在 10000 多个 Prime Sandboxes 上。
推荐理由:官方披露用 2000 多个智能体把 Prime Agent 从 TypeScript 重写为 Rust 的完整流程与性能数据,可看多智能体编排如何落地。
作者在单张 RTX 5090(32 GB 显存)上实现了 15 秒内生成 15 秒 448×256 视频的实时方案,使用 FastVideo 的 FastH3 V2 checkpoint 并采用四步采样。
推荐理由:作者把多项优化拼成单卡实时视频方案,并公开了可复用的开源节点与实测数据。
a16z 宣布投资 Preference Model,该公司为前沿实验室构建强化学习环境,专注 AI 研究与 ML 工程任务。团队本周开源了生产环境使用的框架 Karotte,内置评分前清理残留进程、拒绝可导致评分器崩溃的文件等防御机制,已通过超过一百万次评估运行和受控红队测试。
微软亚洲研究院开源 Agent Lightning v1.0,提出 Harnessed Agentic RL 训练范式,让部署时使用的同一套 agent harness 直接参与强化学习,无需在训练框架内重新实现智能体。
推荐理由:微软开源 Agent Lightning v1.0,读者可了解用真实 harness 做智能体 RL 训练的思路与 3500 行代码的工程取舍。
英国 AI Security Institute 发布开源 Python 包 Transect,基于 Inspect Scout 构建,把智能体评测的 transcript 转成一份交互式报告。
推荐理由:原文给出开源工具的能力边界与可核查设计,读者可据此判断智能体评测记录如何被审阅。
Liquid AI 发布 d1-3B 和 d1-omni-600M 两款开放权重决策模型,均已在 Hugging Face 上线。
推荐理由:官方给出两款开放权重决策模型的基准、延迟与架构细节,可据此判断端侧实时决策的可用边界。
Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、740M 参数的开源多模态嵌入模型,采用 Apache 2.0 许可,将文本、图像、音频、视频映射到统一嵌入空间。
推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一进一个 740M 端侧嵌入模型,读者可据此判断本地多模态检索的可行边界。