跳到正文

日期栏展示收录日期,历史补录归入原文日期。

  1. vLLM Blog71

    原文发布

    更快完成 RL 训练:位级一致、高性能、智能体驱动

    vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel,使 rollout 与训练对每个采样 token 产生位级相同的 logprob(diff = 0)。

    推荐理由:原文给出训练与推理数值不一致的量化后果和逐算子对齐方案,可了解 RL 训练稳定性的一条工程路径。

  2. IT之家 · 人工智能76

    昆仑万维发布世界首款消费级显卡视频大模型游戏,同步开源

    昆仑万维发布 Matrix-Game 4.0,称其为世界首款运行在单张消费级显卡上的视频大模型游戏,可在 NVIDIA RTX 5090 上实现 480p、60 FPS 实时体验,按键到画面响应延迟低于 150 毫秒。

    推荐理由:原文给出消费级显卡上的实时视频生成游戏闭环与开源入口,可据此判断端侧视频模型落地的可行路径。

  3. IT之家 · 人工智能78

    阶跃 Step 5 Preview 大模型权重开放,支持 100 万 token 上下文窗口

    阶跃正式释放 Step 5 Preview 权重,开放 BF16 与 FP8 模型权重、技术博客及配套开源开发工具。该模型面向长程 Agent 任务设计,采用稀疏 MoE 架构,总参数量 600B、每 token 激活参数仅 27B,支持 100 万 token 上下文窗口,原生支持文本与视觉输入。

    推荐理由:阶跃开源 600B 稀疏 MoE 模型权重,读者可了解其百万 token 上下文与长程 Agent 设计取舍。

  4. vLLM Blog62

    原文发布

    vLLM 推出基于 Push 的 KV 传输,改善分离式推理的 TTFT 与 TPOT

    vLLM 新增 push 模式的 NIXL KV 连接器,把传输协调与建立连接从解码实例的关键路径移到预填充侧的后台线程,从而降低 TTFT 与 TPOT。在 1P1D 部署、Amazon EC2 P5en 实例加 EFA 的 Qwen3-32B 基准中,push 模式相比默认 pull 模式 TTFT 最高改善 3 倍、TPOT 最高改善 30%,结果随负载与配置变化。

    推荐理由:vLLM 新增 push 模式 KV 连接器,给出架构、线程模型与复现脚本,可据此评估分离式推理的延迟收益。

  1. MIT News · AI66

    研究人员改进两到六周后的天气预报

    MIT 等机构的研究团队开发出一种机器学习后处理层,通过学习历史数据修正现有预报模型的误差,将两到六周(次季节)预报的准确率提升一倍,并在 ECMWF 的预报竞赛中夺得第一。该成果发表在 Nature 上,首次让这一时间尺度的预报优于气候学平均值,同时显著提升了对极端天气的预测能力。模型为开源、低成本的外挂式 wrapper,可叠加到任意预报模型上,肯尼亚气象部门已联系希望用于改进季风预报。

    推荐理由:MIT 团队用后处理层修正现有预报模型误差,把 2 至 6 周预报精度提升一倍,并给出开源低成本路径。

  2. Factory News60

    Factory 推出 OpenCompute:自托管智能体沙箱编排器

    Factory 发布 OpenCompute,一个自托管的智能体沙箱编排器,可运行在客户自选运行时上,目前处于 private preview。

    推荐理由:原文给出 OpenCompute 的架构取舍与自托管部署路径,可据此判断智能体沙箱如何落到自有基础设施。

  3. Liquid AI Blog74

    原文发布

    LFM2.5-24B-A2B:为快速端侧智能体打造

    Liquid AI 发布 LFM2.5-24B-A2B,一个 24B 参数、每 token 仅激活 2B 的推理模型,面向端侧快速私有智能体,是 LFM2.5 系列中最大也是最后一款。

    推荐理由:官方给出端侧智能体的速度、基准与部署入口,可据此判断本地 Agent 的可行边界。

  1. NVIDIA Technical Blog60

    NVIDIA Run:ai 现已开源,成为 NVIDIA DSX AI Factory 平台的一部分

    NVIDIA 将完整的 Run:ai 平台以开源软件形式发布,向客户、开发者和生态伙伴开放生产级 AI 工作负载与 GPU 编排能力。此次发布扩展了 NVIDIA DSX AI Factory 平台,把 Run:ai 确立为开放基础,让更广泛的生态能够推出差异化解决方案。

    推荐理由:NVIDIA 将 Run:ai 全平台开源并纳入 DSX AI Factory,读者可了解 GPU 编排能力的开放范围。

  2. NVIDIA Blog78

    All Systems Go:全球 PC 应用生态已为 NVIDIA RTX Spark 就绪

    NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,并联合生态伙伴推出面向本地 AI 的软件更新,涵盖 GitHub Copilot、Hermes、OpenClaw、Perplexity、Pi 和 WorkBuddy 等智能体应用。

    推荐理由:NVIDIA 官方汇总 RTX Spark 笔记本上市前的本地 AI 软件生态更新,可了解端侧智能体与开发工具的落地节奏。

  1. vLLM Blog62

    vLLM 双向 KV 传输改善多轮智能体负载的 TTFT

    vLLM 引入双向 KV 传输,让 decode 节点把已计算的 KV 缓存回传给 prefill 节点,避免多轮对话中重复计算上下文。在 1P1D 的 Amazon EC2 P5en 加 EFA 部署上,最长提示下 TTFT 降低约 1.6 倍(Qwen3-32B)和 3.3 倍(zai-org/GLM-5-FP8)。

    推荐理由:vLLM 新增双向 KV 传输,读者可了解多轮智能体场景下降低 TTFT 的机制与实测数据。

  1. vLLM Blog62

    vLLM 支持 NVIDIA Vera Rubin NVL72:吞吐量达 GB200 NVL72 的 7.8 倍

    vLLM 现已支持 NVIDIA Vera Rubin NVL72,官方称在 AgentX 上匹配交互性时每 GPU 吞吐量最高达 GB200 NVL72 的 7.8 倍,在 MLPerf 中 VLM 吞吐量最高达 GB300 NVL72 的 3.7 倍。

    推荐理由:vLLM 官方给出 Rubin 平台的早期适配状态与实测吞吐数据,可据此判断新硬件上的推理部署进展。

  2. Prime Intellect Blog71

    Prime Agent 用 Rust 重写

    Prime Intellect 将 Prime Agent 从 TypeScript 重写为 Rust,由 2000 多个智能体在两周内完成端到端重写,消耗超 2000 亿 token,运行在 10000 多个 Prime Sandboxes 上。

    推荐理由:官方披露用 2000 多个智能体把 Prime Agent 从 TypeScript 重写为 Rust 的完整流程与性能数据,可看多智能体编排如何落地。

  3. Comfy Blog62

    我如何在单张 GPU 上用 MiniMax H3 生成实时视频

    作者在单张 RTX 5090(32 GB 显存)上实现了 15 秒内生成 15 秒 448×256 视频的实时方案,使用 FastVideo 的 FastH3 V2 checkpoint 并采用四步采样。

    推荐理由:作者把多项优化拼成单卡实时视频方案,并公开了可复用的开源节点与实测数据。

  1. Microsoft Research71

    Agent Lightning v1.0:一个 3500 行的轻量级智能体 RL 框架,用真实 harness 训练智能体

    微软亚洲研究院开源 Agent Lightning v1.0,提出 Harnessed Agentic RL 训练范式,让部署时使用的同一套 agent harness 直接参与强化学习,无需在训练框架内重新实现智能体。

    推荐理由:微软开源 Agent Lightning v1.0,读者可了解用真实 harness 做智能体 RL 训练的思路与 3500 行代码的工程取舍。

  1. UK AI Security Institute60

    Transect:让大规模智能体评测更易理解

    英国 AI Security Institute 发布开源 Python 包 Transect,基于 Inspect Scout 构建,把智能体评测的 transcript 转成一份交互式报告。

    推荐理由:原文给出开源工具的能力边界与可核查设计,读者可据此判断智能体评测记录如何被审阅。

  2. Liquid AI Blog66

    Open d1:面向文本、视觉与音频的端侧决策模型

    Liquid AI 发布 d1-3B 和 d1-omni-600M 两款开放权重决策模型,均已在 Hugging Face 上线。

    推荐理由:官方给出两款开放权重决策模型的基准、延迟与架构细节,可据此判断端侧实时决策的可用边界。

  3. Google DeepMind71

    EmbeddingGemma 2:一个开放、轻量的多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、740M 参数的开源多模态嵌入模型,采用 Apache 2.0 许可,将文本、图像、音频、视频映射到统一嵌入空间。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一进一个 740M 端侧嵌入模型,读者可据此判断本地多模态检索的可行边界。

  1. Reflection Blog76

    Reflection 发布 501B 开放权重模型 Beam

    Reflection 发布首个开放权重模型 Beam,这是一个总参数 501B、激活 23B 的稀疏 MoE 模型,面向编码、推理和智能体任务。Beam 在 23.8 万亿 token 上预训练,并用 10.5K 块 NVIDIA GB300 GPU 进行了 4 周高算力 RL 训练,生成超过 1 亿次 rollout。

    推荐理由:Reflection 公开 Beam 的 501B MoE 架构与高算力 RL 训练细节,可据此了解开放权重模型在编码与智能体方向的最新进展。

  1. Prime Intellect Blog60

    Prime Inference:面向前沿开源模型的高速可靠推理服务

    Prime Intellect 发布 Prime Inference,提供 serverless 端点和预留容量的前沿开源模型推理服务,支持跨数据中心自动故障转移和 OpenAI 兼容接口。

    推荐理由:原文披露了 Prime Inference 的架构取舍与实测数据,可了解长上下文智能体服务的工程路径。

  1. Anthropic Research74

    Claude 形态的科学

    物理学家 Matthew Schwartz 在 Anthropic 客座文章中提出“Claude 形态”问题思路,即寻找最适合当前 LLM 能力的问题,而非让模型像人类科学家那样工作。他据此构建开源工具包 BootLoops,用于定量科学中的精确计算,并在生态学、群体遗传学、语言学等领域与专家合作取得进展。文中还给出应对模型虚报完成、时间估计失准等失败模式的具体经验。

    推荐理由:作者以第一手实践复盘如何为 Claude 设计适配问题,并给出跨学科协作与工具化的可迁移方法。