跳到正文

日期栏展示收录日期,历史补录归入原文日期。

今天10月15日周四5 条
  1. vLLM Blog71

    原文发布

    更快完成 RL 训练:位级一致、高性能、智能体驱动

    vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel,使 rollout 与训练对每个采样 token 产生位级相同的 logprob(diff = 0)。

    推荐理由:原文给出训练与推理数值不一致的量化后果和逐算子对齐方案,可了解 RL 训练稳定性的一条工程路径。

  2. vLLM Blog30

    原文发布

    无需置信头的自适应验证

    vLLM 为所有基于草稿模型的投机解码器类型支持置信度评分,无需置信头即可启用自适应验证(AV)。该方案用在线拟合的逻辑回归,从草稿模型 logits 的 log-odds 特征预测目标模型的接受概率,K 个 token 的草稿器仅需 K+1 个参数,参数随线上流量持续拟合。

  3. vLLM Blog62

    原文发布

    vLLM 推出基于 Push 的 KV 传输,改善分离式推理的 TTFT 与 TPOT

    vLLM 新增 push 模式的 NIXL KV 连接器,把传输协调与建立连接从解码实例的关键路径移到预填充侧的后台线程,从而降低 TTFT 与 TPOT。在 1P1D 部署、Amazon EC2 P5en 实例加 EFA 的 Qwen3-32B 基准中,push 模式相比默认 pull 模式 TTFT 最高改善 3 倍、TPOT 最高改善 30%,结果随负载与配置变化。

    推荐理由:vLLM 新增 push 模式 KV 连接器,给出架构、线程模型与复现脚本,可据此评估分离式推理的延迟收益。

  4. AWS Machine Learning Blog38

    使用 Amazon Bedrock AgentCore 构建可自我改进的文档处理系统

    基于 Amazon Bedrock AgentCore 的多智能体 IDP 系统可自动分类、提取、校验业务文档,并在遇到新格式时自我训练并复用所学,后续同类文档直接进入提取流程。系统由 8 个专用智能体组成,运行于识别与训练/自动化两条图工作流,依托 Strands Agents、Amazon Textract、S3 Vectors 和 Aurora DSQL,通常可在 20 分钟内完成部署。

10月14日周三
  1. MIT News · AI66

    研究人员改进两到六周后的天气预报

    MIT 等机构的研究团队开发出一种机器学习后处理层,通过学习历史数据修正现有预报模型的误差,将两到六周(次季节)预报的准确率提升一倍,并在 ECMWF 的预报竞赛中夺得第一。该成果发表在 Nature 上,首次让这一时间尺度的预报优于气候学平均值,同时显著提升了对极端天气的预测能力。模型为开源、低成本的外挂式 wrapper,可叠加到任意预报模型上,肯尼亚气象部门已联系希望用于改进季风预报。

    推荐理由:MIT 团队用后处理层修正现有预报模型误差,把 2 至 6 周预报精度提升一倍,并给出开源低成本路径。

  2. Liquid AI Blog74

    原文发布

    LFM2.5-24B-A2B:为快速端侧智能体打造

    Liquid AI 发布 LFM2.5-24B-A2B,一个 24B 参数、每 token 仅激活 2B 的推理模型,面向端侧快速私有智能体,是 LFM2.5 系列中最大也是最后一款。

    推荐理由:官方给出端侧智能体的速度、基准与部署入口,可据此判断本地 Agent 的可行边界。

10月13日周二
  1. NVIDIA Technical Blog60

    NVIDIA Run:ai 现已开源,成为 NVIDIA DSX AI Factory 平台的一部分

    NVIDIA 将完整的 Run:ai 平台以开源软件形式发布,向客户、开发者和生态伙伴开放生产级 AI 工作负载与 GPU 编排能力。此次发布扩展了 NVIDIA DSX AI Factory 平台,把 Run:ai 确立为开放基础,让更广泛的生态能够推出差异化解决方案。

    推荐理由:NVIDIA 将 Run:ai 全平台开源并纳入 DSX AI Factory,读者可了解 GPU 编排能力的开放范围。

  2. NVIDIA Blog78

    All Systems Go:全球 PC 应用生态已为 NVIDIA RTX Spark 就绪

    NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,并联合生态伙伴推出面向本地 AI 的软件更新,涵盖 GitHub Copilot、Hermes、OpenClaw、Perplexity、Pi 和 WorkBuddy 等智能体应用。

    推荐理由:NVIDIA 官方汇总 RTX Spark 笔记本上市前的本地 AI 软件生态更新,可了解端侧智能体与开发工具的落地节奏。

  3. Microsoft Research39

    模拟学生学习,打造更好的 AI 辅导

    Microsoft Research 提出 StudentSim,一个用公开去标识化学习记录训练个性化 AI 学生模拟器的研究系统,可在真实学习者测试前评估和改进 AI 辅导系统。该系统从行为保真度和指导响应性两个维度评估模拟器,并配套推出覆盖国际象棋、英语二语写作和数学的 StudentSimEval 基准,表现优于主流基线。StudentSim 并非产品,不部署于课堂,也不旨在取代教师。

10月12日周一
  1. vLLM Blog62

    vLLM 双向 KV 传输改善多轮智能体负载的 TTFT

    vLLM 引入双向 KV 传输,让 decode 节点把已计算的 KV 缓存回传给 prefill 节点,避免多轮对话中重复计算上下文。在 1P1D 的 Amazon EC2 P5en 加 EFA 部署上,最长提示下 TTFT 降低约 1.6 倍(Qwen3-32B)和 3.3 倍(zai-org/GLM-5-FP8)。

    推荐理由:vLLM 新增双向 KV 传输,读者可了解多轮智能体场景下降低 TTFT 的机制与实测数据。

10月10日周六
10月9日周五
  1. Prime Intellect Blog71

    Prime Agent 用 Rust 重写

    Prime Intellect 将 Prime Agent 从 TypeScript 重写为 Rust,由 2000 多个智能体在两周内完成端到端重写,消耗超 2000 亿 token,运行在 10000 多个 Prime Sandboxes 上。

    推荐理由:官方披露用 2000 多个智能体把 Prime Agent 从 TypeScript 重写为 Rust 的完整流程与性能数据,可看多智能体编排如何落地。

10月8日周四
  1. Microsoft Research71

    Agent Lightning v1.0:一个 3500 行的轻量级智能体 RL 框架,用真实 harness 训练智能体

    微软亚洲研究院开源 Agent Lightning v1.0,提出 Harnessed Agentic RL 训练范式,让部署时使用的同一套 agent harness 直接参与强化学习,无需在训练框架内重新实现智能体。

    推荐理由:微软开源 Agent Lightning v1.0,读者可了解用真实 harness 做智能体 RL 训练的思路与 3500 行代码的工程取舍。

10月7日周三
  1. Google DeepMind71

    EmbeddingGemma 2:一个开放、轻量的多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、740M 参数的开源多模态嵌入模型,采用 Apache 2.0 许可,将文本、图像、音频、视频映射到统一嵌入空间。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一进一个 740M 端侧嵌入模型,读者可据此判断本地多模态检索的可行边界。

10月6日周二
  1. 上海人工智能实验室 InternLM · 新项目48

    InternLM/SpatialASM

    上海人工智能实验室 InternLM 团队发布 SpatialASM 框架,通过两阶段训练将主动空间心智化(ASM)能力内化进 LVLM,使模型能主动规划视角并想象缺失的空间证据。

10月5日周一
  1. Reflection Blog76

    Reflection 发布 501B 开放权重模型 Beam

    Reflection 发布首个开放权重模型 Beam,这是一个总参数 501B、激活 23B 的稀疏 MoE 模型,面向编码、推理和智能体任务。Beam 在 23.8 万亿 token 上预训练,并用 10.5K 块 NVIDIA GB300 GPU 进行了 4 周高算力 RL 训练,生成超过 1 亿次 rollout。

    推荐理由:Reflection 公开 Beam 的 501B MoE 架构与高算力 RL 训练细节,可据此了解开放权重模型在编码与智能体方向的最新进展。

10月2日周五
10月1日周四
  1. Anthropic Research74

    Claude 形态的科学

    物理学家 Matthew Schwartz 在 Anthropic 客座文章中提出“Claude 形态”问题思路,即寻找最适合当前 LLM 能力的问题,而非让模型像人类科学家那样工作。他据此构建开源工具包 BootLoops,用于定量科学中的精确计算,并在生态学、群体遗传学、语言学等领域与专家合作取得进展。文中还给出应对模型虚报完成、时间估计失准等失败模式的具体经验。

    推荐理由:作者以第一手实践复盘如何为 Claude 设计适配问题,并给出跨学科协作与工具化的可迁移方法。

9月29日周二
  1. 上海人工智能实验室 InternLM · 新项目60

    InternLM/InstantFusion

    上海人工智能实验室 InternLM 开源 InstantFusion,通过共享隐空间把不同扩散模型的隐变量对齐,使去噪轨迹可以组合。方法用 Sigma 条件编码器与解码器把两个模型的隐变量映射到共享空间,训练结合重建、交叉重建、隐空间对齐和去噪速度对齐损失,可实现不同步数预算模型间的接力加速、多偏好组合以及跨模型 OPD 蒸馏。

    推荐理由:上海人工智能实验室开源 InstantFusion,给出跨扩散模型共享隐空间与模型接力去噪的完整训练和推理代码。

  2. 上海人工智能实验室 InternLM · 新项目31

    InternLM/ResOPD

    上海人工智能实验室联合上海交大等发布 ResOPD,一种稀疏在线策略蒸馏方法:精确积分教师 Top-k 粗分布,仅对尾部残差采样,复用同一稀疏教师载荷且不增加教师前向。

  3. vLLM Blog65

    拆解 vLLM:分离式推理实践指南

    vLLM 官方发布分离式推理实践指南,把 prefill、decode 和 CPU 侧渲染拆成独立服务,并给出 vLLM v0.31.0 及以上的部署命令。文章说明 P/D 分离主要提升 goodput 而非峰值吞吐,KV cache 传输速度是关键前提,并给出 L40S 双卡实测中 collocated 与 P/D 的 p99 ITL 对比。

    推荐理由:vLLM 官方拆解分离式推理的适用场景与代价,并给出可复现的部署命令和实测数据。

9月28日周一
9月25日周五
  1. 上海人工智能实验室 InternLM · 新项目62

    InternLM 开源 Intern-Decision:把状态与多类型问题转成带概率的决策

    上海人工智能实验室 InternLM 开源 Intern-Decision,可将状态、可选图像和多个带类型的问题转成带概率的决策,支持 choice、score 和 noul(是/否)三类问题,通过微调 Qwen3.5 的语言主干并冻结视觉塔与投影器实现。

    推荐理由:上海人工智能实验室开源 Intern-Decision,给出训练、推理与校准的完整流程和七套基准结果,可据此判断决策概率建模的可用性。

9月24日周四
  1. vLLM Blog62

    vLLM 中的水印技术

    vLLM 现已支持基于 Gumbel-max 算法的无失真文本水印,并集成到 Model Runner v2 的采样管线中,同时支持投机解码。实现将伪随机数生成、Gumbel 变换与 argmax 归约融合进单个 GPU kernel,在 Qwen3.5-27B 上跨 batch size 1–256 的吞吐变化在 −1.1% 到 +2.0% 之间。

    推荐理由:vLLM 把无失真文本水印接进采样管线,读者可了解其算法取舍与吞吐开销。

9月23日周三
9月22日周二