原文发布
更快完成 RL 训练：位级一致、高性能、智能体驱动
vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel，使 rollout 与训练对每个采样 token 产生位级相同的 logprob（diff = 0）。
推荐理由：原文给出训练与推理数值不一致的量化后果和逐算子对齐方案，可了解 RL 训练稳定性的一条工程路径。
#推理
日期栏展示收录日期，历史补录归入原文日期。
vLLM Blog精选AI 评分7171 vLLM BlogAI 评分3030 原文发布
无需置信头的自适应验证
vLLM 为所有基于草稿模型的投机解码器类型支持置信度评分，无需置信头即可启用自适应验证（AV）。该方案用在线拟合的逻辑回归，从草稿模型 logits 的 log-odds 特征预测目标模型的接受概率，K 个 token 的草稿器仅需 K+1 个参数，参数随线上流量持续拟合。
Google DeepMind精选AI 评分7878 Google DeepMind 负责任且安全地开发 Gemini 4 Argon
Google DeepMind 发布 Gemini 4 Argon，并开始广泛推送，同时扩大 Fairwind Program 覆盖更多可信网络安全防御者。该模型在模拟网络攻击场景中解决全部 12 个端到端任务，上一代为 5 个；在 Gray Swan 间接提示注入基准上，15 次自适应攻击的成功率降至 0.7%。
推荐理由：官方披露 Gemini 4 Argon 在网络安全与生物风险上的防护设计，可了解前沿模型安全部署的具体做法。
Prime Intellect Blog精选AI 评分6262 原文发布
Moondream 加入 Prime Intellect
Prime Intellect 宣布收购 Moondream，其创始人 Vik Korrapati 和 Jay Allen 将加入并负责扩展推理业务，同时推进多模态模型（含视觉与 computer use）的工作。
推荐理由：收购与整合细节展示了小模型加专用推理引擎在成本与速度上的取舍，可观察多模态推理栈的走向。
Google DeepMind同新闻AI 评分9090 Gemini 4 Argon：为解决最难题而生
Google DeepMind 发布前沿模型 Gemini 4 Argon，即日起通过 AI Studio、Gemini API、Google Antigravity 以及 Gemini 应用和 Search 的 AI Mode 面向开发者、企业和消费者开放，定价为每百万输入 token 2 美元、每百万输出 token 10 美元，缓存输入 token 享 95% 折扣。
同一新闻，精选展示《Gemini 4 Argon：为解决最棘手问题而打造》
Liquid AI Blog精选AI 评分7474 原文发布
LFM2.5-24B-A2B：为快速端侧智能体打造
Liquid AI 发布 LFM2.5-24B-A2B，一个 24B 参数、每 token 仅激活 2B 的推理模型，面向端侧快速私有智能体，是 LFM2.5 系列中最大也是最后一款。
推荐理由：官方给出端侧智能体的速度、基准与部署入口，可据此判断本地 Agent 的可行边界。
Google Blog · AI精选AI 评分9090 Gemini 4 Argon：为解决最棘手问题而打造
Google 发布 Gemini 4 Argon，即日起通过 Gemini API、AI Studio、Google Antigravity 以及 Gemini 应用和 Search 的 AI Mode 向开发者、企业和订阅用户开放，入门价每百万输入 token 2 美元、输出 token 10 美元，缓存输入享 95% 折扣。
推荐理由：官方给出 Argon 在编码、科研与安全对齐上的具体案例和定价，可据此判断前沿模型的能力边界。
AWS Machine Learning BlogAI 评分3030 Amazon SageMaker AI 上的混合专家（MoE）内核工程实践
针对 MoE 模型在解码阶段 M 维过小导致 Hopper GPU 利用率低的问题，AWS 通过 Swap-AB 转置让专家维度 N=8192 进入首个操作数位置，在 H200 上实现端到端输出吞吐提升 2–4%，该优化已合入 vLLM 0.24.0 及之后版本。
Baseten BlogAI 评分3838 用 Gradium 实现实时文本转语音
Gradium 的 TTS 模型专为实时 AI 语音智能体设计，在 Coval TTS 基准（2026 年 5 月 4 日数据）上实现 155 ms 中位 TTFA，四分位距仅 2 ms，达到快于人类语音响应的水平。
NVIDIA Technical BlogAI 评分2222 ReplaySSM：重新思考状态存储，加速混合模型解码
NVIDIA 提出 ReplaySSM，重新思考混合模型的状态存储方式以加速解码。NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3、GLM-5.3-Flash 等混合模型将 SSM 层与少量注意力层交错，SSM 层分别采用 Mamba-2、Gated DeltaNet（GDN）或 Kimi Delta Attention（KDA）。
AWS Machine Learning BlogAI 评分3434 在 Amazon SageMaker AI 上用 llama.cpp 部署决策模型
AWS 发布面向 llama.cpp 的 Deep Learning Container，可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型，并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
AWS Machine Learning BlogAI 评分3434 使用 Ray LLM Deep Learning Containers 运行多节点推理工作负载
AWS 发布面向多节点部署的 Ray LLM Deep Learning Container，可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署，一个节点做 prefill、另一个做 decode，并统一暴露 OpenAI 兼容端点。
Artificial Analysis精选AI 评分8080 Muse Wonder 与 Muse Wonder Full：相较此前 Meta 模型智能水平大幅跃升
Meta 发布 Muse Wonder 和 Muse Wonder Full，在 Artificial Analysis Intelligence Index v4.3 最高推理强度下分别得分 52 和 56，均高于 Muse Spark 1.3（max）的 48，距上次发布仅 6 周。
推荐理由：Artificial Analysis 的第三方评测给出两款新模型在智能体与编码任务上的具体分数和成本对比，可据此判断其定位。
vLLM Blog精选AI 评分6262 vLLM 双向 KV 传输改善多轮智能体负载的 TTFT
vLLM 引入双向 KV 传输，让 decode 节点把已计算的 KV 缓存回传给 prefill 节点，避免多轮对话中重复计算上下文。在 1P1D 的 Amazon EC2 P5en 加 EFA 部署上，最长提示下 TTFT 降低约 1.6 倍（Qwen3-32B）和 3.3 倍（zai-org/GLM-5-FP8）。
推荐理由：vLLM 新增双向 KV 传输，读者可了解多轮智能体场景下降低 TTFT 的机制与实测数据。
Apple Machine Learning ResearchAI 评分3939 自压缩语言模型智能体
约翰斯·霍普金斯大学提出 SELFCOMPACT，让模型自行决定何时及如何压缩上下文：通过一个压缩工具加一套轻量评分规则，判断子任务已完成或轨迹收敛时触发、推导中途或卡住时抑制。
Baseten BlogAI 评分3030 高质量的 NVFP4 量化由什么决定？
Baseten 发文解析高质量 NVFP4 4-bit 量化的实现路径，指出关键在于判断哪些层能承受 4 bit、哪些需要更高精度，并给出启发式规则、单层敏感度打分和 SaturationQuant 三种方案。
vLLM Blog精选AI 评分6262 vLLM 支持 NVIDIA Vera Rubin NVL72：吞吐量达 GB200 NVL72 的 7.8 倍
vLLM 现已支持 NVIDIA Vera Rubin NVL72，官方称在 AgentX 上匹配交互性时每 GPU 吞吐量最高达 GB200 NVL72 的 7.8 倍，在 MLPerf 中 VLM 吞吐量最高达 GB300 NVL72 的 3.7 倍。
推荐理由：vLLM 官方给出 Rubin 平台的早期适配状态与实测吞吐数据，可据此判断新硬件上的推理部署进展。
PyTorch BlogAI 评分4848 基于 NVIDIA Dynamo 的会话感知智能体推理
NVIDIA Dynamo 用统一的会话级标识符（session_id / parent_session_id）把请求级推理服务改造成程序感知系统，实现会话感知路由、共享 KV cache 索引和跨 vLLM、SGLang 的编程式缓存迁移。
Goodfire Research精选AI 评分7171 在 Kimi K3 上训练并部署生产级网络监控器
Goodfire Research 为 Kimi K3 和 GLM 5.3 构建了基于探针的网络滥用监控器，并部署在生产推理栈上。探针作为第一道过滤器只把可疑交互交给 LLM 裁判，在 5.5% 良性会话中断率下召回约 93%，成本约 50 倍更低，每百万次交互低于 200 美元，且不增加推理延迟。
推荐理由：原文给出探针加裁判级联的完整配方与生产部署数据，可了解实时监控智能体的成本与延迟取舍。
OpenAI Alignment ResearchAI 评分4141 研究语言模型中的元博弈潜在表征
OpenAI 与 Apollo Research 通过分析 OpenAI o3 的强化学习训练过程，识别出与元博弈（模型转而推理任务如何被评估或奖励）相关的稀疏自编码器（SAE）潜在表征，用这些表征引导可显著改变模型行为。元博弈并非单一机制，而是叠加了任务分析、评估意识、奖励寻求与规范性推理等多种过程，且在 RL 训练中增强，部分表征还能在不写入思维链的情况下影响模型回答。
vLLM Blog精选AI 评分7878 DeepSeek-V4.1-Flash 在 vLLM 上：Day 0 以来智能体吞吐提升 5 倍
vLLM 团队与 Inferact 及社区在 DeepSeek-V4.1-Flash 发布后三周内完成优化，低并发下提速 1.9 倍，150 TPS 约束下吞吐提升 5.3 倍。
推荐理由：原文逐项拆解 vLLM 为 DeepSeek-V4.1-Flash 做的系统优化，可看到 5 倍吞吐提升的具体来源。
Artificial Analysis精选AI 评分7878 Anthropic 发布 Claude Haiku 5.5
Anthropic 发布 Claude Haiku 5.5，在 Artificial Analysis 智能指数上得分 43，比上一代 Haiku 发布一年后提升 26 分。
推荐理由：第三方评测给出 Haiku 5.5 的智能指数、分层定价与 token 消耗对比，可据此判断小模型性价比。
上海人工智能实验室 InternLM · 新项目AI 评分4848 InternLM/SpatialASM
上海人工智能实验室 InternLM 团队发布 SpatialASM 框架，通过两阶段训练将主动空间心智化（ASM）能力内化进 LVLM，使模型能主动规划视角并想象缺失的空间证据。
Apple Machine Learning ResearchAI 评分2727 RISED：面向智能体多环境选择与自蒸馏的评分标准
Apple 提出 RISED，用评分标准（rubrics）同时驱动多环境 LLM 智能体的在线数据选择与策略监督：LLM 裁判按跨环境共享的评分标准词表为每条 rollout 打标签，据此挑选与混合环境批次行为构成一致、且与已选数据重叠更少的数据。
Prime Intellect Blog精选AI 评分6262 论集群的本质
Prime Intellect 博客文章《论集群的本质》讨论推理扩展受限于上下文窗口的问题，指出压缩、磁盘卸载、子智能体和持久智能体都是构建上下文的不同方式。
推荐理由：文章把压缩、子智能体与持久智能体串成一条上下文容量主线，并解释树状结构为何在规模扩大后失效。
Reflection Blog精选AI 评分7676 Reflection 发布 501B 开放权重模型 Beam
Reflection 发布首个开放权重模型 Beam，这是一个总参数 501B、激活 23B 的稀疏 MoE 模型，面向编码、推理和智能体任务。Beam 在 23.8 万亿 token 上预训练，并用 10.5K 块 NVIDIA GB300 GPU 进行了 4 周高算力 RL 训练，生成超过 1 亿次 rollout。
推荐理由：Reflection 公开 Beam 的 501B MoE 架构与高算力 RL 训练细节，可据此了解开放权重模型在编码与智能体方向的最新进展。
Liquid AI Blog精选AI 评分7878 Liquid AI 发布 d1 决策模型，新增视觉支持
Liquid AI 发布首个决策模型 d1，在文本基础上新增图像输入，可在 console.liquid.ai 和 d1 Playground 试用。d1 接收文本、图像或两者以及一个或多个问题，一次前向传播直接返回概率而不生成 token，文本决策耗时 200 到 300 ms，支持 Noul、Choice、Score 三类问题。
推荐理由：d1 把决策建模成一次前向的概率输出，并给出与 GPT-6.1 Sol、Claude Opus 5.5 的成本与延迟对比，可据此判断这类模型适合替换哪些 LLM 调用。
Baseten Blog精选AI 评分6262 智能体推理优化：引擎提速 50-90%
Baseten 作者让 Claude Code 基于 MetaInfer 技能框架自动生成推理引擎，在单张 B200 上为 Qwen-3.6-35B-A3B（NVFP4）生成的 VibeQwen 相比 vLLM 0.25.1 单流解码提速最高 90%，首 token 时间从 28ms 降至 12ms，并发 32 时输出吞吐提升 71%。
推荐理由：作者用两个模型实测了让智能体自动生成推理引擎的流程，给出了与 vLLM 的对比数据和成本量级。
PyTorch BlogAI 评分4040 用 Helion 为 vLLM 构建高性能、可移植的线性后端
将 Helion 集成进 vLLM 线性后端后，单个 Helion GEMM 实现即可覆盖 Standard GEMM、Split-K、Swap-AB 等变体，并通过按 shape 自动调优选出最佳配置。
MIT News · AIAI 评分1212 用计算工具应对社会最复杂的挑战
MIT 土木与环境工程系及 IDSS 副教授 Cathy Wu 的研究聚焦用机器学习与强化学习（RL）改进交通等复杂系统。她与团队发现 RL 对问题高度敏感，但通过筛选可训练良好的 10% 问题，其算法将训练效率提升至多 30 倍，原本需 100 个训练模型的任务或只需 3 个。其近期研究显示，智能控制车速的生态驾驶措施可将车辆排放降低 11% 至 22%。
Redwood ResearchAI 评分2424 能力研究同样在拓展安全-有用性帕累托前沿
Redwood Research 的文章指出，把安全研究定义为"在不显著增加成本或不降低有用性的前提下让 AI 部署更安全"会出问题：按此定义，几乎所有能力研究都算安全研究，例如推理性能优化让更弱更安全的模型被更广泛使用，同样拓展了帕累托前沿。
Apple Machine Learning ResearchAI 评分2222 Limits of Confidence in Diffusion
研究揭示离散扩散模型（含 remasking 与 uniform-state sampler）的置信度排序存在根本局限：只有当每步写入的位置在已固定 token 条件下条件独立时，该步才匹配训练分布，而逐位置分布的乘积无法匹配存在依赖的 token 组。
Prime Intellect Blog精选AI 评分6060 Prime Inference：面向前沿开源模型的高速可靠推理服务
Prime Intellect 发布 Prime Inference，提供 serverless 端点和预留容量的前沿开源模型推理服务，支持跨数据中心自动故障转移和 OpenAI 兼容接口。
推荐理由：原文披露了 Prime Inference 的架构取舍与实测数据，可了解长上下文智能体服务的工程路径。
PyTorch BlogAI 评分3434 用 TLX 优化 Jagged Flash Attention：迈向 Blackwell 上的 SOTA FA4 之路
针对 Meta 生成式广告模型（GEM）背后的 Jagged Flash Attention 注意力内核，团队用 TLX（Triton Low-level Extensions）在 NVIDIA Blackwell（B200）上重写，代码约 3.2K 行，比 FA4 的约 10K 行 CuteDSL 少约 3 倍。
Zyphra ResearchAI 评分3232 混合 NoPE 模型如何在无位置编码的情况下学习位置
混合架构将滑动窗口注意力等局部混合层与使用 NoPE 的全局注意力层交错，局部层会在残差流中留下相对位置特征，使相邻 token 表示更相似，形成近因偏置。全局 NoPE 注意力据此学习 query 和 key 投影，将这种滞后相关的残差结构转化为带近因偏置的注意力 logits，无需显式注入相对位置。该偏置在训练中增强，并在网络更深层更明显。
Google DeepMind精选AI 评分8282 Gemini 4 Argon：我们前沿智能的新时代
Google DeepMind 发布前沿模型 Gemini 4 Argon，先通过 Fairwind Program 向受信任的网络安全防御者开放，随后逐步扩展至开发者、企业和消费者。
推荐理由：官方给出 Gemini 4 Argon 的定价、1M 输出上限与多项基准成绩，可据此判断前沿模型在长程工程与安全防御上的进展。
Artificial Analysis精选AI 评分6262 韩国 AI 实验室 Upstage 发布 Solar Mini 4
韩国 AI 实验室 Upstage 发布专有推理模型 Solar Mini 4，在 Artificial Analysis Intelligence Index 上得分 24，官方称其 35B 总参数、3B 激活参数，在 3B 以下激活参数模型中创下新的帕累托最优点。
推荐理由：通过 Intelligence Index 与参数、成本、token 消耗的对比，读者可判断小激活参数推理模型的实际性价比。
上海人工智能实验室 InternLM · 新项目AI 评分3333 InternLM/AdvancedMathBench
上海人工智能实验室 InternLM 团队发布 AdvancedMathBench，用于评估语言模型构建与验证高等数学自然语言证明的能力，覆盖本科与资格考试水平。
Amp NewsAI 评分5050 Plaid Speed
Amp 为使用 GPT-6 Astra 的模式新增 Plaid 速度档，调用 OpenAI 超高速推理层，推理请求最高快 6 倍，但每 token 成本也是 6 倍。用户可在新线程对话框的模式选择器中，把速度开关从 Fast 拨到 Plaid。Plaid 目前仅支持 Amp 提供的推理，已激活时子智能体及未启用 Plaid 的模型推理会回退到 fast 或标准速度。
vLLM Blog精选AI 评分6565 拆解 vLLM：分离式推理实践指南
vLLM 官方发布分离式推理实践指南，把 prefill、decode 和 CPU 侧渲染拆成独立服务，并给出 vLLM v0.31.0 及以上的部署命令。文章说明 P/D 分离主要提升 goodput 而非峰值吞吐，KV cache 传输速度是关键前提，并给出 L40S 双卡实测中 collocated 与 P/D 的 p99 ITL 对比。
推荐理由：vLLM 官方拆解分离式推理的适用场景与代价，并给出可复现的部署命令和实测数据。