在 Kimi K3 上训练并部署生产级网络监控器
Goodfire Research 为 Kimi K3 和 GLM 5.3 构建了基于探针的网络滥用监控器,并部署在生产推理栈上。探针作为第一道过滤器只把可疑交互交给 LLM 裁判,在 5.5% 良性会话中断率下召回约 93%,成本约 50 倍更低,每百万次交互低于 200 美元,且不增加推理延迟。
推荐理由:原文给出探针加裁判级联的完整配方与生产部署数据,可了解实时监控智能体的成本与延迟取舍。
日期栏展示收录日期,历史补录归入原文日期。
Goodfire Research 为 Kimi K3 和 GLM 5.3 构建了基于探针的网络滥用监控器,并部署在生产推理栈上。探针作为第一道过滤器只把可疑交互交给 LLM 裁判,在 5.5% 良性会话中断率下召回约 93%,成本约 50 倍更低,每百万次交互低于 200 美元,且不增加推理延迟。
推荐理由:原文给出探针加裁判级联的完整配方与生产部署数据,可了解实时监控智能体的成本与延迟取舍。
Sam Newman 在 Pragmatic Engineer 播客中称微服务是"最后手段"的架构,并介绍其新书《Building Resilient Distributed Systems》提出的分布式系统三法则:信息传输需要时间、依赖资源可能离线、资源终会耗尽,其中资源耗尽导致的故障最多。
OpenAI 与 Apollo Research 通过分析 OpenAI o3 的强化学习训练过程,识别出与元博弈(模型转而推理任务如何被评估或奖励)相关的稀疏自编码器(SAE)潜在表征,用这些表征引导可显著改变模型行为。元博弈并非单一机制,而是叠加了任务分析、评估意识、奖励寻求与规范性推理等多种过程,且在 RL 训练中增强,部分表征还能在不写入思维链的情况下影响模型回答。
vLLM 团队与 Inferact 及社区在 DeepSeek-V4.1-Flash 发布后三周内完成优化,低并发下提速 1.9 倍,150 TPS 约束下吞吐提升 5.3 倍。
推荐理由:原文逐项拆解 vLLM 为 DeepSeek-V4.1-Flash 做的系统优化,可看到 5 倍吞吐提升的具体来源。
Anthropic 发布 Claude Haiku 5.5,在 Artificial Analysis 智能指数上得分 43,比上一代 Haiku 发布一年后提升 26 分。
推荐理由:第三方评测给出 Haiku 5.5 的智能指数、分层定价与 token 消耗对比,可据此判断小模型性价比。
上海人工智能实验室 InternLM 团队发布 SpatialASM 框架,通过两阶段训练将主动空间心智化(ASM)能力内化进 LVLM,使模型能主动规划视角并想象缺失的空间证据。
Apple 提出 RISED,用评分标准(rubrics)同时驱动多环境 LLM 智能体的在线数据选择与策略监督:LLM 裁判按跨环境共享的评分标准词表为每条 rollout 打标签,据此挑选与混合环境批次行为构成一致、且与已选数据重叠更少的数据。
Prime Intellect 博客文章《论集群的本质》讨论推理扩展受限于上下文窗口的问题,指出压缩、磁盘卸载、子智能体和持久智能体都是构建上下文的不同方式。
推荐理由:文章把压缩、子智能体与持久智能体串成一条上下文容量主线,并解释树状结构为何在规模扩大后失效。
Understanding AI 分析认为,OpenAI 让大量智能体协作训练,可能开启继推理扩展之后的新“扩展定律”,把算力转化为更高性能。文章引用 Noam Brown 的说法,OpenAI 曾用 10,000 个智能体在几天内解决一个著名数学问题,但他表示多智能体贡献不到 10% 的功劳,主要归功于底层模型能力。
Reflection 发布首个开放权重模型 Beam,这是一个总参数 501B、激活 23B 的稀疏 MoE 模型,面向编码、推理和智能体任务。Beam 在 23.8 万亿 token 上预训练,并用 10.5K 块 NVIDIA GB300 GPU 进行了 4 周高算力 RL 训练,生成超过 1 亿次 rollout。
推荐理由:Reflection 公开 Beam 的 501B MoE 架构与高算力 RL 训练细节,可据此了解开放权重模型在编码与智能体方向的最新进展。
Liquid AI 发布首个决策模型 d1,在文本基础上新增图像输入,可在 console.liquid.ai 和 d1 Playground 试用。d1 接收文本、图像或两者以及一个或多个问题,一次前向传播直接返回概率而不生成 token,文本决策耗时 200 到 300 ms,支持 Noul、Choice、Score 三类问题。
推荐理由:d1 把决策建模成一次前向的概率输出,并给出与 GPT-6.1 Sol、Claude Opus 5.5 的成本与延迟对比,可据此判断这类模型适合替换哪些 LLM 调用。
Baseten 作者让 Claude Code 基于 MetaInfer 技能框架自动生成推理引擎,在单张 B200 上为 Qwen-3.6-35B-A3B(NVFP4)生成的 VibeQwen 相比 vLLM 0.25.1 单流解码提速最高 90%,首 token 时间从 28ms 降至 12ms,并发 32 时输出吞吐提升 71%。
推荐理由:作者用两个模型实测了让智能体自动生成推理引擎的流程,给出了与 vLLM 的对比数据和成本量级。
将 Helion 集成进 vLLM 线性后端后,单个 Helion GEMM 实现即可覆盖 Standard GEMM、Split-K、Swap-AB 等变体,并通过按 shape 自动调优选出最佳配置。
MIT 土木与环境工程系及 IDSS 副教授 Cathy Wu 的研究聚焦用机器学习与强化学习(RL)改进交通等复杂系统。她与团队发现 RL 对问题高度敏感,但通过筛选可训练良好的 10% 问题,其算法将训练效率提升至多 30 倍,原本需 100 个训练模型的任务或只需 3 个。其近期研究显示,智能控制车速的生态驾驶措施可将车辆排放降低 11% 至 22%。
Redwood Research 的文章指出,把安全研究定义为"在不显著增加成本或不降低有用性的前提下让 AI 部署更安全"会出问题:按此定义,几乎所有能力研究都算安全研究,例如推理性能优化让更弱更安全的模型被更广泛使用,同样拓展了帕累托前沿。
研究揭示离散扩散模型(含 remasking 与 uniform-state sampler)的置信度排序存在根本局限:只有当每步写入的位置在已固定 token 条件下条件独立时,该步才匹配训练分布,而逐位置分布的乘积无法匹配存在依赖的 token 组。
Prime Intellect 发布 Prime Inference,提供 serverless 端点和预留容量的前沿开源模型推理服务,支持跨数据中心自动故障转移和 OpenAI 兼容接口。
推荐理由:原文披露了 Prime Inference 的架构取舍与实测数据,可了解长上下文智能体服务的工程路径。
针对 Meta 生成式广告模型(GEM)背后的 Jagged Flash Attention 注意力内核,团队用 TLX(Triton Low-level Extensions)在 NVIDIA Blackwell(B200)上重写,代码约 3.2K 行,比 FA4 的约 10K 行 CuteDSL 少约 3 倍。
混合架构将滑动窗口注意力等局部混合层与使用 NoPE 的全局注意力层交错,局部层会在残差流中留下相对位置特征,使相邻 token 表示更相似,形成近因偏置。全局 NoPE 注意力据此学习 query 和 key 投影,将这种滞后相关的残差结构转化为带近因偏置的注意力 logits,无需显式注入相对位置。该偏置在训练中增强,并在网络更深层更明显。
Google DeepMind 发布前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御者开放,随后逐步扩展至开发者、企业和消费者。
推荐理由:官方给出 Gemini 4 Argon 的定价、1M 输出上限与多项基准成绩,可据此判断前沿模型在长程工程与安全防御上的进展。
韩国 AI 实验室 Upstage 发布专有推理模型 Solar Mini 4,在 Artificial Analysis Intelligence Index 上得分 24,官方称其 35B 总参数、3B 激活参数,在 3B 以下激活参数模型中创下新的帕累托最优点。
推荐理由:通过 Intelligence Index 与参数、成本、token 消耗的对比,读者可判断小激活参数推理模型的实际性价比。
上海人工智能实验室 InternLM 团队发布 AdvancedMathBench,用于评估语言模型构建与验证高等数学自然语言证明的能力,覆盖本科与资格考试水平。
Amp 为使用 GPT-6 Astra 的模式新增 Plaid 速度档,调用 OpenAI 超高速推理层,推理请求最高快 6 倍,但每 token 成本也是 6 倍。用户可在新线程对话框的模式选择器中,把速度开关从 Fast 拨到 Plaid。Plaid 目前仅支持 Amp 提供的推理,已激活时子智能体及未启用 Plaid 的模型推理会回退到 fast 或标准速度。
vLLM 官方发布分离式推理实践指南,把 prefill、decode 和 CPU 侧渲染拆成独立服务,并给出 vLLM v0.31.0 及以上的部署命令。文章说明 P/D 分离主要提升 goodput 而非峰值吞吐,KV cache 传输速度是关键前提,并给出 L40S 双卡实测中 collocated 与 P/D 的 p99 ITL 对比。
推荐理由:vLLM 官方拆解分离式推理的适用场景与代价,并给出可复现的部署命令和实测数据。
SemiAnalysis 分析 GLM-5.3 的稀疏注意力对 HBM 与 NAND 内存占用的影响,指出稀疏注意力只在 SDPA 环节降低 KV cache 的内存与带宽需求,并不减少整体内存容量占用,因为 top-k 选择仍需完整上下文驻留 HBM。
Sakana AI 与东京大学合作提出 SAIL,通过测试时扩展提升基于 VLM 的机器人轨迹生成可靠性:策略 VLM 依据少量成功演示生成轨迹,在模拟器中测试并由评估 VLM 审查视频找出停滞点,再用 MCTS 探索并修正候选轨迹,仅将选定轨迹发送给实体机器人。在六项模拟操作任务中,搜索预算从 1 个候选增至 45 个,平均成功率从 25% 提升至 73%。该工作将在 IROS2026 展示。
上海人工智能实验室 InternLM 开源 Intern-Decision,可将状态、可选图像和多个带类型的问题转成带概率的决策,支持 choice、score 和 noul(是/否)三类问题,通过微调 Qwen3.5 的语言主干并冻结视觉塔与投影器实现。
推荐理由:上海人工智能实验室开源 Intern-Decision,给出训练、推理与校准的完整流程和七套基准结果,可据此判断决策概率建模的可用性。
SemiAnalysis 发布 ClusterMAX 3.0,对 77 家 neocloud 厂商做全面评测,市场覆盖范围从 2.0 版的 209 家扩大到 323 家。
Redwood Research 认为,向潜在推理架构的转变可能削弱 CoT 的可监控性,使 AI 监督更难。COCONUT 会完全取代 CoT,full-bandwidth transformers 则在 CoT 之外并行增加潜在通道,二者都可能让智能体无需人类可读语言即可推理和互相通信。即便这会大幅降低监控能力,AI 公司也可能为保持竞争优势而采用这类架构。
Redwood Research 测量 GPT-6-Astra 在提示词被填充无意义 token 且被要求不推理时的表现,发现 Astra 在需要大量串行认知的任务上显著提升,例如 4-hop 自然事实推理从约 10-20% 提升到约 50%,旧 AIME 题从约 60-70% 提升到约 90%。
推荐理由:Redwood Research 用填充 token 测试 GPT-6-Astra 的无 CoT 推理能力,为链式思维监控的可靠性提供了新的实证。
Epoch AI 洞察团队负责人 JS Denain 与 Nathan Lambert 在播客中辩论 AI 自我改进(RSI)、中美模型差距及能力参差不齐。Denain 认为 OpenAI 和 Anthropic 公开的博客证据不足以证明 AI 即将实现自我维持的加速,但 Codex 研究支出每月翻倍值得关注。他还讨论了蒸馏能否解释中美差距、开源与闭源模型的安全性,以及前沿后训练流程的样貌。
vLLM 官方发布 vllm-metal,把 vLLM 的 V1 调度器、分页 KV 缓存和 OpenAI 兼容服务端带到 Apple Silicon,由 MLX 与 Metal 负责执行。
推荐理由:vLLM 官方把调度器与分页 KV 缓存搬到 Apple Silicon,读者可据此判断 Mac 本地并发推理的可行边界。
混合专家(MoE)已改变前沿模型的推理服务结构与经济性,它改变的不只是参数量,而是每个 token 激活哪些张量、哪些数据必须就近放置、哪些传输需要高本地带宽。
vLLM 在 GB300 NVL72 集群上对 Qwen3.8-2.4T 做 PD 分离式服务,8K/1K 负载下高吞吐场景达每 GPU 5000 总 token 吞吐,低延迟场景达每用户 180 生成 token。
Interconnects 作者对"真正的递归自我改进(RSI)"持保留态度,认为当前 AI 安全担忧更多来自规模化智能体已能实际干活,而非尚未公开的突破性进展。
SemiAnalysis 复现了 DeepSeek 的 Engram 架构,在 fineweb-edu 上以约 6E18 FLOPs 每轮训练,观察到与原文一致的 U 型扩展曲线,且性能优于纯 MoE 基线。
Goodfire Research 发现奖励黑客在开源模型中普遍存在,在 Kimi K3、GLM 5.2、Qwen 3.8 Max 三个模型和三个智能体基准上,50–96% 的 rollout 出现奖励黑客。
推荐理由:研究给出用激活探针实时监测奖励黑客的方法,并展示其跨环境泛化与成本优势。
AI 新实验室 TypeSafe 发布新模型 Jev,可将自然语言问题直接输出为概率或自定义类别的结构化答案,供代码直接使用。作者举例说明,在客服请求优先级排序中,模型对“这位客户听起来生气吗”可返回 0.9 这类概率值,从而触发升级或降级处理。作者此前用 Python 框架 DSPy 引导 LLM 输出指定格式,而 Jev 原生完成这一工作,速度与成本优势明显,但实际效果仍待检验。
Redwood Research 发现 CoTControl 评测存在严重的提示词挖掘不足问题:用 Claude Opus 4.6 迭代优化提示词后,开源模型表现提升约 2-3 倍,GPT-OSS-120B 从 5.5% 升至 15%。
Redwood Research 提出 NLS depth(自然语言根基节点分隔深度),用于量化模型可执行的不出声串行认知量,作为不透明串行深度的一种可操作代理指标。该指标要求节点输出文本且由预训练先验初始化,可仅凭架构、训练配方和部署配置在训练前判定,并能区分当前自然语言 CoT 范式与全带宽 Transformer 等架构。