原文发布
更快完成 RL 训练:位级一致、高性能、智能体驱动
vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel,使 rollout 与训练对每个采样 token 产生位级相同的 logprob(diff = 0)。
推荐理由:原文给出训练与推理数值不一致的量化后果和逐算子对齐方案,可了解 RL 训练稳定性的一条工程路径。
日期栏展示收录日期,历史补录归入原文日期。
原文发布
vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel,使 rollout 与训练对每个采样 token 产生位级相同的 logprob(diff = 0)。
推荐理由:原文给出训练与推理数值不一致的量化后果和逐算子对齐方案,可了解 RL 训练稳定性的一条工程路径。
原文发布
在 AI Runtime 上对 Qwen 3.8 27B 做 SFT 微调,通过系统性性能优化把完整数据集训练时间从 7 小时 44 分钟压缩到 1 小时 17 分钟,提速 6 倍,训练吞吐从 9,396 tok/s 提升。
原文发布
OLTP 面向支付、订单、库存等当前数据的高并发低延迟读写,OLAP 面向跨时间、产品、地域等维度的大规模历史数据扫描与聚合查询。两者通常并存,需靠 ETL 或 CDC 同步,新鲜度要求越高,延迟与管道开销越大。文章对比二者在查询模式、数据模型、存储与延迟上的差异,并说明数据管道、混合处理与 lakehouse 架构如何连接两者。
原文发布
HTAP(混合事务/分析处理)由 Gartner 于 2014 年提出,指在同一集成数据库系统内融合 OLTP 与 OLAP,让分析查询直接读取当前运营数据,无需等待批处理 ETL 搬运。
原文发布
vLLM 新增 push 模式的 NIXL KV 连接器,把传输协调与建立连接从解码实例的关键路径移到预填充侧的后台线程,从而降低 TTFT 与 TPOT。在 1P1D 部署、Amazon EC2 P5en 实例加 EFA 的 Qwen3-32B 基准中,push 模式相比默认 pull 模式 TTFT 最高改善 3 倍、TPOT 最高改善 30%,结果随负载与配置变化。
推荐理由:vLLM 新增 push 模式 KV 连接器,给出架构、线程模型与复现脚本,可据此评估分离式推理的延迟收益。
NVIDIA 发布 NeMo Gym,用于优化芯片设计工作流中 AI 智能体的可靠性与工具调用效率。该方案针对多阶段工程流程中早期错误会静默传播至下游及最终产物的问题,对智能体进行评估与改进,以缓解其生成看似合理却错误内容这一生产落地的主要障碍。
基于 Amazon Bedrock AgentCore 的多智能体 IDP 系统可自动分类、提取、校验业务文档,并在遇到新格式时自我训练并复用所学,后续同类文档直接进入提取流程。系统由 8 个专用智能体组成,运行于识别与训练/自动化两条图工作流,依托 Strands Agents、Amazon Textract、S3 Vectors 和 Aurora DSQL,通常可在 20 分钟内完成部署。
Tamnoon 基于 Amazon Bedrock 构建了智能体式云修复编排器 Tami,可自主调查 CNAPP 与云原生来源的安全发现并评估修复安全性,再生成带护栏和回滚指引的修复方案。该方案在 90 天内将关键云暴露减少超过 90%,且未出现生产问题。Tami 由调查、安全评分、修复和代码生成四个专用智能体组成,通过单一 API 按任务调用不同基础模型。
基于 Amazon Bedrock AgentCore 构建的 AI 智能体系统可将季度报告、合规文档和市场分析自动生成 PowerPoint 演示文稿,内部测试中耗时不到 90 秒。
Amazon SageMaker JumpStart 支持从预训练模型目录中部署模型,并用 SageMaker Python SDK 运行可重复的轻量性能测试,测完删除端点。
实时分析正成为关键能力,但“实时”并非单一要求,应从新鲜度、延迟和并发三个维度评估工作负载。文章指出,实时与批处理分析应统一在湖仓中运行,共用一份数据和一套治理,无需为 Apache Druid、Apache Pinot、ClickHouse 等专用服务引擎维护独立数据副本与管道。
NVIDIA 介绍如何借助 AI 智能体将 Apache Spark UDF 重写为 GPU 加速版本,以应对智能体 AI 带来的大规模企业数据高频复杂查询需求。方案基于 NVIDIA cuDF,利用其大规模并行能力和高带宽内存提升数据吞吐,避免成本同比例上升。
GitHub 训练了一个专为其产品需求设计的密钥分类器,采用正则候选生成加微调 ModernBERT 上下文分类的两阶段流水线,替代此前的 LLM 流水线。相比旧方案,用户接受率提升 11.5%,推送后扫描中位执行时间降低 86%,服务成本节省超过 98%,并使通用密钥检测得以扩展到推送保护环节。
Amazon Bedrock 的托管权益(managed entitlements)支持从中心账户订阅一次 AWS Marketplace 私有定价优惠(MPPO),再向组织内多个账户分发模型访问权限。
原文发布
ShipStation Global 工程团队基于 Amazon Bedrock AgentCore 打造了 Slack 内的 AI IT 服务台 Deckhand,上线后解决了 97.5% 的渠道提问,员工正面反馈率达 96%。
Orca Security 与 AWS 合作,基于 Amazon Bedrock 构建了自然语言查询智能体 Discovery AI,可将自然语言问题转换为 Sonar 查询。相比初始基线,查询成本降低 90%,输入 token 减少 93%,延迟降低 75%,目前每天处理数千次查询,响应时间 15 秒。
AWS 官方博客介绍 Grok 4.7 已在 Amazon Bedrock 上线,并演示如何用它构建工具调用智能体。作者在三个需要搜索而非查表、各有唯一正确答案的任务上,按 low、medium、high、xhigh 四档推理强度各跑六次共 72 次,智能体答对 67 次,xhigh 全部 18 次正确,low 答对 15 次且输出 token 约为 xhigh 的八分之一。
推荐理由:通过 72 次智能体运行对比四档推理强度,给出可迁移的评测设计与生产监控方法。
针对 MoE 模型在解码阶段 M 维过小导致 Hopper GPU 利用率低的问题,AWS 通过 Swap-AB 转置让专家维度 N=8192 进入首个操作数位置,在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及之后版本。
原文发布
作者用同一张工单在无约束和有约束两种情况下运行编码智能体,裸跑只通过 8 项检查中的 1 项,加入约束文件后通过 8 项。
推荐理由:作者用同一张工单做对照实验,给出四类约束文件的分工与实测差异,可迁移到自己的仓库。
LiveKit 发布 Egress 故障排查指南,覆盖常见错误、存储上传、录制内容、布局模板、Webhook 生命周期及自托管 Egress 问题,同时适用于当前 StartEgress API 和已弃用的各类 source-specific API。
IBM 的 Spyre 加速器软件栈已将 torch.compile 后端从自研的 sendnn 换成基于 PyTorch Inductor 扩展的 backend=inductor,编译器体积缩小约 7 倍。
Amazon Bedrock 面向泰国、马来西亚、新加坡、印度尼西亚和台湾五个 AWS 区域,通过全球跨区域推理提供 OpenAI GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra,其中 GPT-6 Astra 从亚太(新加坡)区域提供。
GitHub Copilot 应用入门系列介绍四种让 Copilot 适配项目的方式:仓库级自定义指令写入 .github/copilot-instructions.md。
AWS 发布面向 llama.cpp 的 Deep Learning Container,可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型,并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
AWS 发布面向多节点部署的 Ray LLM Deep Learning Container,可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署,一个节点做 prefill、另一个做 decode,并统一暴露 OpenAI 兼容端点。
Flo Health 借助 Databricks AI Runtime 在无服务器 NVIDIA H100 GPU 上对开放模型做分布式微调,用 AI 评委和隐私优先合成数据把医疗安全与有用性标准转成训练信号。
浏览器指纹识别通过收集 user agent、语言、屏幕尺寸、字体、canvas 与 WebGL 渲染、音频处理等信号并哈希成标识符,可在 cookie 被删除后仍识别回访浏览器。它分被动(HTTP 头、IP、TLS 握手)与主动(JavaScript 采集)两类,常用于追踪用户、防欺诈和检测机器人,也是 AI 智能体与爬虫被拦截的原因之一。其局限在于相似浏览器可能撞指纹,浏览器更新也会改变结果。
vLLM 引入双向 KV 传输,让 decode 节点把已计算的 KV 缓存回传给 prefill 节点,避免多轮对话中重复计算上下文。在 1P1D 的 Amazon EC2 P5en 加 EFA 部署上,最长提示下 TTFT 降低约 1.6 倍(Qwen3-32B)和 3.3 倍(zai-org/GLM-5-FP8)。
推荐理由:vLLM 新增双向 KV 传输,读者可了解多轮智能体场景下降低 TTFT 的机制与实测数据。
Figma 设计运营经理 Jake Geller 发起“AI Collective”学习小组试点,将设计师按兴趣分成五个小组,每组每周用一小时、持续六周,由同伴带教并搭配 20 分钟讲解与 40 分钟实操。Sephora 则把双周论坛从只展示成品改为讲清尝试过程与失败经验,并设 Slack 和 Teams 频道延续讨论。
Postman 的 Agent Mode 运行在 Amazon Bedrock 上,为 4000 万开发者提供跨 API 测试、文档、发现和实现的 AI 原生工作方式。
Tessl 发布 Tessl Code Review,把代码审查拆成标准、视角、发现、裁决、回应与记忆六部分,用智能体并行执行。内置正确性与数据完整性、安全与隐私、规模与韧性、可维护性与代码质量四个视角,均以技能形式打包并应用团队标准。该工具可免费安装到代码仓库,在下一个 PR 上运行首个审查循环。
Baseten 发文解析高质量 NVFP4 4-bit 量化的实现路径,指出关键在于判断哪些层能承受 4 bit、哪些需要更高精度,并给出启发式规则、单层敏感度打分和 SaturationQuant 三种方案。
Databricks 的 Lakebase Postgres 通过数据库分支为并行编码智能体提供隔离环境,可在 1 秒内分支整个数据库,采用 copy-on-write 使分支共享父分支数据、仅按差异占用额外存储,并支持 scale-to-zero 让空闲分支不产生计算成本。每个分支完全隔离,智能体可独立执行迁移、测试并在完成后销毁分支;每个 PR 也会自动创建以生产分支为父级的临时分支用于验证。
NVIDIA 开发者用前沿 AI 模型(如 GPT-6 Astra)配合 Omniverse 库,通过自然语言指令构建仿真应用。Omniverse 库提供 GPU 加速的物理、渲染与传感器仿真能力,示例项目包括仓库人形机器人模拟器、自动驾驶测试工作流、数字孪生传感器对比、Robo Olympics 机器人运动测试、机器人拆解以及国际空间站浏览器应用。
NVIDIA 发布基于 Omniverse 库的 5 步工作流,用于将 CAD 资产转换为机器人仿真所需的 SimReady 资产。该流程遵循 SimReady Foundation 规范,并借助 NVIDIA 智能体技能,完成材质、碰撞几何、关节等物理属性的配置与验证,而非仅做几何到 OpenUSD 的格式转换。
作者在单张 RTX 5090(32 GB 显存)上实现了 15 秒内生成 15 秒 448×256 视频的实时方案,使用 FastVideo 的 FastH3 V2 checkpoint 并采用四步采样。
推荐理由:作者把多项优化拼成单卡实时视频方案,并公开了可复用的开源节点与实测数据。
Leapfrog 团队正在构建名为"one brain"的组织记忆系统,让公司知识、客户上下文、会议与决策可通过智能体以自然语言查询。其最小技术栈为 OpenClaw 沙箱、GitHub 仓库、本地 Obsidian 与 Telegram,研究库当时约 1200 个文件,并另设客户信息库。
NVIDIA KGMON 团队在 KDD Cup 2026 Data Agents 竞赛中获得第二名,其系统核心思路是让智能体的 harness 更小、更清晰、更易验证。该竞赛要求智能体基于数据库、CSV 和 JSON 文件、散文文档、PDF 及简报视频等异构数据源回答自然语言问题。
NVIDIA Dynamo 用统一的会话级标识符(session_id / parent_session_id)把请求级推理服务改造成程序感知系统,实现会话感知路由、共享 KV cache 索引和跨 vLLM、SGLang 的编程式缓存迁移。
Serve AI 将其在 Retell 上拥有 224 个节点、600 多条边的对话流程图智能体重写为 LiveKit 上的单提示词智能体,借助 Agent Simulations 用约 100 通真实生产通话测试,达到 98% 通过率、1.3 秒中位轮次延迟后才切换流量。迁移首周完成且无需回滚,上线后通话拦截率提升 15%,预计每年为客户额外节省 32 万美元。