原文发布
更快完成 RL 训练:位级一致、高性能、智能体驱动
vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel,使 rollout 与训练对每个采样 token 产生位级相同的 logprob(diff = 0)。
推荐理由:原文给出训练与推理数值不一致的量化后果和逐算子对齐方案,可了解 RL 训练稳定性的一条工程路径。
日期栏展示收录日期,历史补录归入原文日期。
原文发布
vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel,使 rollout 与训练对每个采样 token 产生位级相同的 logprob(diff = 0)。
推荐理由:原文给出训练与推理数值不一致的量化后果和逐算子对齐方案,可了解 RL 训练稳定性的一条工程路径。
原文发布
在 AI Runtime 上对 Qwen 3.8 27B 做 SFT 微调,通过系统性性能优化把完整数据集训练时间从 7 小时 44 分钟压缩到 1 小时 17 分钟,提速 6 倍,训练吞吐从 9,396 tok/s 提升。
Pragmatic Engineer 播客对话 Uber 杰出工程师 Uday Kiran Medisetty,深入介绍 Uber 内部面向 AI 智能体的开发者工具链。
原文发布
OLTP 面向支付、订单、库存等当前数据的高并发低延迟读写,OLAP 面向跨时间、产品、地域等维度的大规模历史数据扫描与聚合查询。两者通常并存,需靠 ETL 或 CDC 同步,新鲜度要求越高,延迟与管道开销越大。文章对比二者在查询模式、数据模型、存储与延迟上的差异,并说明数据管道、混合处理与 lakehouse 架构如何连接两者。
原文发布
HTAP(混合事务/分析处理)由 Gartner 于 2014 年提出,指在同一集成数据库系统内融合 OLTP 与 OLAP,让分析查询直接读取当前运营数据,无需等待批处理 ETL 搬运。
原文发布
vLLM 新增 push 模式的 NIXL KV 连接器,把传输协调与建立连接从解码实例的关键路径移到预填充侧的后台线程,从而降低 TTFT 与 TPOT。在 1P1D 部署、Amazon EC2 P5en 实例加 EFA 的 Qwen3-32B 基准中,push 模式相比默认 pull 模式 TTFT 最高改善 3 倍、TPOT 最高改善 30%,结果随负载与配置变化。
推荐理由:vLLM 新增 push 模式 KV 连接器,给出架构、线程模型与复现脚本,可据此评估分离式推理的延迟收益。
NVIDIA 发布 NeMo Gym,用于优化芯片设计工作流中 AI 智能体的可靠性与工具调用效率。该方案针对多阶段工程流程中早期错误会静默传播至下游及最终产物的问题,对智能体进行评估与改进,以缓解其生成看似合理却错误内容这一生产落地的主要障碍。
基于 Amazon Bedrock AgentCore 的多智能体 IDP 系统可自动分类、提取、校验业务文档,并在遇到新格式时自我训练并复用所学,后续同类文档直接进入提取流程。系统由 8 个专用智能体组成,运行于识别与训练/自动化两条图工作流,依托 Strands Agents、Amazon Textract、S3 Vectors 和 Aurora DSQL,通常可在 20 分钟内完成部署。
Tamnoon 基于 Amazon Bedrock 构建了智能体式云修复编排器 Tami,可自主调查 CNAPP 与云原生来源的安全发现并评估修复安全性,再生成带护栏和回滚指引的修复方案。该方案在 90 天内将关键云暴露减少超过 90%,且未出现生产问题。Tami 由调查、安全评分、修复和代码生成四个专用智能体组成,通过单一 API 按任务调用不同基础模型。
基于 Amazon Bedrock AgentCore 构建的 AI 智能体系统可将季度报告、合规文档和市场分析自动生成 PowerPoint 演示文稿,内部测试中耗时不到 90 秒。
Amazon SageMaker JumpStart 支持从预训练模型目录中部署模型,并用 SageMaker Python SDK 运行可重复的轻量性能测试,测完删除端点。
MarkTechPost 发布 2026 年 9 款最佳 AI 网关排名,Bifrost 以 Go 二进制、Apache 2.0 许可和 5,000 RPS 下 11 µs 开销位列自托管性能第一,Portkey 以 MIT 许可、1,600+ 模型和内置护栏居次,LiteLLM 凭 53.8K GitHub stars 和 100+ 提供商覆盖最广。
本教程演示如何用 Meta 的分配求解器 Rebalancer(C++ 内核 + Python 绑定)完成数据中心任务放置:定义对象、容器、维度、作用域与分区,添加约束和目标,再选择局部搜索或精确混合整数求解器 HiGHS。在 24 次求解中,有 14 次 solved 标志为 True 却仍让内存超容;局部搜索下的 HARD 会返回违规起点而不报错,拼错的 spec 键被静默忽略。
原文发布
用 Python 3.15 内置的 `profiling.sampling` 对未修改的 web-edit 应用做采样剖析,发现混合换行符保留是编辑负载的主要开销:`preserve_endings` 出现在 64.8% 的 15,296 个 CPU 栈中,`SequenceMatcher.find_longest_match` 占叶子样本的 38.3%。
实时分析正成为关键能力,但“实时”并非单一要求,应从新鲜度、延迟和并发三个维度评估工作负载。文章指出,实时与批处理分析应统一在湖仓中运行,共用一份数据和一套治理,无需为 Apache Druid、Apache Pinot、ClickHouse 等专用服务引擎维护独立数据副本与管道。
NVIDIA 介绍如何借助 AI 智能体将 Apache Spark UDF 重写为 GPU 加速版本,以应对智能体 AI 带来的大规模企业数据高频复杂查询需求。方案基于 NVIDIA cuDF,利用其大规模并行能力和高带宽内存提升数据吞吐,避免成本同比例上升。
GitHub 训练了一个专为其产品需求设计的密钥分类器,采用正则候选生成加微调 ModernBERT 上下文分类的两阶段流水线,替代此前的 LLM 流水线。相比旧方案,用户接受率提升 11.5%,推送后扫描中位执行时间降低 86%,服务成本节省超过 98%,并使通用密钥检测得以扩展到推送保护环节。
Amazon Bedrock 的托管权益(managed entitlements)支持从中心账户订阅一次 AWS Marketplace 私有定价优惠(MPPO),再向组织内多个账户分发模型访问权限。
Sam Newman 出版新书《Building Resilient Distributed Systems》,因 AI 相关内容返工修订,耗时三年完成。书中探讨灾难恢复(DR),包括 RPO、RTO 指标,以及备份恢复、pilot light、warm failover 和多站点 active-active 等模式。
原文发布
ShipStation Global 工程团队基于 Amazon Bedrock AgentCore 打造了 Slack 内的 AI IT 服务台 Deckhand,上线后解决了 97.5% 的渠道提问,员工正面反馈率达 96%。
Orca Security 与 AWS 合作,基于 Amazon Bedrock 构建了自然语言查询智能体 Discovery AI,可将自然语言问题转换为 Sonar 查询。相比初始基线,查询成本降低 90%,输入 token 减少 93%,延迟降低 75%,目前每天处理数千次查询,响应时间 15 秒。
AWS 官方博客介绍 Grok 4.7 已在 Amazon Bedrock 上线,并演示如何用它构建工具调用智能体。作者在三个需要搜索而非查表、各有唯一正确答案的任务上,按 low、medium、high、xhigh 四档推理强度各跑六次共 72 次,智能体答对 67 次,xhigh 全部 18 次正确,low 答对 15 次且输出 token 约为 xhigh 的八分之一。
推荐理由:通过 72 次智能体运行对比四档推理强度,给出可迁移的评测设计与生产监控方法。
针对 MoE 模型在解码阶段 M 维过小导致 Hopper GPU 利用率低的问题,AWS 通过 Swap-AB 转置让专家维度 N=8192 进入首个操作数位置,在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及之后版本。
Geoffrey Huntley 提出用 pre-commit hook 检查 git diff,发现绕过其 diagnostics 模块直接调用可观测性模块的代码就拒绝提交,并向 AI 智能体注入提示词要求改用该 diagnostics 库,效果随即从不及格变成十分满分。他认为在智能体不主动使用指定库时,靠更新 AGENTS.md 仍会有偏差并逐渐漂移,钩子式强制约束更可靠。
原文发布
作者用同一张工单在无约束和有约束两种情况下运行编码智能体,裸跑只通过 8 项检查中的 1 项,加入约束文件后通过 8 项。
推荐理由:作者用同一张工单做对照实验,给出四类约束文件的分工与实测差异,可迁移到自己的仓库。
LiveKit 发布 Egress 故障排查指南,覆盖常见错误、存储上传、录制内容、布局模板、Webhook 生命周期及自托管 Egress 问题,同时适用于当前 StartEgress API 和已弃用的各类 source-specific API。
IBM 的 Spyre 加速器软件栈已将 torch.compile 后端从自研的 sendnn 换成基于 PyTorch Inductor 扩展的 backend=inductor,编译器体积缩小约 7 倍。
Python 3.15 正式发布,带来 PEP 810 显式惰性导入(lazy import)和推导式解包语法,标准库新增采样分析器 Tachyon(profiling.sampling),可对运行中进程采样并生成火焰图。
Amazon Bedrock 面向泰国、马来西亚、新加坡、印度尼西亚和台湾五个 AWS 区域,通过全球跨区域推理提供 OpenAI GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra,其中 GPT-6 Astra 从亚太(新加坡)区域提供。
GitHub Copilot 应用入门系列介绍四种让 Copilot 适配项目的方式:仓库级自定义指令写入 .github/copilot-instructions.md。
AWS 发布面向 llama.cpp 的 Deep Learning Container,可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型,并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
AWS 发布面向多节点部署的 Ray LLM Deep Learning Container,可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署,一个节点做 prefill、另一个做 decode,并统一暴露 OpenAI 兼容端点。
Flo Health 借助 Databricks AI Runtime 在无服务器 NVIDIA H100 GPU 上对开放模型做分布式微调,用 AI 评委和隐私优先合成数据把医疗安全与有用性标准转成训练信号。
浏览器指纹识别通过收集 user agent、语言、屏幕尺寸、字体、canvas 与 WebGL 渲染、音频处理等信号并哈希成标识符,可在 cookie 被删除后仍识别回访浏览器。它分被动(HTTP 头、IP、TLS 握手)与主动(JavaScript 采集)两类,常用于追踪用户、防欺诈和检测机器人,也是 AI 智能体与爬虫被拦截的原因之一。其局限在于相似浏览器可能撞指纹,浏览器更新也会改变结果。
vLLM 引入双向 KV 传输,让 decode 节点把已计算的 KV 缓存回传给 prefill 节点,避免多轮对话中重复计算上下文。在 1P1D 的 Amazon EC2 P5en 加 EFA 部署上,最长提示下 TTFT 降低约 1.6 倍(Qwen3-32B)和 3.3 倍(zai-org/GLM-5-FP8)。
推荐理由:vLLM 新增双向 KV 传输,读者可了解多轮智能体场景下降低 TTFT 的机制与实测数据。
一位非 AI 专家在 M5 Ultra Mac Studio(256GB 统一内存)上安装开源 Hermes Agent,并选用 1250 亿参数、约 105GB 的 Qwen 3.8 Flash Next 本地模型,尝试用本地 LLM 处理日常任务。
actions/python-versions 已加入 Python 3.15.0,现在可以在 GitHub Actions 测试矩阵中填写 "3.15",用新发布的 Python 3.15.0 跑测试。作者此前等待了几天,甚至让 ChatGPT 每小时克隆并 git pull 一次,以便在稳定版 3.15 加入后通知他。
Standard Bots 以约 10 亿美元估值完成 2 亿美元 C 轮融资,由 General Catalyst 和 RoboStrategy 领投,客户包括 NASA、Amazon 和 Lockheed Martin。其工业机械臂采用共享基础模型加演示微调,最大模型参数量在数十亿级别,感知模型基于超 10 亿张图像训练,推理在本地边缘 GPU 上运行以保障工厂可靠性。
Figma 设计运营经理 Jake Geller 发起“AI Collective”学习小组试点,将设计师按兴趣分成五个小组,每组每周用一小时、持续六周,由同伴带教并搭配 20 分钟讲解与 40 分钟实操。Sephora 则把双周论坛从只展示成品改为讲清尝试过程与失败经验,并设 Slack 和 Teams 频道延续讨论。
Postman 的 Agent Mode 运行在 Amazon Bedrock 上,为 4000 万开发者提供跨 API 测试、文档、发现和实现的 AI 原生工作方式。