用 Helion 为 vLLM 构建高性能、可移植的线性后端
将 Helion 集成进 vLLM 线性后端后,单个 Helion GEMM 实现即可覆盖 Standard GEMM、Split-K、Swap-AB 等变体,并通过按 shape 自动调优选出最佳配置。
日期栏展示收录日期,历史补录归入原文日期。
将 Helion 集成进 vLLM 线性后端后,单个 Helion GEMM 实现即可覆盖 Standard GEMM、Split-K、Swap-AB 等变体,并通过按 shape 自动调优选出最佳配置。
GitHub 提出开发者应强化的三项技能:学会指挥 AI 智能体而非仅使用它,用第二个 AI 模型审查第一个模型的输出,以及把节省的实现时间用于理解客户需求、评估架构取舍等更大问题。文中以 GitHub Copilot 内置的 Rubber Duck agent 为例,说明第二模型可对计划、代码和测试提出批评,发现首个模型遗漏的问题。
OpenRouter 对比了 LangChain、LangGraph、CrewAI、OpenAI Agents SDK、Claude Agent SDK、Google ADK 和 Microsoft Agent Framework 六类框架处理工具调用 Schema 的方式。
OpenRouter 对比了 LangChain/LangGraph、CrewAI 与 OpenRouter 原生路由在多模型编排中的分工:LangGraph 和 CrewAI 负责工作流编排(规划、状态、记忆、委派),OpenRouter 负责模型路由与供应商路由,二者互不替代。
一位用户分享用五个提示词把 AI 使用从单次对话推进到多智能体协作,借助 skills、orchestrator threads、context packets、subagents、MCP 和 computer use 等技术,将核对股权购买成本等复杂任务拆分给多个子智能体独立完成。
OpenRouter 发布客服机器人模型路由指南,提出廉价优先策略:常规 FAQ 交给小模型,难例或不确定请求再升级到更强模型。三种应用侧模式为静态规则、分类器分流和带置信度阈值的答案检查。OpenRouter 的 Auto Router("model": "openrouter/auto")负责初始模型选择,models 数组提供错误回退,但支持政策验收检查仍需应用自己实现。
针对 Meta 生成式广告模型(GEM)背后的 Jagged Flash Attention 注意力内核,团队用 TLX(Triton Low-level Extensions)在 NVIDIA Blackwell(B200)上重写,代码约 3.2K 行,比 FA4 的约 10K 行 CuteDSL 少约 3 倍。
Figma Weave 可将产品设计系统中的字体、色彩与布局元素转化为品牌营销素材。示例中,一名产品设计师把 Figma Design 中的框架粘贴为 Figma node,配合 Image Describer 与 Color Palette node 分析配色与版式,再经 Gen Effect node 生成海报、广告牌和社交媒体三类物料。
Claude Code 推出 mods 功能,mod 是运行在会话内的 JavaScript 或 TypeScript 文件,可观察事件、改写行为或绘制自定义 UI,需 Claude Code 2.1.287 或更高版本,默认开启。
推荐理由:从空文件夹到可运行插件,完整演示 Claude Code mod 的钩子机制与状态管理,可迁移到自定义工作流。
Browser Use 博客对比了 Browser Use、KERNEL、Browserbase、Steel、Browserless、Anchor、Hyperbrowser 七家浏览器基础设施服务商,覆盖可靠性、性能与规模、开发者体验和成本四个维度。
OpenRouter 发布指南,介绍基于置信度的模型升级路由:让模型用结构化输出返回 0 到 1 的置信度分数,低于阈值时把请求转给更强的模型。
推荐理由:OpenRouter 官方给出的置信度阈值路由五步法,含结构化输出取分与按错误率定阈值的可复用流程。
物理学家 Matthew Schwartz 在 Anthropic 客座文章中提出“Claude 形态”问题思路,即寻找最适合当前 LLM 能力的问题,而非让模型像人类科学家那样工作。他据此构建开源工具包 BootLoops,用于定量科学中的精确计算,并在生态学、群体遗传学、语言学等领域与专家合作取得进展。文中还给出应对模型虚报完成、时间估计失准等失败模式的具体经验。
推荐理由:作者以第一手实践复盘如何为 Claude 设计适配问题,并给出跨学科协作与工具化的可迁移方法。
Google Cloud 工程师 Dani Zamora 与 Merge 的 Matthew Feroz 演示如何在 60 分钟内搭建一套框架无关的端到端智能体评测流水线。
推荐理由:原文给出可复用的评测流水线搭建步骤,读者可据此把智能体从手动试跑转向自动化评测。
AlloyDB for PostgreSQL 通过模型端点管理接入 TypeSafe AI 的 Jev 模型,用 ai.if 和 ai.analyze_sentiment 原生函数在数据库内执行语义过滤与情感分析,无需预先准备嵌入向量。
vLLM 官方发布分离式推理实践指南,把 prefill、decode 和 CPU 侧渲染拆成独立服务,并给出 vLLM v0.31.0 及以上的部署命令。文章说明 P/D 分离主要提升 goodput 而非峰值吞吐,KV cache 传输速度是关键前提,并给出 L40S 双卡实测中 collocated 与 P/D 的 p99 ITL 对比。
推荐理由:vLLM 官方拆解分离式推理的适用场景与代价,并给出可复现的部署命令和实测数据。
Google Cloud 团队发布教程,讲解如何用 Gemini Live API 构建可实时打断的语音 AI 智能体。方案由浏览器客户端、Gemini Live API 和 Python 后端三部分组成,通过 WebSocket 保持双向音频流,并利用内置 VAD 实现 barge-in 打断,在本地先静音并清空播放缓冲以降低延迟。
推荐理由:原文给出 Gemini Live API 构建实时语音智能体的完整架构与打断处理思路,可迁移到自建语音应用。
标准 Docker 容器共享宿主机内核、继承传入的 API 密钥,无法阻止被提示注入的智能体窃取数据。
SemiAnalysis 分析 GLM-5.3 的稀疏注意力对 HBM 与 NAND 内存占用的影响,指出稀疏注意力只在 SDPA 环节降低 KV cache 的内存与带宽需求,并不减少整体内存容量占用,因为 top-k 选择仍需完整上下文驻留 HBM。
Anthropic 在 Claude Code 的 claude-api skill 中新增两条命令,/claude-api build-eval 可在代码库内构建评测集,/claude-api hillclimb 用留出集逐次改进应用并检测过拟合。
推荐理由:官方给出 eval 设计与 hillclimb 的完整工作流,可迁移到自家应用的评测搭建与成本优化。
LlamaIndex 发文解释 VLM 在表单解析上的失败模式,包括复选框状态误判、边界框漏检与错位、以及把数值挂到错误字段的静默归因错误。文章给出 LlamaParse 的表单 JSON 结构,用字段、分区和边界框表示 W-2 等表单,并说明其自研复选框状态分类器与边界框检测模型如何修正 VLM 输出。
推荐理由:LlamaIndex 用 W-2、1040 等实例拆解 VLM 读表单的失败模式,并给出表单 JSON 结构与调用方式。
Mastra 发布构建 GDPR 合规智能体的实践指南,框架开源可自托管,平台版提供专属 EU 区域,创建环境时用 `--region eu` 指定,且创建后不可更改。
GitHub Copilot 应用推出 canvases(画布扩展),一种用户与智能体共享的可定制界面,可做成看板、issue 分诊板、发布清单或仪表盘。在智能体会话中输入 /create-canvas 并用自然语言描述工作流,无需编码即可生成界面,画布双向同步,用户与智能体可同时修改。画布保存为扩展,可随项目共享或作为个人扩展,Awesome Copilot 已提供现成模板。
Anthropic 官方博客拆解 Claude Code 单个任务的成本构成,指出轮次、缓存读取、输出 token 和模型选择四项决定开销,并以 Opus 5.5 API 定价(输入 $4、输出 $20、缓存读取 $0.20 每百万 token)举例说明。
推荐理由:官方拆解 Claude Code 单任务成本构成,给出 effort、缓存与模型选择的取舍方法。
Anthropic 的 Thariq Shihipar 在 Claude Developer Blog 上解释了 Claude Code 中 effort 档位的含义与用法,effort 近似于让模型在任务上投入多少算力,档位越高 Claude 会做更多独立判断和验证。
推荐理由:作者用 Terminal-Bench 3.0 数据与自测案例,说明不同 effort 档位适合的任务类型和验证强度。
Chrome DevTools Protocol(CDP)是用于检查和操控 Chromium 系浏览器的底层协议,通过结构化消息暴露 JavaScript 执行、DOM 检查、网络监控和页面渲染等能力,Chrome DevTools 及 Playwright、Puppeteer 等自动化库均基于它构建。
vLLM 现已支持基于 Gumbel-max 算法的无失真文本水印,并集成到 Model Runner v2 的采样管线中,同时支持投机解码。实现将伪随机数生成、Gumbel 变换与 argmax 归约融合进单个 GPU kernel,在 Qwen3.5-27B 上跨 batch size 1–256 的吞吐变化在 −1.1% 到 +2.0% 之间。
推荐理由:vLLM 把无失真文本水印接进采样管线,读者可了解其算法取舍与吞吐开销。
Every 评估负责人 Mike Taylor 公开自己的 AI 写作流程:先定标题、收集素材、搭骨架,再用 Monologue 录下口述想法,交给 Claude Opus 5.5、Fable 5.1 和 GPT-6 Astra 生成草稿后拼接成文。他称这套流程把一篇 1200 字文章的写作时间从一天压缩到两小时以内,流量和读者好评没有下降。
GitHub Copilot 应用重建了 pull request 视图,以应对超大 diff 与评论带来的渲染压力。团队用一个含 2,200 个文件、超 100 万行改动和 400 多条行内评论的开源 PR 做验证,将文档高度拆成确定性的代码几何与动态评论块两套体系,评论高度按需测量并锚定到文件、行和侧,避免滚动跳动。
Anthropic 团队在两周冲刺中把 claude.ai 和 Claude 桌面应用的核心体验提速约 3 倍,新加载页面可输入时间从 3.1 秒降到 0.55 秒,启动 Claude Code 会话从 0.8 秒降到 0.3 秒。
推荐理由:Anthropic 团队复盘用 Claude 在两周内把 claude.ai 提速 3 倍的完整工程流程,可迁移到性能优化实践。
MiniMax H3 视频 VAE 编码最高提速约 2.2 倍、解码提速约 1.4-2.7 倍,1344x768、129 帧的编解码往返从 24.3 秒降至 12.7 秒。
混合专家(MoE)已改变前沿模型的推理服务结构与经济性,它改变的不只是参数量,而是每个 token 激活哪些张量、哪些数据必须就近放置、哪些传输需要高本地带宽。
LiveKit Agents 与 Pipecat 是构建生产级实时语音和视频 AI 智能体的两大主流开源框架,前者基于 LiveKit 自研 WebRTC 和 SIP 基础设施、提供更高层抽象,后者不预设传输层、以更低层抽象让开发者逐级搭建流水线。TEN Framework、Dograh、Vision Agents 和 Vocode 等名字虽会出现,但均未进入生产选型名单。
Vesta 的 AI 原生贷款发放系统(LOS)用 Browser Use 智能体从无 API 的政府与县级网站抓取抵押贷款合规证据,包括 OFAC、SAM.gov、HUD 排除名单查询和房产税单,每次任务返回结构化 JSON 加页面 PDF 存证。
vLLM 在 GB300 NVL72 集群上对 Qwen3.8-2.4T 做 PD 分离式服务,8K/1K 负载下高吞吐场景达每 GPU 5000 总 token 吞吐,低延迟场景达每用户 180 生成 token。
Every 评测负责人撰文介绍如何为个人工作搭建私有 AI 基准,以判断哪个模型更适合自己的任务。文章引用 Wharton 教授 Ethan Mollick 的观点,指出 MMLU-Pro 等热门基准考的是 Homo erectus 颅容量、Cheap Trick 1979 年现场专辑名这类知识,方向上有用但回答不了模型能否帮上你的工作。
Browser Use 与 Browserbase 的对比显示,Browser Use 浏览器小时单价 0.02 美元、代理 5 美元/GB,比 Browserbase 的 0.10-0.12 美元/小时和 10-12 美元/GB 分别便宜约 5 倍和 2 倍。
创意工作室 Afterimage 用真实拍摄素材测试了 GPT-6 Astra,任务包括替换移动镜头中的餐盘、在布鲁克林街景中添加建筑、让巨型游行花车出现在手持 iPhone 拍摄的窗外画面中,部分镜头成功、部分失败。
AI 文档抽取的读取环节已相当成熟,真正的准确率瓶颈在 Schema 定义,而这一层几乎从不被审计。Schema 中一个 required 字段会迫使模型在文档没有该字段时编造数值,同一字段在不同发行方含义不同、一对多结构被声明为标量,都会让流水线输出格式正确却内容错误的 JSON。
TTS 模型与音色并非同一概念:音色更像输入,模型提供通用能力,音色决定生成语音的特征。固定说话人模型只接收文本,多说话人模型可额外选择预设音色,零样本克隆模型则接受参考音频作为提示。Cartesia 的 Instant Voice Cloning 只需 10 到 60 秒音频即可克隆音色,其 Sonic 端到端 TTS 模型同时支持克隆。
Nathan Lambert 在 Interconnects 发布了一份开源模型主题阅读清单,收录近几年的代表性文章,并称读完可全面了解该领域现状,清单最后更新于 2026 年 9 月 15 日。清单分为基础与中美竞争两部分,涵盖开源 AI 战略、开放权重安全路径、开放数据萎缩,以及 Kimi K3、GLM-5.2、GLM-5.3 等中国模型对生态的影响。