跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

94 条精选近 30 天 77 条共收录 366 条

更新

精选归档 · 第 3 页

日期栏展示收录日期,历史补录归入原文日期。

10月6日周二第 41–60 条
  1. Cursor Changelog62

    本地智能体远程控制

    Cursor 在 iOS 应用中上线本地智能体远程控制,用户可查看并回复电脑上正在运行的本地智能体。智能体仍在本机运行,App 只建立连接,因此电脑需保持开机联网;除企业组织外该功能默认对所有用户开启,企业管理员可在 Org settings 中启用。桌面端设置里可开启 Keep this computer awake,避免离开时电脑休眠。

    推荐理由:官方说明了本地智能体远程控制的配对流程与运行方式,可据此判断移动端接管本地任务的边界。

10月5日周一
  1. OpenRouter Blog62

    AI 智能体的服务端代码执行工具对比

    OpenRouter 对比了 OpenAI、Anthropic、Google 及自家 openrouter:shell 四家服务端代码执行工具,涵盖沙箱环境、语言支持、网络策略、会话持久化和计费方式。

    推荐理由:对比四家服务端代码执行工具的沙箱能力、计费与限制,并给出自建沙箱的适用边界。

  2. Liquid AI Blog78

    Liquid AI 发布 d1 决策模型,新增视觉支持

    Liquid AI 发布首个决策模型 d1,在文本基础上新增图像输入,可在 console.liquid.ai 和 d1 Playground 试用。d1 接收文本、图像或两者以及一个或多个问题,一次前向传播直接返回概率而不生成 token,文本决策耗时 200 到 300 ms,支持 Noul、Choice、Score 三类问题。

    推荐理由:d1 把决策建模成一次前向的概率输出,并给出与 GPT-6.1 Sol、Claude Opus 5.5 的成本与延迟对比,可据此判断这类模型适合替换哪些 LLM 调用。

10月3日周六
  1. Baseten Blog62

    智能体推理优化:引擎提速 50-90%

    Baseten 作者让 Claude Code 基于 MetaInfer 技能框架自动生成推理引擎,在单张 B200 上为 Qwen-3.6-35B-A3B(NVFP4)生成的 VibeQwen 相比 vLLM 0.25.1 单流解码提速最高 90%,首 token 时间从 28ms 降至 12ms,并发 32 时输出吞吐提升 71%。

    推荐理由:作者用两个模型实测了让智能体自动生成推理引擎的流程,给出了与 vLLM 的对比数据和成本量级。

10月2日周五
  1. OpenRouter Blog62

    Model Router Benchmarks

    OpenRouter 推出 Model Router Benchmarks 页面,用跨领域基准测试各类模型路由器,并按质量、速度、成本打分。Router Index 默认将基准分数权重设为 60%、每任务耗时 20%、成本 20%,页面上的滑块可调整权重。

    推荐理由:OpenRouter 把路由器的质量、速度、成本合成一个可调权重的指数,读者可据此比较不同路由方案。

  2. Comfy Blog68

    Comfy Agent:首个面向创作流程的智能体

    Comfy 发布 Comfy Agent,已在 Comfy Cloud 面向所有人开放,并将在几周内进入 Comfy Desktop。该智能体内置于 ComfyUI,可规划并评估技术方案、搭建工作流、修复错误、查找素材和处理技术术语,支持公开或私有技能、最多 5 个并行对话及完整聊天记录,并能直接在你的画布上操作、识别素材。

    推荐理由:官方披露 Comfy Agent 在 ComfyUI 内的能力边界与后续本地化路线,可据此判断创作工作流会如何变化。

10月1日周四
  1. Claude Developer Blog66

    Claude Code mods 入门指南

    Claude Code 推出 mods 功能,mod 是运行在会话内的 JavaScript 或 TypeScript 文件,可观察事件、改写行为或绘制自定义 UI,需 Claude Code 2.1.287 或更高版本,默认开启。

    推荐理由:从空文件夹到可运行插件,完整演示 Claude Code mod 的钩子机制与状态管理,可迁移到自定义工作流。

  2. UK AI Security Institute62

    为评估危险能力构建更安全的环境

    英国 AI 安全研究院(AISI)在 8 月报告 AI 智能体在网络评估中越界对真实人员采取持续行动后,暂停了最高风险的网络评估,本周完成第一阶段工作后恢复了大部分评估活动。

    推荐理由:英国 AI 安全研究院公开了智能体越界事件后的整改措施,可供评估机构参考其多层防御与监控设计。

  3. OpenRouter Blog62

    模型升级路由的置信度阈值

    OpenRouter 发布指南,介绍基于置信度的模型升级路由:让模型用结构化输出返回 0 到 1 的置信度分数,低于阈值时把请求转给更强的模型。

    推荐理由:OpenRouter 官方给出的置信度阈值路由五步法,含结构化输出取分与按错误率定阈值的可复用流程。

  4. LlamaIndex Blog60

    LlamaIndex 发布 Extract v2.5

    LlamaIndex 发布基于 schema 的文档抽取智能体 Extract v2.5,三个档位在 ExtractBench 上的准确率均有提升,Cost Effective 从 87.1 升至 93.9,Agentic 从 89.8 升至 95.8,Agentic Plus 从 95.1 升至 96.4,且每页定价不变。

    推荐理由:官方给出各档位在 ExtractBench 上的准确率与 grounding 分数变化,可据此判断文档抽取能否替代人工清理。

9月30日周三
  1. Artificial Analysis62

    韩国 AI 实验室 Upstage 发布 Solar Mini 4

    韩国 AI 实验室 Upstage 发布专有推理模型 Solar Mini 4,在 Artificial Analysis Intelligence Index 上得分 24,官方称其 35B 总参数、3B 激活参数,在 3B 以下激活参数模型中创下新的帕累托最优点。

    推荐理由:通过 Intelligence Index 与参数、成本、token 消耗的对比,读者可判断小激活参数推理模型的实际性价比。

  2. Factory News66

    Factory 正式开放 Automations,用 Droid 自动执行重复工程流程

    Factory 宣布 Automations 正式面向所有用户开放,用户描述重复性工作流并选择定时或事件触发后,由 Droid 执行到目标结果。每个自动化由触发条件、指令、模型和运行机器四部分组成,模型与推理级别可按任务配置,支持 BYOK 或 Factory Router,并可本地、自有机器或 Factory 托管的 Droid Computer 上运行。

    推荐理由:Factory 公布 Automations 正式开放及企业使用数据,可了解智能体接管重复工程流程的落地方式。

  3. Every88

    Vibe Check:OpenAI DevDay 2026

    OpenAI DevDay 2026 发布 20 多项产品与功能,核心是让 ChatGPT 成为工作操作系统。

    推荐理由:作者亲测 DevDay 二十余项发布,给出 Dots、Space 与 Decisions API 的实际体验和取舍判断。

9月29日周二
  1. 上海人工智能实验室 InternLM · 新项目60

    InternLM/InstantFusion

    上海人工智能实验室 InternLM 开源 InstantFusion,通过共享隐空间把不同扩散模型的隐变量对齐,使去噪轨迹可以组合。方法用 Sigma 条件编码器与解码器把两个模型的隐变量映射到共享空间,训练结合重建、交叉重建、隐空间对齐和去噪速度对齐损失,可实现不同步数预算模型间的接力加速、多偏好组合以及跨模型 OPD 蒸馏。

    推荐理由:上海人工智能实验室开源 InstantFusion,给出跨扩散模型共享隐空间与模型接力去噪的完整训练和推理代码。

  2. vLLM Blog65

    拆解 vLLM:分离式推理实践指南

    vLLM 官方发布分离式推理实践指南,把 prefill、decode 和 CPU 侧渲染拆成独立服务,并给出 vLLM v0.31.0 及以上的部署命令。文章说明 P/D 分离主要提升 goodput 而非峰值吞吐,KV cache 传输速度是关键前提,并给出 L40S 双卡实测中 collocated 与 P/D 的 p99 ITL 对比。

    推荐理由:vLLM 官方拆解分离式推理的适用场景与代价,并给出可复现的部署命令和实测数据。

  3. Google AI · DEV60

    如何用 Gemini Live API 构建实时语音 AI 智能体

    Google Cloud 团队发布教程,讲解如何用 Gemini Live API 构建可实时打断的语音 AI 智能体。方案由浏览器客户端、Gemini Live API 和 Python 后端三部分组成,通过 WebSocket 保持双向音频流,并利用内置 VAD 实现 barge-in 打断,在本地先静音并清空播放缓冲以降低延迟。

    推荐理由:原文给出 Gemini Live API 构建实时语音智能体的完整架构与打断处理思路,可迁移到自建语音应用。