跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

94 条精选近 30 天 77 条共收录 366 条

更新

精选归档 · 第 4 页

日期栏展示收录日期,历史补录归入原文日期。

9月28日周一第 61–80 条
  1. Claude Developer Blog85

    使用 Claude Sonnet 5.5 构建应用

    Anthropic 发布 Claude 5.5 家族第二款模型 Claude Sonnet 5.5,比 Sonnet 5 更智能、更高效且快 30%,每 token 价格不变,因完成任务所需 token 更少,多数工作成本最多降低 30%。

    推荐理由:官方给出 Sonnet 5.5 的定价、迁移清单与调参建议,可据此判断是否替换现有 Sonnet 5 工作流。

  2. LlamaIndex Blog62

    为什么 VLM 读不懂表单?

    LlamaIndex 发文解释 VLM 在表单解析上的失败模式,包括复选框状态误判、边界框漏检与错位、以及把数值挂到错误字段的静默归因错误。文章给出 LlamaParse 的表单 JSON 结构,用字段、分区和边界框表示 W-2 等表单,并说明其自研复选框状态分类器与边界框检测模型如何修正 VLM 输出。

    推荐理由:LlamaIndex 用 W-2、1040 等实例拆解 VLM 读表单的失败模式,并给出表单 JSON 结构与调用方式。

9月25日周五
  1. Claude Developer Blog62

    Opus 5.5 上一个任务要花多少钱

    Anthropic 官方博客拆解 Claude Code 单个任务的成本构成,指出轮次、缓存读取、输出 token 和模型选择四项决定开销,并以 Opus 5.5 API 定价(输入 $4、输出 $20、缓存读取 $0.20 每百万 token)举例说明。

    推荐理由:官方拆解 Claude Code 单任务成本构成,给出 effort、缓存与模型选择的取舍方法。

  2. GitHub Blog · AI & ML60

    当聊天框是错误的 UI

    GitHub 的 Burke Holland 提出,聊天框只是 LLM 的通用入口,当用户明确知道要做什么时,聊天往往是错误的 UI。他介绍 GitHub Copilot app 中的 canvas,即运行在应用内、无浏览器外壳的全栈小应用,可与 agent 双向通信,并能在本地执行代码、调用第三方 API。

    推荐理由:GitHub Copilot 团队提出聊天框并非多数任务的最佳界面,并给出 canvas 这一可定制交互面的实践思路。

9月24日周四
  1. Amp News60

    Amp 推出共享 Runner 功能

    Amp 上线共享 Runner 功能,用 --share 启动后工作区成员都能在这台机器上从 ampcode.com 发起线程,带 GPU 的机器、用于构建签名 iOS 应用的 Mac 或特定网络内的开发机都可作为共享算力。

    推荐理由:原文给出共享 runner 的启动方式、环境变量隔离与权限边界,便于团队评估自建算力如何接入智能体工作流。

  2. vLLM Blog62

    vLLM 中的水印技术

    vLLM 现已支持基于 Gumbel-max 算法的无失真文本水印,并集成到 Model Runner v2 的采样管线中,同时支持投机解码。实现将伪随机数生成、Gumbel 变换与 argmax 归约融合进单个 GPU kernel,在 Qwen3.5-27B 上跨 batch size 1–256 的吞吐变化在 −1.1% 到 +2.0% 之间。

    推荐理由:vLLM 把无失真文本水印接进采样管线,读者可了解其算法取舍与吞吐开销。

9月23日周三
  1. Comfy Blog62

    Comfy Router 发布:一个 API 调用前沿媒体模型

    Comfy 在 Comfy Developer Platform 上线 Comfy Router,用一个 API 接入前沿图像、视频、3D 和音频模型,首日支持 Seedance 2.5、MiniMax H3、Nano Banana Pro、GPT Image 2、Kling 和 Black Forest Labs。

    推荐理由:Comfy Router 把多家前沿图像视频模型的调用收敛到一个 API,读者可据此判断多供应商路由是否值得接入。

  2. Baseten Blog66

    NVIDIA Nemotron 3 Diarization:每小时音频一美分的实时说话人标签

    NVIDIA Nemotron 3 Diarization 发布,这是一个约 100M 参数的 Transformer 说话人分离模型,基于 NVIDIA Streaming Sortformer 构建,把 16 kHz 音频切成 10ms 帧并输出 T×8 的说话人活动概率矩阵。

    推荐理由:原文给出单检查点四档延迟、DER 对比与单卡并发上限,可据此评估实时说话人分离的部署成本。

  3. Claude Developer Blog71

    我们如何在两周内让 claude.ai 提速 3 倍

    Anthropic 团队在两周冲刺中把 claude.ai 和 Claude 桌面应用的核心体验提速约 3 倍,新加载页面可输入时间从 3.1 秒降到 0.55 秒,启动 Claude Code 会话从 0.8 秒降到 0.3 秒。

    推荐理由:Anthropic 团队复盘用 Claude 在两周内把 claude.ai 提速 3 倍的完整工程流程,可迁移到性能优化实践。

  4. Factory News60

    Factory Router 将推理成本降低 63%

    Factory 公布 Factory Router 的生产数据,使用该路由的会话总体成本比按前沿模型公开价格计算低 63%,6 月底这一数字为 42%,同期路由会话量增长约四倍。

    推荐理由:原文给出路由在生产环境的成本与通过率数据,可据此判断模型路由对智能体工作流的实际收益。

  5. Cursor Changelog62

    Rollouts 与 Security Review

    Cursor 推出 Rollouts 和 Security Review 两个 bot,分别监控每次变更的部署健康状况、在每个 PR 中报告可被利用的缺陷,现已在团队版和企业版上线。

    推荐理由:Cursor 把部署监控与安全审查做成两个 bot,读者可了解 AI 编码工具如何延伸到交付与安全环节。

9月22日周二
9月16日周三
  1. Claude · 应用发布说明78

    Claude Cowork 进入每一次对话,可在任意对话中创建设计、幻灯片和文档

    Anthropic 将 Claude Cowork 的能力扩展到任意对话,用户无需先选择模式即可提问或交付报告、表格、演示等较大任务,原有对话、Cowork 任务、项目、连接器和技能都会保留,该体验正逐步向 Pro 和 Max 套餐的 web、桌面和移动端推送。

    推荐理由:官方说明 Cowork 能力并入所有对话,并给出 Design、Slides、Docs 的可用范围与套餐差异。

9月11日周五
  1. Augment Code Blog60

    Beyond AI Coding Agents: How We Built Augment's Software Factory

    Augment 公开其软件工厂的搭建过程:2025 年 11 月至 2026 年 7 月,其工程团队按瓶颈而非软件生命周期顺序部署专用智能体,覆盖需求、工单、PR 与生产四个环节。

    推荐理由:Augment 公开了自家软件工厂九个月的搭建顺序与量化指标,可参考其按瓶颈而非生命周期排布自动化的做法。

9月10日周四
  1. Cursor Changelog85

    Cursor 项目

    Cursor 推出「项目」功能,用于承接一项功能、一次迁移或一个完整应用这类更大规模的工作,可在数月周期内保持上下文并把任务委派给成千上万个子智能体。项目中的协调智能体不写代码,负责规划与分派,由云端智能体在独立计算机上运行,需要本机测试时再启动本地智能体。

    推荐理由:原文给出项目式多智能体协作的上下文共享与云端运行方式,可据此判断长周期任务的委派形态。

9月3日周四