跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

94 条精选近 30 天 77 条共收录 366 条

更新

精选归档 · 第 2 页

日期栏展示收录日期,历史补录归入原文日期。

10月9日周五第 21–40 条
10月8日周四
  1. Tessl Blog62

    你的 AI 不是笨,是看不见

    VarOps 作者总结为跨组织智能体构建记忆系统的经验,认为问题不在模型推理能力,而在于关键决策从未被记录成智能体可用的形式。

    推荐理由:作者公开了跨组织智能体记忆系统的三项设计取舍与基准数据,可供做 Agent 记忆的团队对照参考。

  2. Understanding AI78

    解读 Jev:大家都在谈论的新模型

    TypeSafe AI 于 9 月 15 日结束隐身并发布新模型 Jev,其公告在 Twitter 获得近 4000 万次浏览,一周内超 10 万人加入其 Discord,约 2000 个 GitHub 项目使用该模型。

    推荐理由:通过一个概率输出模型的实际用例,读者可以理解受限输出格式为何在速度、成本和工程集成上带来优势。

  3. Claude Developer Blog62

    构建高效的 agent 自动化

    Anthropic 用 Claude Managed Agents(beta)搭建了一个参考实现,按计划读取 Slack 和 GitHub 等自定义来源、追踪上次运行后的变化,并把要点推送到 Slack。

    推荐理由:Anthropic 官方给出可复用的 agent 自动化参考实现,六条规则和配置结构可直接迁移到自己的定时任务。

  4. Goodfire Research71

    在 Kimi K3 上训练并部署生产级网络监控器

    Goodfire Research 为 Kimi K3 和 GLM 5.3 构建了基于探针的网络滥用监控器,并部署在生产推理栈上。探针作为第一道过滤器只把可疑交互交给 LLM 裁判,在 5.5% 良性会话中断率下召回约 93%,成本约 50 倍更低,每百万次交互低于 200 美元,且不增加推理延迟。

    推荐理由:原文给出探针加裁判级联的完整配方与生产部署数据,可了解实时监控智能体的成本与延迟取舍。

  5. NVIDIA Blog72

    NVIDIA 与 Microsoft 为 Windows PC 带来 RTX Spark 与 AI 智能体

    NVIDIA 与 Microsoft 在旧金山 Windows AI 与 Surface 活动上宣布为 Windows PC 共同设计运行 AI 智能体的软硬件,Microsoft 宣布 OS 级基础设施 Microsoft Execution Containers(MXC)正式可用,让智能体在系统控制下安全持久地在后台运行。

    推荐理由:NVIDIA 与 Microsoft 把智能体运行环境做进 Windows,并给出 RTX Spark 与 DGX Station 的本地算力规格,可据此判断端侧智能体的硬件门槛。

  6. GitHub Blog · AI & ML60

    密钥保护必须跟上软件开发的规模

    GitHub 推出基于 ModernBERT 的通用密钥检测分类器,可在推送前用代码上下文识别非结构化密钥,候选批次评估耗时不到 2 毫秒,据称可将可拦截的密钥数量提升一倍以上。

    推荐理由:GitHub 用九个季度数据说明密钥泄露与代码增速的关系,并给出新分类器在推送前拦截的落地方式。

  7. Microsoft Research71

    Agent Lightning v1.0:一个 3500 行的轻量级智能体 RL 框架,用真实 harness 训练智能体

    微软亚洲研究院开源 Agent Lightning v1.0,提出 Harnessed Agentic RL 训练范式,让部署时使用的同一套 agent harness 直接参与强化学习,无需在训练框架内重新实现智能体。

    推荐理由:微软开源 Agent Lightning v1.0,读者可了解用真实 harness 做智能体 RL 训练的思路与 3500 行代码的工程取舍。

10月7日周三
  1. Mastra Blog69

    Mastra 推出 Mastra Connect

    Mastra 发布 Mastra Connect,可把 Linear、Notion、Slack 等服务连接到 Mastra 项目,让智能体和工作流直接获得现成工具,如 linear_list_issues、notion_create_page、slack_post_message。

    推荐理由:Mastra Connect 把 Linear、Notion、Slack 等服务的工具接入智能体,读者可据此判断接入成本与工作流变化。

  2. Preferred Networks News62

    PFN、AI翻訳サービス PLaMo翻訳を大型アップデート、 世界最先端AIモデルと同等の日本語翻訳精度を大幅に低いコストで実現

    Preferred Networks 发布 PLaMo 翻译大型更新版,基于第三代国产 LLM PLaMo,称其日语翻译精度与 Claude Fable 5.1、GPT-6.1 Sol、GPT-6 Astra 等前沿模型相当,成本约为原文10万字符14日元,不到海外前沿模型和机器翻译服务的十分之一。

    推荐理由:原文给出翻译精度对标、成本对比与53语言扩展,可据此判断国产LLM在垂直场景的落地方式。

  3. OpenRouter Blog60

    ElevenLabs 现已上线 OpenRouter

    OpenRouter 上线 ElevenLabs 的九个文本转语音模型和两个语音转文本模型,已有 OpenRouter 应用可直接调用语音与转写接口,无需单独的 ElevenLabs 套餐。

    推荐理由:OpenRouter 接入 ElevenLabs 语音模型,读者可了解语音能力如何并入现有 LLM 调用链路。

  4. LlamaIndex Blog60

    LlamaIndex 推出 OpenDocRouter:一个 API 调用所有文档模型

    LlamaIndex 发布 OpenDocRouter,一个用最新开源与前沿模型做文档转 markdown 解析的平台,每个模型运行由提示词、处理和设置组成的版本化 recipe。

    推荐理由:原文给出统一 API 调用多家 OCR 与前沿模型的方式、定价和 ParseBench 成本对比,便于开发者按成本与质量选型。

10月6日周二
  1. Claude Developer Blog62

    Claude Code 云端会话:云端会话实战指南

    Addy Osmani 发布 Claude Code 云端会话实战指南,云端会话在独立虚拟机上运行,每个任务克隆仓库到新分支,可从 claude.ai/code、移动端、桌面端、终端和 Slack 启动。作者用四个真实会话演示并行修复 flaky 测试、更新 API 文档和重构日志,三个会话在 16 秒内启动、87 秒内全部完成。指南还覆盖 GitHub 连接与权限排查、环境配置和七类适用工作流。

    推荐理由:作者用四个真实云端会话记录展示并行任务、隔离环境与 GitHub 权限配置,可迁移到日常开发流程。

  2. Prime Intellect Blog62

    论集群的本质

    Prime Intellect 博客文章《论集群的本质》讨论推理扩展受限于上下文窗口的问题,指出压缩、磁盘卸载、子智能体和持久智能体都是构建上下文的不同方式。

    推荐理由:文章把压缩、子智能体与持久智能体串成一条上下文容量主线,并解释树状结构为何在规模扩大后失效。

  3. Artificial Analysis71

    Mistral 发布 Mistral Large 4,法国拥有美中之外最智能的模型

    Mistral 发布 Mistral Large 4 研究公开预览版,在 Artificial Analysis Intelligence Index 上得分 38,与 GPT-6 Luna(max,38)和 DeepSeek V4.1 Flash(max,39)相当,成为美中之外最智能的模型。

    推荐理由:Mistral Large 4 的评测数据与定价对比,可看出美中之外最强模型的性能位置和成本代价。

  4. Mastra Blog67

    Mastra 宣布 Agent Controller 正式发布

    Mastra 宣布 Agent Controller 正式发布(GA),这是用于托管长时智能体会话的运行时,最初为编码智能体 Mastra Code 构建,后扩展支持 Mastra Factory。

    推荐理由:官方披露了 Agent Controller 的会话隔离、历史读取与内存优化细节,可据此判断长时智能体会话的工程取舍。