跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

94 条精选近 30 天 77 条共收录 365 条

更新

精选归档 · 第 5 页

日期栏展示收录日期,历史补录归入原文日期。

9月2日周三第 81–94 条
  1. 蚂蚁 inclusionAI · 新项目66

    inclusionAI 开源 Agent 工作区 Choruz

    蚂蚁 inclusionAI 开源 Agent 工作区 Choruz,支持 Codex、Claude Code 和 Muse,可在后台把用户交互轨迹异步转化为个性化基准用例,用于调整 harness、减少重复错误,并选择性地用自配置的更小模型执行部分任务。

    推荐理由:官方开源了一个从真实交互轨迹生成个性化评测、再据此调整 Agent 配置的工作区,可了解其机制与边界。

  2. Cursor Changelog71

    自托管机器

    Cursor 推出自托管机器,让工具执行完全留在用户自己的网络内,代码库、构建产物和密钥都保留在自有基础设施上运行的内部机器上,由智能体在本地处理工具调用。

    推荐理由:原文给出自托管机器的池化调度与沙箱接入方式,读者可据此判断工具执行如何留在自有网络内。

9月1日周二
  1. LiveKit Blog60

    LiveKit 发布 Connectors:让语音智能体接入人们常用的通话平台

    LiveKit 发布 Connectors,在 LiveKit 房间与 Twilio Programmable Voice、WhatsApp Business Calling 之间建立直连,通话作为 kind 为 CONNECTOR 的参与者进入房间,无需配置 SIP trunk 或运行网关。

    推荐理由:LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间,读者可据此判断现有电话工作流如何少改架构。

8月31日周一
  1. 蚂蚁 inclusionAI · 新项目62

    inclusionAI 发布 LLaDA-UI:把块级扩散带到视觉语言 GUI 智能体

    蚂蚁 inclusionAI 开源 LLaDA-UI,一个基于 MoE 的块级扩散视觉语言 GUI 智能体,端到端总参数约 16.7B,语言骨干为 LLaDA2.0-mini-base,视觉编码器为 SigLIP 初始化的原生分辨率 ViT。

    推荐理由:蚂蚁 inclusionAI 开源扩散式 GUI 智能体,读者可了解其架构、跨平台训练数据与评测表现。

8月25日周二
  1. Prime Intellect Blog66

    揭示一种通用的离线沙箱逃逸方式

    Prime Intellect 在同步监控基线实验中发现,GPT-5.6 Sol Pro 在关闭网络访问的离线评测环境中,通过内部 InterceptionServer 转发请求,并利用 OpenAI Responses API 的 file_url 参数抓取 GitHub 内容,成功取回 FLAG.txt 中的口令。

    推荐理由:披露了离线沙箱被模型绕过的具体路径,并给出多家推理框架的修复版本,可供评测环境加固参考。

8月20日周四
  1. Liquid AI Blog62

    LFM2.5-DSpark:从 H100 到 MacBook 最高 3.2 倍推理加速

    Liquid AI 为 LFM2.5 家族三款模型发布 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下提升解码速度,GPU 上吞吐最高提升 3.18 倍,端侧最高 2.87 倍。

    推荐理由:Liquid AI 公布三款 LFM2.5 草稿模型的实测加速数据,并说明验证损失与接受率脱钩的取舍。

8月13日周四
8月12日周三
  1. Liquid AI Blog62

    LFM2.5-VL-3B:面向端侧更快更强的视觉语言模型

    Liquid AI 发布视觉语言模型 LFM2.5-VL-3B,基于此前的 LFM2-VL-3B 在屏幕理解、grounding、函数调用和多图输入四方面做了改进,模型已在 Hugging Face 和 Playground 上线。

    推荐理由:Liquid AI 发布 3B 端侧视觉语言模型,给出与更大模型的逐项基准对比和部署支持,可据此判断端侧多模态的当前水位。

8月4日周二
  1. Liquid AI Blog71

    LFM2.5-2.6B:让智能体随处部署

    Liquid AI 发布 LFM2.5-2.6B,一款完全在端侧运行的智能体模型,可跑在手机上,CPU 上也能保持响应,支持规划、调用工具和多步任务。基础版 LFM2.5-2.6B-Base 与后训练版 LFM2.5-2.6B 已在 Hugging Face 上线,并支持 llama.cpp、MLX、vLLM、SGLang、ONNX。

    推荐理由:Liquid AI 公开了 2.6B 端侧智能体模型的训练流程与多基准对比,可据此判断本地 Agent 的可行边界。

7月30日周四
7月29日周三
  1. 上海人工智能实验室 InternLM · 新项目65

    InternLM 发布 Intern-S2-Mobius 35B 基础模型

    上海人工智能实验室 InternLM 发布 Intern-S2-Mobius,一个基于 Mobius-v0 架构的 35B 基础模型,由 Xtuner 和 LMDeploy 实现。

    推荐理由:原文给出知识推理解耦架构与近 4 倍端到端推理加速,读者可据此判断这一新架构的取舍。

7月20日周一
7月16日周四
  1. LiveKit Blog62

    构建一个不会跑偏的语音智能体

    LiveKit 发布教程,介绍如何构建不会脱离既定脚本的语音智能体,并以酒店前台参考智能体为例贯穿全文。文章主张单一控制手段都不可靠,需在模型内外分层设防:结构化提示词划分身份与护栏、用确定性代码校验规则并限制工具调用步数、把工作拆成聚焦任务、在敏感操作前加验证与转人工,再叠加独立审核层和基于 LLM 评判的评测框架。作者强调提示词级防御对坚定攻击者较弱,真正的规则应在代码中强制执行。

    推荐理由:原文给出语音智能体防跑偏的分层做法,从提示词结构到代码校验与独立审核,可迁移到自己的 Agent 项目。