跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

104 条精选近 30 天 87 条共收录 389 条

更新

精选归档 · 第 6 页

日期栏展示收录日期,历史补录归入原文日期。

7月29日周三第 101–104 条
  1. 上海人工智能实验室 InternLM · 新项目65

    InternLM 发布 Intern-S2-Mobius 35B 基础模型

    上海人工智能实验室 InternLM 发布 Intern-S2-Mobius,一个基于 Mobius-v0 架构的 35B 基础模型,由 Xtuner 和 LMDeploy 实现。

    推荐理由:原文给出知识推理解耦架构与近 4 倍端到端推理加速,读者可据此判断这一新架构的取舍。

7月20日周一
7月16日周四
  1. LiveKit Blog62

    构建一个不会跑偏的语音智能体

    LiveKit 发布教程,介绍如何构建不会脱离既定脚本的语音智能体,并以酒店前台参考智能体为例贯穿全文。文章主张单一控制手段都不可靠,需在模型内外分层设防:结构化提示词划分身份与护栏、用确定性代码校验规则并限制工具调用步数、把工作拆成聚焦任务、在敏感操作前加验证与转人工,再叠加独立审核层和基于 LLM 评判的评测框架。作者强调提示词级防御对坚定攻击者较弱,真正的规则应在代码中强制执行。

    推荐理由:原文给出语音智能体防跑偏的分层做法,从提示词结构到代码校验与独立审核,可迁移到自己的 Agent 项目。