InternLM 发布 Intern-S2-Mobius 35B 基础模型
上海人工智能实验室 InternLM 发布 Intern-S2-Mobius,一个基于 Mobius-v0 架构的 35B 基础模型,由 Xtuner 和 LMDeploy 实现。
推荐理由:原文给出知识推理解耦架构与近 4 倍端到端推理加速,读者可据此判断这一新架构的取舍。
技术方向
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
104 条精选近 30 天 87 条共收录 389 条
日期栏展示收录日期,历史补录归入原文日期。
上海人工智能实验室 InternLM 发布 Intern-S2-Mobius,一个基于 Mobius-v0 架构的 35B 基础模型,由 Xtuner 和 LMDeploy 实现。
推荐理由:原文给出知识推理解耦架构与近 4 倍端到端推理加速,读者可据此判断这一新架构的取舍。
Berkeley Sky Lab 与 IBM Research 将 K-Search 进化式内核搜索框架扩展到 MLX,通过结构化的 CUDA-to-MLX 翻译层把已有 CUDA 内核知识迁移到 Apple Silicon。
推荐理由:读者可了解如何把 CUDA 内核优化经验结构化迁移到 Apple Silicon,并看到注意力与 Mamba 内核的实测数据。
Modem 发布博客系列第一篇,指出 Claude Code、Codex 等编码智能体主要靠 ripgrep 做文本搜索来导航代码库,因此代码中的命名和文件路径本身就是搜索词。
推荐理由:Modem 用自家 68 万行 AI 生成代码的实测数据,说明命名与类型如何影响智能体的检索成本与准确率。
LiveKit 发布教程,介绍如何构建不会脱离既定脚本的语音智能体,并以酒店前台参考智能体为例贯穿全文。文章主张单一控制手段都不可靠,需在模型内外分层设防:结构化提示词划分身份与护栏、用确定性代码校验规则并限制工具调用步数、把工作拆成聚焦任务、在敏感操作前加验证与转人工,再叠加独立审核层和基于 LLM 评判的评测框架。作者强调提示词级防御对坚定攻击者较弱,真正的规则应在代码中强制执行。
推荐理由:原文给出语音智能体防跑偏的分层做法,从提示词结构到代码校验与独立审核,可迁移到自己的 Agent 项目。