技术方向
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
106 条精选近 30 天 89 条共收录 394 条
日期栏展示收录日期，历史补录归入原文日期。
Liquid AI 发布 LFM2.5-2.6B，一款完全在端侧运行的智能体模型，可跑在手机上，CPU 上也能保持响应，支持规划、调用工具和多步任务。基础版 LFM2.5-2.6B-Base 与后训练版 LFM2.5-2.6B 已在 Hugging Face 上线，并支持 llama.cpp、MLX、vLLM、SGLang、ONNX。
推荐理由：Liquid AI 公开了 2.6B 端侧智能体模型的训练流程与多基准对比，可据此判断本地 Agent 的可行边界。
Modem 面向所有用户开放 MCP server 和公开 API，任何 MCP 客户端可通过 https://mcp.modem.dev/mcp 连接。
推荐理由：Modem 把客户反馈聚合成主题后通过 MCP 交给编码智能体，并给出跨模型 token 对比数据。
上海人工智能实验室 InternLM 发布 Intern-S2-Mobius，一个基于 Mobius-v0 架构的 35B 基础模型，由 Xtuner 和 LMDeploy 实现。
推荐理由：原文给出知识推理解耦架构与近 4 倍端到端推理加速，读者可据此判断这一新架构的取舍。
Berkeley Sky Lab 与 IBM Research 将 K-Search 进化式内核搜索框架扩展到 MLX，通过结构化的 CUDA-to-MLX 翻译层把已有 CUDA 内核知识迁移到 Apple Silicon。
推荐理由：读者可了解如何把 CUDA 内核优化经验结构化迁移到 Apple Silicon，并看到注意力与 Mamba 内核的实测数据。
Modem 发布博客系列第一篇，指出 Claude Code、Codex 等编码智能体主要靠 ripgrep 做文本搜索来导航代码库，因此代码中的命名和文件路径本身就是搜索词。
推荐理由：Modem 用自家 68 万行 AI 生成代码的实测数据，说明命名与类型如何影响智能体的检索成本与准确率。
LiveKit 发布教程，介绍如何构建不会脱离既定脚本的语音智能体，并以酒店前台参考智能体为例贯穿全文。文章主张单一控制手段都不可靠，需在模型内外分层设防：结构化提示词划分身份与护栏、用确定性代码校验规则并限制工具调用步数、把工作拆成聚焦任务、在敏感操作前加验证与转人工，再叠加独立审核层和基于 LLM 评判的评测框架。作者强调提示词级防御对坚定攻击者较弱，真正的规则应在代码中强制执行。
推荐理由：原文给出语音智能体防跑偏的分层做法，从提示词结构到代码校验与独立审核，可迁移到自己的 Agent 项目。