我如何在单张 GPU 上用 MiniMax H3 生成实时视频
作者在单张 RTX 5090(32 GB 显存)上实现了 15 秒内生成 15 秒 448×256 视频的实时方案,使用 FastVideo 的 FastH3 V2 checkpoint 并采用四步采样。
推荐理由:作者把多项优化拼成单卡实时视频方案,并公开了可复用的开源节点与实测数据。
技术方向
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
94 条精选近 30 天 77 条共收录 365 条
日期栏展示收录日期,历史补录归入原文日期。
作者在单张 RTX 5090(32 GB 显存)上实现了 15 秒内生成 15 秒 448×256 视频的实时方案,使用 FastVideo 的 FastH3 V2 checkpoint 并采用四步采样。
推荐理由:作者把多项优化拼成单卡实时视频方案,并公开了可复用的开源节点与实测数据。
VarOps 作者总结为跨组织智能体构建记忆系统的经验,认为问题不在模型推理能力,而在于关键决策从未被记录成智能体可用的形式。
推荐理由:作者公开了跨组织智能体记忆系统的三项设计取舍与基准数据,可供做 Agent 记忆的团队对照参考。
TypeSafe AI 于 9 月 15 日结束隐身并发布新模型 Jev,其公告在 Twitter 获得近 4000 万次浏览,一周内超 10 万人加入其 Discord,约 2000 个 GitHub 项目使用该模型。
推荐理由:通过一个概率输出模型的实际用例,读者可以理解受限输出格式为何在速度、成本和工程集成上带来优势。
Anthropic 用 Claude Managed Agents(beta)搭建了一个参考实现,按计划读取 Slack 和 GitHub 等自定义来源、追踪上次运行后的变化,并把要点推送到 Slack。
推荐理由:Anthropic 官方给出可复用的 agent 自动化参考实现,六条规则和配置结构可直接迁移到自己的定时任务。
Claude 推出 Dashboards 和 Motion 两项新功能,Dashboards 可连接 BigQuery、Databricks、Snowflake 或 Salesforce 等数据源。
推荐理由:官方给出 Dashboards 与 Motion 的能力边界和开放入口,可据此判断 Claude 在数据问答与动画讲解上的可用性。
Goodfire Research 为 Kimi K3 和 GLM 5.3 构建了基于探针的网络滥用监控器,并部署在生产推理栈上。探针作为第一道过滤器只把可疑交互交给 LLM 裁判,在 5.5% 良性会话中断率下召回约 93%,成本约 50 倍更低,每百万次交互低于 200 美元,且不增加推理延迟。
推荐理由:原文给出探针加裁判级联的完整配方与生产部署数据,可了解实时监控智能体的成本与延迟取舍。
AWS 宣布 Claude Haiku 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上线。
推荐理由:原文给出 Haiku 5.5 在 Bedrock 上的能力定位、成本变化和与 Opus 5.5 的分工方式,便于判断何时选用。
NVIDIA 与 Microsoft 在旧金山 Windows AI 与 Surface 活动上宣布为 Windows PC 共同设计运行 AI 智能体的软硬件,Microsoft 宣布 OS 级基础设施 Microsoft Execution Containers(MXC)正式可用,让智能体在系统控制下安全持久地在后台运行。
推荐理由:NVIDIA 与 Microsoft 把智能体运行环境做进 Windows,并给出 RTX Spark 与 DGX Station 的本地算力规格,可据此判断端侧智能体的硬件门槛。
GitHub 推出基于 ModernBERT 的通用密钥检测分类器,可在推送前用代码上下文识别非结构化密钥,候选批次评估耗时不到 2 毫秒,据称可将可拦截的密钥数量提升一倍以上。
推荐理由:GitHub 用九个季度数据说明密钥泄露与代码增速的关系,并给出新分类器在推送前拦截的落地方式。
微软亚洲研究院开源 Agent Lightning v1.0,提出 Harnessed Agentic RL 训练范式,让部署时使用的同一套 agent harness 直接参与强化学习,无需在训练框架内重新实现智能体。
推荐理由:微软开源 Agent Lightning v1.0,读者可了解用真实 harness 做智能体 RL 训练的思路与 3500 行代码的工程取舍。
Mastra 发布 Mastra Connect,可把 Linear、Notion、Slack 等服务连接到 Mastra 项目,让智能体和工作流直接获得现成工具,如 linear_list_issues、notion_create_page、slack_post_message。
推荐理由:Mastra Connect 把 Linear、Notion、Slack 等服务的工具接入智能体,读者可据此判断接入成本与工作流变化。
Preferred Networks 发布 PLaMo 翻译大型更新版,基于第三代国产 LLM PLaMo,称其日语翻译精度与 Claude Fable 5.1、GPT-6.1 Sol、GPT-6 Astra 等前沿模型相当,成本约为原文10万字符14日元,不到海外前沿模型和机器翻译服务的十分之一。
推荐理由:原文给出翻译精度对标、成本对比与53语言扩展,可据此判断国产LLM在垂直场景的落地方式。
vLLM 团队与 Inferact 及社区在 DeepSeek-V4.1-Flash 发布后三周内完成优化,低并发下提速 1.9 倍,150 TPS 约束下吞吐提升 5.3 倍。
推荐理由:原文逐项拆解 vLLM 为 DeepSeek-V4.1-Flash 做的系统优化,可看到 5 倍吞吐提升的具体来源。
OpenRouter 上线 ElevenLabs 的九个文本转语音模型和两个语音转文本模型,已有 OpenRouter 应用可直接调用语音与转写接口,无需单独的 ElevenLabs 套餐。
推荐理由:OpenRouter 接入 ElevenLabs 语音模型,读者可了解语音能力如何并入现有 LLM 调用链路。
LlamaIndex 发布 OpenDocRouter,一个用最新开源与前沿模型做文档转 markdown 解析的平台,每个模型运行由提示词、处理和设置组成的版本化 recipe。
推荐理由:原文给出统一 API 调用多家 OCR 与前沿模型的方式、定价和 ParseBench 成本对比,便于开发者按成本与质量选型。
Figma agent 正式结束 beta,新增 guidelines、跨平台上下文检索和跟随协作者 agent 等能力,官方称在人工评分的评测中约 60%+ 胜出。
推荐理由:Figma agent 结束 beta 并新增 guidelines、跨平台上下文与多人协作能力,附 Uber、Granola、Atlassian 三套落地流程。
Addy Osmani 发布 Claude Code 云端会话实战指南,云端会话在独立虚拟机上运行,每个任务克隆仓库到新分支,可从 claude.ai/code、移动端、桌面端、终端和 Slack 启动。作者用四个真实会话演示并行修复 flaky 测试、更新 API 文档和重构日志,三个会话在 16 秒内启动、87 秒内全部完成。指南还覆盖 GitHub 连接与权限排查、环境配置和七类适用工作流。
推荐理由:作者用四个真实云端会话记录展示并行任务、隔离环境与 GitHub 权限配置,可迁移到日常开发流程。
Prime Intellect 博客文章《论集群的本质》讨论推理扩展受限于上下文窗口的问题,指出压缩、磁盘卸载、子智能体和持久智能体都是构建上下文的不同方式。
推荐理由:文章把压缩、子智能体与持久智能体串成一条上下文容量主线,并解释树状结构为何在规模扩大后失效。
Mistral 发布 Mistral Large 4 研究公开预览版,在 Artificial Analysis Intelligence Index 上得分 38,与 GPT-6 Luna(max,38)和 DeepSeek V4.1 Flash(max,39)相当,成为美中之外最智能的模型。
推荐理由:Mistral Large 4 的评测数据与定价对比,可看出美中之外最强模型的性能位置和成本代价。
Mastra 宣布 Agent Controller 正式发布(GA),这是用于托管长时智能体会话的运行时,最初为编码智能体 Mastra Code 构建,后扩展支持 Mastra Factory。
推荐理由:官方披露了 Agent Controller 的会话隔离、历史读取与内存优化细节,可据此判断长时智能体会话的工程取舍。