构建实时语音和视频 AI 智能体的最佳开源框架
LiveKit Agents 与 Pipecat 是构建生产级实时语音和视频 AI 智能体的两大主流开源框架,前者基于 LiveKit 自研 WebRTC 和 SIP 基础设施、提供更高层抽象,后者不预设传输层、以更低层抽象让开发者逐级搭建流水线。TEN Framework、Dograh、Vision Agents 和 Vocode 等名字虽会出现,但均未进入生产选型名单。
日期栏展示收录日期,历史补录归入原文日期。
LiveKit Agents 与 Pipecat 是构建生产级实时语音和视频 AI 智能体的两大主流开源框架,前者基于 LiveKit 自研 WebRTC 和 SIP 基础设施、提供更高层抽象,后者不预设传输层、以更低层抽象让开发者逐级搭建流水线。TEN Framework、Dograh、Vision Agents 和 Vocode 等名字虽会出现,但均未进入生产选型名单。
华为在 HUAWEI CONNECT 2026 上发布“Peerium Computing Architecture”、可训练和推理 10 万亿参数模型的 Atlas 960E SuperPoD 及新 AI 集群服务,并计划 2027 年前推出两款 Ascend 级芯片对标英伟达。
阿里 Qwen 团队的最新图像模型 Qwen-Image-2.1 已在 ComfyUI 原生支持,开放权重、7B 参数,基于优化的 MMDiT 架构。该模型可直接输出带 alpha 通道的 RGBA 图像,原生生成 2048×2048,并最多接受 10 张参考图,生成与编辑共用同一模型。
推荐理由:ComfyUI 原生支持 Qwen-Image-2.1,读者可了解其 RGBA 输出与 10 张参考图等能力差异。
Sakana AI 宣布成立前沿智能小组(FIG),主张智能尚未"解决",应主动探索替代当前 Transformer 规模化范式的新路径。FIG 由公司内部逐步成长而成,定期讨论挑战主流的研究想法、邀请外部研究者提出不同智能观点,并强调研究自由、允许失败与"伟大无法被计划"等原则。该小组关注当前系统仍存在的幻觉、面对全新情境表现不佳及高能耗等根本问题。
Anthropic CEO Dario Amodei 9 月 12 日发文呼吁为不受约束的 AI 进展踩刹车,主张引入第三方评估机构、建立先进模型的国家监管框架,并严格控制对华 AI 芯片出口。
Nathan Lambert 在 Interconnects 发布了一份开源模型主题阅读清单,收录近几年的代表性文章,并称读完可全面了解该领域现状,清单最后更新于 2026 年 9 月 15 日。清单分为基础与中美竞争两部分,涵盖开源 AI 战略、开放权重安全路径、开放数据萎缩,以及 Kimi K3、GLM-5.2、GLM-5.3 等中国模型对生态的影响。
字节跳动获得约 300 亿美元贷款用于 AI 基建,为亚洲今年第二大贷款;月之暗面已保密递交香港 IPO 申请,最快 2027 年一季度上市,IPO 前最后一轮估值或达约 500 亿美元。燧原科技登陆上海科创板,发行 4300 万股、定价 142.18 元,募资约 9.1 亿美元,散户认购倍数高达 6109 倍。
Black Forest Labs 上周发布多模态基础模型 FLUX 3,在单一架构中联合学习图像、视频和音频,可单次生成最长 20 秒带音频视频。其视频骨干被机器人公司 mimic 用于 FLUX-mimic,在软体装配任务上报告 95% 成功率,无需单任务微调,对比 π0.5 的 55% 和某流匹配策略的 70%。
推荐理由:FLUX 3 把视频生成骨干直接接到机器人动作预测上,读者可看到多模态世界模型向工业操作迁移的一条具体路径。
Zyphra 推出 Zyphra Cloud 平台的首个组件 Zyphra Inference,基于 AMD MI355X GPU 并与 TensorWave 合作,服务 Kimi K2.6、DeepSeek V3.2 和 GLM 5.1 等开源模型。
Reflection 宣布完成 20 亿美元融资,组建了曾参与 PaLM、Gemini、AlphaGo、AlphaCode、AlphaProof 及 ChatGPT 等项目的 AI 团队,并搭建起可训练前沿规模 MoE 模型的大规模 LLM 与强化学习平台。该平台已在自主编程领域验证有效,下一步将把方法拓展到通用智能体推理,并从头结合大规模预训练与先进强化学习来构建开放模型。