原文发布
通过语音基础模型中的语言选择性维度进行语码转换检测
研究提出一种直接从语音中检测语码转换的轻量方法，利用预训练语音编码器帧级语言信息判断一句话中是否同时出现两种语言。在 CS-FLEURS 的 14 个语言对上，Whisper-small 编码器平均 F1 达 0.798，高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751。结果表明预训练语音编码器已编码识别语码转换所需信息，可用于构建更具代表性的多语种语料。
#语音
日期栏展示收录日期，历史补录归入原文日期。
Apple Machine Learning ResearchAI 评分2222
Apple Machine Learning ResearchAI 评分3030 三模态掩码扩散模型的设计空间
Apple 团队首次从头预训练三模态掩码扩散模型（MDM），同时处理文本、图文和音频-文本数据，并系统分析多模态缩放规律、模态混合比例与噪声调度。其批次大小分析提出基于 SDE 的重参数化，将物理批次与逻辑批次解耦，免去最优批次调参。团队预训练出 3B 规模（6.4T tokens）初步模型，在文本生成、T2I 和 T2S 任务上均取得强劲结果。
OpenAI NewsAI 评分5050 原文发布
Higgsfield 将 AI 视频从 1 分钟延长到 10 分钟以上
Higgsfield 借助 GPT-6 Astra 将 AI 视频生成时长从 1 分钟提升到 10 分钟以上，并用 GPT-Image-2.5 提升画面精度，同时通过 GPT-Live 打通语音电影制作路径。
Baseten BlogAI 评分3838 用 Gradium 实现实时文本转语音
Gradium 的 TTS 模型专为实时 AI 语音智能体设计，在 Coval TTS 基准（2026 年 5 月 4 日数据）上实现 155 ms 中位 TTFA，四分位距仅 2 ms，达到快于人类语音响应的水平。
Cartesia BlogAI 评分2222 Raise Financial Services 与 Cartesia 合作：为印度金融普惠打造语音 AI
Raise Financial Services 正与 Cartesia 合作开发多语言语音体验，将其自研的 70 亿参数印度金融市场小语言模型 artham 的金融智能延伸至自然的多语言对话。
Sierra BlogAI 评分5858 智能体时代的来电显示：Sierra 发布 fleming-1
Sierra 更新其模型系列，推出 fleming-1，可在通话中实时分析来电者语音，判断对方是否为 AI 智能体。该模型默认偏保守，避免误标真人，识别结果交由企业自行决定如何处理，并可与任何基于 Sierra 构建的语音智能体配合，只需开启即可。此前 Sierra 已宣布与行业伙伴共同推进 Personal Agent Protocol 开放标准，让个人智能体以授权方式与企业交互。
LiveKit BlogAI 评分3434 Serve AI 如何用 Agent Simulations 打造更好的语音智能体
Serve AI 将其在 Retell 上拥有 224 个节点、600 多条边的对话流程图智能体重写为 LiveKit 上的单提示词智能体，借助 Agent Simulations 用约 100 通真实生产通话测试，达到 98% 通过率、1.3 秒中位轮次延迟后才切换流量。迁移首周完成且无需回滚，上线后通话拦截率提升 15%，预计每年为客户额外节省 32 万美元。
LiveKit Blog精选AI 评分6666 用 Agent Simulations 测试语音智能体
LiveKit 宣布 Agent Simulations 面向所有 LiveKit Cloud 项目正式可用，用 LLM 驱动的模拟用户按任务级场景跑完整对话，再由 LLM 裁判给出通过与否及原因。
推荐理由：LiveKit 把语音智能体测试做成可版本化的场景套件，读者可据此了解如何把回归测试接进 CI。
Preferred Networks News精选AI 评分6262 PFN、AI翻訳サービス PLaMo翻訳を大型アップデート、 世界最先端AIモデルと同等の日本語翻訳精度を大幅に低いコストで実現
Preferred Networks 发布 PLaMo 翻译大型更新版，基于第三代国产 LLM PLaMo，称其日语翻译精度与 Claude Fable 5.1、GPT-6.1 Sol、GPT-6 Astra 等前沿模型相当，成本约为原文10万字符14日元，不到海外前沿模型和机器翻译服务的十分之一。
推荐理由：原文给出翻译精度对标、成本对比与53语言扩展，可据此判断国产LLM在垂直场景的落地方式。
OpenRouter Blog精选AI 评分6060 ElevenLabs 现已上线 OpenRouter
OpenRouter 上线 ElevenLabs 的九个文本转语音模型和两个语音转文本模型，已有 OpenRouter 应用可直接调用语音与转写接口，无需单独的 ElevenLabs 套餐。
推荐理由：OpenRouter 接入 ElevenLabs 语音模型，读者可了解语音能力如何并入现有 LLM 调用链路。
Sierra BlogAI 评分3838 Sierra Summit 2026：把最难的问题交给我们
Sierra 在旧金山 Sierra Summit 2026 上发布 Agent OS 的两款新模型 Curie 和 Fleming，Curie 负责对话核心编排，Fleming 用于识别来电方是否为 AI 智能体。
LiveKit BlogAI 评分3434 Retell vs. Vapi vs. LiveKit 语音 AI 智能体对比：面向开发者的选型指南
LiveKit 发布面向开发者的语音 AI 智能体平台对比，从四个问题评估 Retell、Vapi 和 LiveKit：上线后是否持续迭代、需求超出默认配置怎么办、是否需覆盖电话之外的渠道、规模化成本是否重要。
Apple Machine Learning ResearchAI 评分2222 语言判别能力提升多语言语音模型的语言学习效果
多语言自监督语音模型在相同预训练数据预算下仍逊于单语模型，研究发现强化预训练中的语言判别能力可缩小这一差距。
Google AI · DEV精选AI 评分6060 如何用 Gemini Live API 构建实时语音 AI 智能体
Google Cloud 团队发布教程，讲解如何用 Gemini Live API 构建可实时打断的语音 AI 智能体。方案由浏览器客户端、Gemini Live API 和 Python 后端三部分组成，通过 WebSocket 保持双向音频流，并利用内置 VAD 实现 barge-in 打断，在本地先静音并清空播放缓冲以降低延迟。
推荐理由：原文给出 Gemini Live API 构建实时语音智能体的完整架构与打断处理思路，可迁移到自建语音应用。
Google DeepMind精选AI 评分7171 Google DeepMind 发布 Gemini 3.8 Live with Live Avatar
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，将实时视频生成与语音对话结合，为 Gemini 的对话式 AI 带来近实时的视觉形象。
推荐理由：官方给出 Live Avatar 的实时音视频对话能力、异步工具调用与 97 种语言支持，可据此判断企业级数字人交互的落地形态。
Google DeepMind精选AI 评分7272 Gemini 3.8 text-to-speech says hello
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型，前者面向角色设计与深度创作控制，后者面向高并发、低成本的配音与语音智能体场景。
推荐理由：原文给出两款 TTS 模型的语音设计、复刻与逐行导演能力及基准排名，可据此判断语音生成工作流的变化。
Baseten Blog精选AI 评分6666 NVIDIA Nemotron 3 Diarization：每小时音频一美分的实时说话人标签
NVIDIA Nemotron 3 Diarization 发布，这是一个约 100M 参数的 Transformer 说话人分离模型，基于 NVIDIA Streaming Sortformer 构建，把 16 kHz 音频切成 10ms 帧并输出 T×8 的说话人活动概率矩阵。
推荐理由：原文给出单检查点四档延迟、DER 对比与单卡并发上限，可据此评估实时说话人分离的部署成本。
Cartesia BlogAI 评分5858 Cartesia 推出 Multilingual Voices 多语言语音
Cartesia 发布 Multilingual Voices，50+ 语音库音色可原生支持最多 25 种语言，并支持把自建语音克隆做成多语言。每个语言和口音由母语者按评分标准审核，检查口音是否保持以及日期、数字、货币是否按当地方式朗读。
LiveKit BlogAI 评分3838 构建实时语音和视频 AI 智能体的最佳开源框架
LiveKit Agents 与 Pipecat 是构建生产级实时语音和视频 AI 智能体的两大主流开源框架，前者基于 LiveKit 自研 WebRTC 和 SIP 基础设施、提供更高层抽象，后者不预设传输层、以更低层抽象让开发者逐级搭建流水线。TEN Framework、Dograh、Vision Agents 和 Vocode 等名字虽会出现，但均未进入生产选型名单。
LiveKit BlogAI 评分2222 LiveKit 创业计划上线：整套技术栈，我们买单
LiveKit 推出创业计划，为符合条件的初创公司提供约 23,000 美元总价值资源：7,000 美元推理额度（覆盖 LiveKit Gemma 4 31B。
蚂蚁 inclusionAI · 新项目精选AI 评分7272 蚂蚁 inclusionAI 与清华开源 Realtime-Venus 全双工交互系统
蚂蚁 Venus Team 与清华大学开源 Realtime-Venus 全双工交互系统，包含 9B 的 Realtime-Venus-Omni 与 Realtime-Venus-Audio 两个模型，以及负责后台任务执行的 Realtime-Venus-Harness 运行时。
推荐理由：可了解全双工对话模型与异步任务框架如何组合，以及开源仓库提供的模型与运行入口。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking
Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款实时语音对话模型，前者面向规模化与成本效率，后者面向高复杂度任务与多步推理。
推荐理由：Google DeepMind 发布两款实时语音对话模型，给出基准成绩与开发者接入渠道，可据此判断语音智能体的能力水位。
Cartesia BlogAI 评分2222 TTS 模型与音色：它们不是一回事
TTS 模型与音色并非同一概念：音色更像输入，模型提供通用能力，音色决定生成语音的特征。固定说话人模型只接收文本，多说话人模型可额外选择预设音色，零样本克隆模型则接受参考音频作为提示。Cartesia 的 Instant Voice Cloning 只需 10 到 60 秒音频即可克隆音色，其 Sonic 端到端 TTS 模型同时支持克隆。
LiveKit BlogAI 评分2222 “推理比实时更慢”是什么意思？
LiveKit 语音智能体日志中的“inference is slower than realtime”警告指的是智能体进程内的 VAD 模型处理音频窗口超时，与 LiveKit Inference 所用的 STT、TTS、LLM 模型无关。
Cartesia BlogAI 评分2222 为什么 Precision / Recall 如此重要
文章用 RAG 检索的 top_k 取值说明 Precision 与 Recall 的权衡：取 3 个 chunk 精度高但漏掉相关内容，取 50 个则召回高但混入大量无关内容。
LiveKit BlogAI 评分3636 用非生产部署测试你的语音智能体
LiveKit 推出非生产部署（non-production deployments），让智能体以另一个名称与生产环境并行运行，共用同一镜像、项目和密钥，一条命令即可创建。
LiveKit Blog精选AI 评分6060 LiveKit 发布 Connectors：让语音智能体接入人们常用的通话平台
LiveKit 发布 Connectors，在 LiveKit 房间与 Twilio Programmable Voice、WhatsApp Business Calling 之间建立直连，通话作为 kind 为 CONNECTOR 的参与者进入房间，无需配置 SIP trunk 或运行网关。
推荐理由：LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间，读者可据此判断现有电话工作流如何少改架构。
Cartesia Blog精选AI 评分6262 Cartesia 发布 Sonic-3.6 语音模型
Cartesia 发布语音模型 Sonic-3.6，在十五个地区的盲测对比中听众偏好率最高达 93%，并在 Artificial Analysis 的受控与供应商语音榜上均列第一。
推荐理由：Cartesia 公布 Sonic-3.6 的盲测偏好数据与延迟指标，可据此判断语音合成在自然度与多语言上的进展。
LiveKit BlogAI 评分3434 调试语音智能体中的短话语问题
LiveKit 发文分析语音智能体对"yes""no""ok"等短回答响应失败的常见原因，核心在于轮次检测依赖 final_transcript 与 end_of_speech 两个事件，任一缺失轮次就无法关闭。
LiveKit BlogAI 评分2626 LiveKit 推出按秒计费
LiveKit 将智能体会话分钟数、录制、WebRTC 连接和 SIP 连接改为按秒计费，最低计费单位为 10 秒，适用于所有套餐与账户（含企业合同），当前客户已生效，8 月用量将体现在 9 月账单中。该调整无面向客户的技术变更，主要解决按分钟计费在出站呼叫等短时场景下的计费偏差，避免为未使用的分钟付费。
LiveKit BlogAI 评分3838 LiveKit 如何处理零数据保留（ZDR）
LiveKit 宣布其 Inference 平台上的所有 LLM、STT、TTS 模型默认启用零数据保留（ZDR），无需设置开关、升级套餐或配置仪表盘，且适用于所有 LiveKit 套餐。
LiveKit Blog精选AI 评分6060 LiveKit Agents 推出 expressive mode，让语音智能体听起来更像人
LiveKit 在 LiveKit Agents 中发布 expressive mode，通过一个参数开启，让语音智能体根据对话情境调整情绪、语气和非语言声音。
推荐理由：LiveKit 官方说明 expressive mode 的实现方式与接入成本，可据此判断语音智能体情感表达如何落地。
Cartesia BlogAI 评分3636 Ink-2 新增 keyterm prompting 与可配置 turn detection
Cartesia 为流式 STT 模型 Ink-2 新增 keyterm prompting 和可配置 turn detection 两项功能。
LiveKit BlogAI 评分2222 为什么我的智能体加入房间这么慢？
LiveKit 指出，智能体加入房间的延迟是用户对系统的第一印象，表现为拨号长时间响铃、网页端静默、头像黑屏、客户端超时或用户提前离开，极端情况下还会因 token 过期出现 401 错误。
Cartesia BlogAI 评分2222 这个 TTS 模型好吗？
Cartesia 发文拆解 TTS 模型评测为何困难：语音合成是"一对多"映射，同一句文本可对应兴奋、愤怒、悲伤、讽刺等多种正确读法。WER 虽是最常用指标，但会随可懂度提升而饱和，且受 ASR 质量牵制，难以区分感知质量差异。此外还需评估上下文正确性（如 read、lead、Polish 等多音词）与文本规范化（如 "$1.05"、"3/4"、"IV"）等层面的错误。
LiveKit BlogAI 评分3434 诊断 LiveKit Agents 中的事件循环阻塞问题
LiveKit Agents 将每个任务放在独立子进程中运行，由 supervisor 通过运行在智能体事件循环上的 ping/pong 健康检查监控，事件循环一旦被同步调用阻塞，轻则触发"unresponsive"警告，重则进程被判定死亡并杀掉，LiveKit 约 15 秒内检测到断连并派发新智能体。
LiveKit BlogAI 评分3434 LiveKit Unity SDK 2.0.0：结束开发者预览
LiveKit 正式发布 Unity SDK v2.0.0，结束开发者预览，功能与现有 LiveKit SDK 达到对齐。该 SDK 支持实时语音视频、机器人遥操作，以及接入 LiveKit agent 打造语音驱动的 AI NPC，可运行 STT → LLM → TTS 管线或单一实时模型。
Cartesia Blog精选AI 评分6262 Cartesia 发布 Ink-2：为语音智能体打造的排名第一 STT 模型
Cartesia 发布面向实时语音智能体的语音转文字模型 Ink-2，据 2026 年 6 月 Artificial Analysis 流式榜单，其词错误率最低排名第一。
推荐理由：原文给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据，读者可据此判断实时语音智能体的选型。
OpenAI Deployment SafetyAI 评分3838 GPT-Live System Card
OpenAI 发布 GPT-Live System Card，披露 GPT-Live-1 与 GPT-Live-1 mini 的训练数据来源及安全评估结果。8 月 4 日因评估配置错误重跑后，修正数据显示 GPT-Live-1 非法行为得分从 0.97 降至 0.95，GPT-Live-1 mini 从 0.94 降至 0.91，均未低于安全发布标准。