跳到正文
#多模态

日期栏展示收录日期，历史补录归入原文日期。

今天10月15日周四4 条
  2. IT之家 · 人工智能78

    阶跃 Step 5 Preview 大模型权重开放，支持 100 万 token 上下文窗口

    阶跃正式释放 Step 5 Preview 权重，开放 BF16 与 FP8 模型权重、技术博客及配套开源开发工具。该模型面向长程 Agent 任务设计，采用稀疏 MoE 架构，总参数量 600B、每 token 激活参数仅 27B，支持 100 万 token 上下文窗口，原生支持文本与视觉输入。

    推荐理由：阶跃开源 600B 稀疏 MoE 模型权重，读者可了解其百万 token 上下文与长程 Agent 设计取舍。

  3. The Verge · AI58

    YouTube 给 AI 生成歌曲贴上新的标签

    YouTube 开始给使用 AI 创作或修改的歌曲加上 Made with AI 标签，先在 YouTube Music 应用上线，之后扩展到主 YouTube 应用。该标签针对用生成模型创作作曲和人声等主要使用 AI 的情况，用户点击播放页上的标签可查看详情。YouTube 表示会与音乐合作方合作并用自己的检测工具识别 AI 生成曲目，若上传者未主动披露，平台可能依据其他信号判断。

10月14日周三
  1. Apple Machine Learning Research30

    三模态掩码扩散模型的设计空间

    Apple 团队首次从头预训练三模态掩码扩散模型（MDM），同时处理文本、图文和音频-文本数据，并系统分析多模态缩放规律、模态混合比例与噪声调度。其批次大小分析提出基于 SDE 的重参数化，将物理批次与逻辑批次解耦，免去最优批次调参。团队预训练出 3B 规模（6.4T tokens）初步模型，在文本生成、T2I 和 T2S 任务上均取得强劲结果。

  2. Baseten Blog38

    在 Baseten 的专属环境中部署 Runway 的视频模型

    Runway 的前沿视频生成与编辑模型 Gen-4.5 和 Aleph 2.0 现已可通过 Baseten 专属部署，用户可从 Runway 直接授权模型权重，在单租户隔离环境中运行。Aleph 2.0 支持最长 30 秒、1080p 的多场景视频编辑，并可在自有数据上微调。Baseten 为该部署提供 99.99% 可用性 SLA，并覆盖 SOC 2 Type II 与 HIPAA 合规。

  3. Baseten Blog38

    在 Baseten 的专属环境中部署 Runway 的视频模型

    Runway 的前沿视频生成与编辑模型 Gen-4.5 和 Aleph 2.0 现已可通过 Baseten 专属部署，用户可从 Runway 直接授权模型权重，在单租户隔离环境中运行。Aleph 2.0 支持最长 30 秒、1080p 的多场景视频编辑，并可在自有数据上微调。Baseten 为该部署提供 99.99% 可用性 SLA，并覆盖 SOC 2 Type II 与 HIPAA 合规。

  7. Prime Intellect Blog62

    原文发布

    Moondream 加入 Prime Intellect

    Prime Intellect 宣布收购 Moondream，其创始人 Vik Korrapati 和 Jay Allen 将加入并负责扩展推理业务，同时推进多模态模型（含视觉与 computer use）的工作。

    推荐理由：收购与整合细节展示了小模型加专用推理引擎在成本与速度上的取舍，可观察多模态推理栈的走向。

  9. The Verge · AI22

    我不怀念 Ray-Ban Meta Audio 眼镜上的摄像头

    Ray-Ban Meta Audio 是无摄像头的纯音频智能眼镜，售价 $349，主打开放式音频与轻量佩戴，外观接近普通眼镜。它搭载较弱的 Muse Spark 模型，可处理日历、提醒等简单查询，但复杂任务容易出错；更强的 Meta Muse AI 将在今年晚些时候上线。由于没有摄像头，佩戴者不再有偷拍他人的顾虑，但听力辅助功能尚未获得 FDA 许可。

  10. Google DeepMind90

    Gemini 4 Argon：为解决最难题而生

    Google DeepMind 发布前沿模型 Gemini 4 Argon，即日起通过 AI Studio、Gemini API、Google Antigravity 以及 Gemini 应用和 Search 的 AI Mode 面向开发者、企业和消费者开放，定价为每百万输入 token 2 美元、每百万输出 token 10 美元，缓存输入 token 享 95% 折扣。

    同一新闻，精选展示《Gemini 4 Argon：为解决最棘手问题而打造》

  11. Google Blog · AI90

    Gemini 4 Argon：为解决最棘手问题而打造

    Google 发布 Gemini 4 Argon，即日起通过 Gemini API、AI Studio、Google Antigravity 以及 Gemini 应用和 Search 的 AI Mode 向开发者、企业和订阅用户开放，入门价每百万输入 token 2 美元、输出 token 10 美元，缓存输入享 95% 折扣。

    推荐理由：官方给出 Argon 在编码、科研与安全对齐上的具体案例和定价，可据此判断前沿模型的能力边界。

10月13日周二
10月12日周一
10月10日周六
10月9日周五
10月8日周四
  1. Anthropic Research62

    缺失的星空地图

    约翰斯·霍普金斯大学天体物理学家、Anthropic 研究员 Brice Ménard 与 Claude Science 合作，制作出首张完整的紫外波段全天图，其中约三分之一天区（含银河系盘面大部分）此前从未被紫外望远镜观测，由 Claude 用 inpainting 方法预测补全。

    推荐理由：Anthropic 研究员用 Claude Science 多智能体补全三分之一未观测天区，给出可迁移的科研自动化流程。

10月7日周三
  1. Google Blog · AI66

    Google 推出 Playground：创建并游玩自定义游戏

    Google 发布实验性游戏平台 Playground，用户通过对话式界面输入提示词即可创建、游玩和分享自定义游戏，无需编程经验。平台基于浏览器，支持手机和笔记本游玩，游戏可设为私密、通过链接分享或发布到 Explore 画廊，部分品类支持排行榜和多人对战。Playground 今日面向美国 18 岁以上用户开放，创建权限按 Google AI 订阅分级，后续将接入 Unity Spark。

    推荐理由：Google 官方发布实验性游戏平台 Playground，读者可了解其提示词生成游戏的能力与开放范围。

  2. Preferred Networks News62

    PFN、AI翻訳サービス PLaMo翻訳を大型アップデート、 世界最先端AIモデルと同等の日本語翻訳精度を大幅に低いコストで実現

    Preferred Networks 发布 PLaMo 翻译大型更新版，基于第三代国产 LLM PLaMo，称其日语翻译精度与 Claude Fable 5.1、GPT-6.1 Sol、GPT-6 Astra 等前沿模型相当，成本约为原文10万字符14日元，不到海外前沿模型和机器翻译服务的十分之一。

    推荐理由：原文给出翻译精度对标、成本对比与53语言扩展，可据此判断国产LLM在垂直场景的落地方式。

  4. Google DeepMind71

    EmbeddingGemma 2：一个开放、轻量的多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2，一个基于 Gemma 4 架构、740M 参数的开源多模态嵌入模型，采用 Apache 2.0 许可，将文本、图像、音频、视频映射到统一嵌入空间。

    推荐理由：EmbeddingGemma 2 把文本、图像、音频、视频统一进一个 740M 端侧嵌入模型，读者可据此判断本地多模态检索的可行边界。

10月6日周二
  1. 上海人工智能实验室 InternLM · 新项目48

    InternLM/SpatialASM

    上海人工智能实验室 InternLM 团队发布 SpatialASM 框架，通过两阶段训练将主动空间心智化（ASM）能力内化进 LVLM，使模型能主动规划视角并想象缺失的空间证据。

  2. Artificial Analysis71

    Mistral 发布 Mistral Large 4，法国拥有美中之外最智能的模型

    Mistral 发布 Mistral Large 4 研究公开预览版，在 Artificial Analysis Intelligence Index 上得分 38，与 GPT-6 Luna（max，38）和 DeepSeek V4.1 Flash（max，39）相当，成为美中之外最智能的模型。

    推荐理由：Mistral Large 4 的评测数据与定价对比，可看出美中之外最强模型的性能位置和成本代价。

10月5日周一
  1. Liquid AI Blog78

    Liquid AI 发布 d1 决策模型，新增视觉支持

    Liquid AI 发布首个决策模型 d1，在文本基础上新增图像输入，可在 console.liquid.ai 和 d1 Playground 试用。d1 接收文本、图像或两者以及一个或多个问题，一次前向传播直接返回概率而不生成 token，文本决策耗时 200 到 300 ms，支持 Noul、Choice、Score 三类问题。

    推荐理由：d1 把决策建模成一次前向的概率输出，并给出与 GPT-6.1 Sol、Claude Opus 5.5 的成本与延迟对比，可据此判断这类模型适合替换哪些 LLM 调用。

10月2日周五
10月1日周四
  1. Google DeepMind82

    Gemini 4 Argon：我们前沿智能的新时代

    Google DeepMind 发布前沿模型 Gemini 4 Argon，先通过 Fairwind Program 向受信任的网络安全防御者开放，随后逐步扩展至开发者、企业和消费者。

    推荐理由：官方给出 Gemini 4 Argon 的定价、1M 输出上限与多项基准成绩，可据此判断前沿模型在长程工程与安全防御上的进展。

9月29日周二
  1. Microsoft Research62

    微软研究院推出 Quine：面向生物学复杂性的 AI 研究系统

    微软研究院推出 Quine，一个面向生物学复杂性的 AI 研究系统，由生物学世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 两部分组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究，预测并优先排序数千种化合物，最高排名的化合物在湿实验中产生了最大的经典到基底细胞状态转变，整个筛选到候选验证过程仅用一个周末。

    推荐理由：微软研究院公开 Quine 的生物学世界模型与实验闭环设计，并给出胰腺癌化合物筛选的湿实验验证结果。

9月25日周五
  1. 上海人工智能实验室 InternLM · 新项目62

    InternLM 开源 Intern-Decision：把状态与多类型问题转成带概率的决策

    上海人工智能实验室 InternLM 开源 Intern-Decision，可将状态、可选图像和多个带类型的问题转成带概率的决策，支持 choice、score 和 noul（是/否）三类问题，通过微调 Qwen3.5 的语言主干并冻结视觉塔与投影器实现。

    推荐理由：上海人工智能实验室开源 Intern-Decision，给出训练、推理与校准的完整流程和七套基准结果，可据此判断决策概率建模的可用性。

  2. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，将实时视频生成与语音对话结合，为 Gemini 的对话式 AI 带来近实时的视觉形象。

    推荐理由：官方给出 Live Avatar 的实时音视频对话能力、异步工具调用与 97 种语言支持，可据此判断企业级数字人交互的落地形态。

9月24日周四
9月23日周三
  1. Google DeepMind72

    Gemini 3.8 text-to-speech says hello

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型，前者面向角色设计与深度创作控制，后者面向高并发、低成本的配音与语音智能体场景。

    推荐理由：原文给出两款 TTS 模型的语音设计、复刻与逐行导演能力及基准排名，可据此判断语音生成工作流的变化。