跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

22 条精选近 30 天 17 条共收录 53 条

更新

多模态的精选

日期栏展示收录日期,历史补录归入原文日期。

今天10月15日周四第 1–20 条
  1. IT之家 · 人工智能78

    阶跃 Step 5 Preview 大模型权重开放,支持 100 万 token 上下文窗口

    阶跃正式释放 Step 5 Preview 权重,开放 BF16 与 FP8 模型权重、技术博客及配套开源开发工具。该模型面向长程 Agent 任务设计,采用稀疏 MoE 架构,总参数量 600B、每 token 激活参数仅 27B,支持 100 万 token 上下文窗口,原生支持文本与视觉输入。

    推荐理由:阶跃开源 600B 稀疏 MoE 模型权重,读者可了解其百万 token 上下文与长程 Agent 设计取舍。

10月14日周三
  1. Prime Intellect Blog62

    原文发布

    Moondream 加入 Prime Intellect

    Prime Intellect 宣布收购 Moondream,其创始人 Vik Korrapati 和 Jay Allen 将加入并负责扩展推理业务,同时推进多模态模型(含视觉与 computer use)的工作。

    推荐理由:收购与整合细节展示了小模型加专用推理引擎在成本与速度上的取舍,可观察多模态推理栈的走向。

  2. Google Blog · AI90

    Gemini 4 Argon:为解决最棘手问题而打造

    Google 发布 Gemini 4 Argon,即日起通过 Gemini API、AI Studio、Google Antigravity 以及 Gemini 应用和 Search 的 AI Mode 向开发者、企业和订阅用户开放,入门价每百万输入 token 2 美元、输出 token 10 美元,缓存输入享 95% 折扣。

    推荐理由:官方给出 Argon 在编码、科研与安全对齐上的具体案例和定价,可据此判断前沿模型的能力边界。

10月8日周四
  1. Anthropic Research62

    缺失的星空地图

    约翰斯·霍普金斯大学天体物理学家、Anthropic 研究员 Brice Ménard 与 Claude Science 合作,制作出首张完整的紫外波段全天图,其中约三分之一天区(含银河系盘面大部分)此前从未被紫外望远镜观测,由 Claude 用 inpainting 方法预测补全。

    推荐理由:Anthropic 研究员用 Claude Science 多智能体补全三分之一未观测天区,给出可迁移的科研自动化流程。

10月7日周三
  1. Google Blog · AI66

    Google 推出 Playground:创建并游玩自定义游戏

    Google 发布实验性游戏平台 Playground,用户通过对话式界面输入提示词即可创建、游玩和分享自定义游戏,无需编程经验。平台基于浏览器,支持手机和笔记本游玩,游戏可设为私密、通过链接分享或发布到 Explore 画廊,部分品类支持排行榜和多人对战。Playground 今日面向美国 18 岁以上用户开放,创建权限按 Google AI 订阅分级,后续将接入 Unity Spark。

    推荐理由:Google 官方发布实验性游戏平台 Playground,读者可了解其提示词生成游戏的能力与开放范围。

  2. Preferred Networks News62

    PFN、AI翻訳サービス PLaMo翻訳を大型アップデート、 世界最先端AIモデルと同等の日本語翻訳精度を大幅に低いコストで実現

    Preferred Networks 发布 PLaMo 翻译大型更新版,基于第三代国产 LLM PLaMo,称其日语翻译精度与 Claude Fable 5.1、GPT-6.1 Sol、GPT-6 Astra 等前沿模型相当,成本约为原文10万字符14日元,不到海外前沿模型和机器翻译服务的十分之一。

    推荐理由:原文给出翻译精度对标、成本对比与53语言扩展,可据此判断国产LLM在垂直场景的落地方式。

  3. Google DeepMind71

    EmbeddingGemma 2:一个开放、轻量的多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、740M 参数的开源多模态嵌入模型,采用 Apache 2.0 许可,将文本、图像、音频、视频映射到统一嵌入空间。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一进一个 740M 端侧嵌入模型,读者可据此判断本地多模态检索的可行边界。

10月6日周二
  1. Artificial Analysis71

    Mistral 发布 Mistral Large 4,法国拥有美中之外最智能的模型

    Mistral 发布 Mistral Large 4 研究公开预览版,在 Artificial Analysis Intelligence Index 上得分 38,与 GPT-6 Luna(max,38)和 DeepSeek V4.1 Flash(max,39)相当,成为美中之外最智能的模型。

    推荐理由:Mistral Large 4 的评测数据与定价对比,可看出美中之外最强模型的性能位置和成本代价。

10月5日周一
  1. Liquid AI Blog78

    Liquid AI 发布 d1 决策模型,新增视觉支持

    Liquid AI 发布首个决策模型 d1,在文本基础上新增图像输入,可在 console.liquid.ai 和 d1 Playground 试用。d1 接收文本、图像或两者以及一个或多个问题,一次前向传播直接返回概率而不生成 token,文本决策耗时 200 到 300 ms,支持 Noul、Choice、Score 三类问题。

    推荐理由:d1 把决策建模成一次前向的概率输出,并给出与 GPT-6.1 Sol、Claude Opus 5.5 的成本与延迟对比,可据此判断这类模型适合替换哪些 LLM 调用。

10月1日周四
  1. Google DeepMind82

    Gemini 4 Argon:我们前沿智能的新时代

    Google DeepMind 发布前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御者开放,随后逐步扩展至开发者、企业和消费者。

    推荐理由:官方给出 Gemini 4 Argon 的定价、1M 输出上限与多项基准成绩,可据此判断前沿模型在长程工程与安全防御上的进展。

9月29日周二
  1. Microsoft Research62

    微软研究院推出 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院推出 Quine,一个面向生物学复杂性的 AI 研究系统,由生物学世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 两部分组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名的化合物在湿实验中产生了最大的经典到基底细胞状态转变,整个筛选到候选验证过程仅用一个周末。

    推荐理由:微软研究院公开 Quine 的生物学世界模型与实验闭环设计,并给出胰腺癌化合物筛选的湿实验验证结果。

9月25日周五
  1. 上海人工智能实验室 InternLM · 新项目62

    InternLM 开源 Intern-Decision:把状态与多类型问题转成带概率的决策

    上海人工智能实验室 InternLM 开源 Intern-Decision,可将状态、可选图像和多个带类型的问题转成带概率的决策,支持 choice、score 和 noul(是/否)三类问题,通过微调 Qwen3.5 的语言主干并冻结视觉塔与投影器实现。

    推荐理由:上海人工智能实验室开源 Intern-Decision,给出训练、推理与校准的完整流程和七套基准结果,可据此判断决策概率建模的可用性。

  2. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将实时视频生成与语音对话结合,为 Gemini 的对话式 AI 带来近实时的视觉形象。

    推荐理由:官方给出 Live Avatar 的实时音视频对话能力、异步工具调用与 97 种语言支持,可据此判断企业级数字人交互的落地形态。

9月23日周三
  1. Google DeepMind72

    Gemini 3.8 text-to-speech says hello

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色设计与深度创作控制,后者面向高并发、低成本的配音与语音智能体场景。

    推荐理由:原文给出两款 TTS 模型的语音设计、复刻与逐行导演能力及基准排名,可据此判断语音生成工作流的变化。

9月17日周四
  1. 蚂蚁 inclusionAI · 新项目62

    蚂蚁 inclusionAI 开源 Ming-Image 0.1 视觉设计生成模型

    蚂蚁 inclusionAI 开源 Ming-Image 0.1 系列,包含两个 6B 参数模型:Ming-Image-0.1-Design 生成 UI、信息图、海报等完整视觉设计,Ming-Image-0.1-Design-Layer 将扁平设计图分解为可独立编辑的透明图层。

    推荐理由:开源视觉设计生成与图层分解模型,附可复用的提示词改写流程和 Agent 技能,适合关注设计自动化的人参考。

9月16日周三
  1. 蚂蚁 inclusionAI · 新项目72

    蚂蚁 inclusionAI 与清华开源 Realtime-Venus 全双工交互系统

    蚂蚁 Venus Team 与清华大学开源 Realtime-Venus 全双工交互系统,包含 9B 的 Realtime-Venus-Omni 与 Realtime-Venus-Audio 两个模型,以及负责后台任务执行的 Realtime-Venus-Harness 运行时。

    推荐理由:可了解全双工对话模型与异步任务框架如何组合,以及开源仓库提供的模型与运行入口。

9月1日周二
  1. 上海人工智能实验室 InternLM · 新项目71

    InternLM 发布统一多模态模型 InternLumina-U2

    上海人工智能实验室发布 InternLumina-U2,一个把语言、图像、视频和 3D 纳入同一框架的统一多模态模型,采用 16B-A1B 的 MoE 架构,基于 LLaDA-2.0 MoE 扩散语言模型骨干。

    推荐理由:上海人工智能实验室开源统一多模态模型,读者可了解其多码本离散表示与昇腾训练路径。

8月31日周一
  1. 蚂蚁 inclusionAI · 新项目62

    inclusionAI 发布 LLaDA-UI:把块级扩散带到视觉语言 GUI 智能体

    蚂蚁 inclusionAI 开源 LLaDA-UI,一个基于 MoE 的块级扩散视觉语言 GUI 智能体,端到端总参数约 16.7B,语言骨干为 LLaDA2.0-mini-base,视觉编码器为 SigLIP 初始化的原生分辨率 ViT。

    推荐理由:蚂蚁 inclusionAI 开源扩散式 GUI 智能体,读者可了解其架构、跨平台训练数据与评测表现。

  2. 蚂蚁 inclusionAI · 新项目62

    inclusionAI 开源 LLaDA-Image 图像生成与编辑模型

    蚂蚁 inclusionAI 开源 LLaDA-Image,一个 6B 参数统一图像生成与编辑模型家族,包含 50 步 Base 模型和 4 步蒸馏 Turbo 模型,支持文生图、VQ 条件生成、参考图编辑及中英文文字渲染。

    推荐理由:6B 参数统一生成与编辑模型开源,附推理代码和蒸馏版,可据此评估自部署图像方案。