跳到正文

学习方向

多模态 最新动态

文本之外的 AI 能力：视觉理解、图文混合、音视频处理的学习资源与教程。

9 条精选近 30 天 9 条共收录 12 条

更新

多模态的精选

10月7日周三第 1–9 条
  1. Google DeepMind78

    Google DeepMind 发布 EmbeddingGemma 2 开放轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2，这是一个 740M 参数的开放轻量多模态嵌入模型。它基于 Gemma 4 架构，采用 Apache 2.0 许可，支持文本、代码、图像、视频和音频统一嵌入，并提供 8K token 上下文窗口。

    推荐理由：原文给出 740M 参数、8K 上下文窗口、MRL 截断维度和端侧内存占用，便于判断本地多模态检索可用性。

10月6日周二
  1. Mistral AI76

    Mistral 发布 Mistral Large 4 公开预览

    Mistral 发布 Mistral Large 4 公开预览，提供 1 trillion 参数、52 billion 激活参数的原生多模态开放权重模型。预览 API 已在 Mistral Studio 开放，权重将于本月底发布，并重点展示网络安全、编码、智能体工作流和多模态理解能力。详情见 https://mistral.ai/news/mistral-large-4/。

    推荐理由：原文给出开放权重模型在网络安全、编码和智能体工作流上的基准对比，便于判断其自部署与主权 AI 落地价值。

10月1日周四
  1. Google DeepMind75

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon，先通过 Fairwind Program 向可信网络防御者开放，后续将面向开发者、企业和消费者推出。

    推荐理由：原文给出 Gemini 4 Argon 的 1M 输出上限、企业基准表现、网络安全防御定位和分阶段开放路径，便于判断它对复杂工作流的影响。

9月30日周三
  1. Hugging Face Blog66

    Hugging Face 推出 Open TTS Leaderboard 评测多语言 TTS 与语音克隆

    Hugging Face 推出 Open TTS Leaderboard，用客观指标评估开源多语言 TTS 与语音克隆模型。它使用 Qwen3 ASR 计算 WER/CER，并用 RTXf、TTFA 和 WavLM SIM 衡量生成速度与音色相似度，默认按 Seed TTS Eval 与 CV3 Eval 的英文 macro-average WER 排名。

    推荐理由：Hugging Face 推出 Open TTS Leaderboard，用可懂度、生成速度和音色相似度指标评估开源多语言 TTS，让模型比较从数周投票缩短到数小时，并保留人工偏好入口。

9月29日周二
  1. Microsoft Research60

    Microsoft Research 发布 Quine：面向生物学复杂性的 AI 研究系统

    Microsoft Research 发布 Quine，一个面向生物学复杂性的 AI 研究系统。与 Broad Institute of Harvard and MIT 合作，Quine 在胰腺癌细胞状态研究中预测并优先排序数千个化合物，并在多个湿实验验证高排名候选，从缩小搜索空间到优先少数候选只花一个周末。

    推荐理由：原文展示了多模态生物学世界模型如何与湿实验闭环结合，为人工智能辅助药物筛选提供可迁移的研究范式。

9月25日周五
9月23日周三
9月16日周三