Gemini Omni — 从任何输入生成视频的多模态模型

Omni 是什么

Gemini Omni（全称 Gemini Omni Flash）是 Google 在 2026 年 5 月 I/O 上发布的多模态生成模型，核心能力是从任意输入组合生成视频输出。

和其他视频生成模型（Sora、Runway、Pika）相比，Omni 的独特之处：

• 多模态输入：不只吃文字——图片、音频、视频、文字可以组合输入
• 基于真实知识：生成内容会参考真实世界的物体运动、物理规律，不是凭空瞎编
• 可文字编辑：生成后可以用自然语言描述怎么改，AI 重新生成

输入输出

输入类型

任意组合，至少有一种：

• 图片：一张或多张参考图
• 音频：一段背景音乐、人声、音效
• 视频：一段原始视频（可以基于它改）
• 文本：描述想要生成什么

输出

• 短视频片段（目前上限约 10 秒，Google 后续可能延长）
• 视频基于真实知识生成——比如让一只猫站起来走路，AI 会参考真实猫的骨骼运动，不是随便扭曲

典型使用方式

纯文字生成

「一只橘色小猫在秋天的落叶堆里打滚，阳光透过树叶洒下来，cinematic」

图片 → 视频

上传一张静态照片 → 「让这张照片里的海浪开始动起来，云慢慢飘」

视频 → 视频编辑

上传一段手机拍摄的视频 → 「把画面里的夜晚改成白天，加一点烟花效果」

音频 → 视频

上传一段钢琴旋律 → 「生成一个配合这段旋律的抽象艺术视频，色彩跟随音乐节奏变化」

混合输入

上传一张人像照片 + 一段视频特效参考 → 「让这个人像穿上视频里那套特效衣服，摆出相似的动作」

和 Nano Banana 的关系

Nano Banana 生成图片，Omni 生成视频——两者是配套的：

• 在 Gemini 应用里，生成图片和生成视频是两个独立工具
• 生成视频时可以用 Nano Banana 生成的图片作为参考图
• 两者都基于类似的多模态理解架构

订阅和配额

限制

• 目前只在 Gemini 应用内可用，API 层还没开放
• 视频时长有限——目前约 10 秒以内（Google 说后续会延长）
• 分辨率——具体以 App 内实际为准
• 生成速度——视频比图片慢很多，需要等待

内容安全

和所有 AI 生成工具一样，Omni 也有内容审核：

• 不生成暴力、色情、仇恨等内容
• 不能生成真实名人的换脸视频（deepfake）
• 可能带有水印（取决于 Google 政策）

具体以官方最新使用条款为准。

继续阅读：音乐创作