Gemini 原生多模态 — 文本、图片、音频、视频一起理解
什么是原生多模态
绝大多数早期 AI 模型是「单一模态」——只会处理文本。后来出现了多模态（能看图片 + 处理文本），但这些往往是后期拼接的：前面加一个图像编码器，后面接语言模型，中间不是真正端到端训练。
Gemini 的不同之处：
- 从设计之初就是多模态——架构层面支持文本、图片、音频、视频、代码、结构化数据
- 统一模型处理所有模态——不是多个小模型拼起来
- 跨模态推理——能同时结合文本和图片信息推理，而不是分开处理
输入模态
文本（Text）
最基础的能力，支持所有语言（40+ 种）。Gemini 3 系列在长文本理解、写作、翻译方面都有提升。
图片（Image）
支持 JPG、PNG、WebP、HEIC、GIF。能：
- 识别物体、文字、图表、人物
- 理解手写体、公式、图表
- 读地图、读手写信、读图表数据
- 结合文本提问推理（比如「这张曲线图 + 这段文字说明，帮我解读趋势」）
音频（Audio）
支持上传音频文件或实时语音（Gemini Live）。能：
- 转写语音到文字（支持多语言混合）
- 识别说话人（多人对话场景）
- 从语音中提取结构化信息（会议纪要）
- 实时对话（Gemini Live 核心）
视频（Video）
支持上传视频片段。能：
- 识别视频中的物体、人物、场景
- 提取帧级别的信息
- 理解时间线（比如「这段 30 秒视频里发生了什么事」）
- Omni 模型可以从视频输入生成新视频
代码（Code）
虽然代码在技术上是文本，但 Gemini 对代码有专门优化：
- 20+ 种主流语言的理解和生成
- 跨文件引用和依赖分析
- IDE 内实时补全（Gemini Code Assist）
- 能看懂代码 + 报错信息 + 截图，一起 Debug
结构化数据（Structured Data）
支持 CSV、JSON、SQL 等格式。能：
- 理解表格数据含义
- 生成图表（NotebookLM 支持 PNG / SVG 输出）
- 做数据分析和透视
输出模态
Gemini 不只是能「看懂」多种输入，还能生成多种输出：
- 文本（所有模型支持）
- 图片（Nano Banana 子模型支持，最高 4K）
- 视频（Omni 模型支持，订阅版）
- 语音（Live 的实时语音回复）
- 代码（所有模型支持）
- 结构化数据（NotebookLM 支持生成 CSV / JSON / Excel / PPT）
多模态联动的真实例子
Gemini 最强的地方在于把多种模态放在一起推理。比如：
输入：一张手写的公式图片 + 一段你口头描述的问题 + 一份 PDF 教材输出：用 Deep Think 模式写出完整证明过程 + 生成一张可视化的推导流程图 + 生成一段语音讲解
传统 AI 做不到——要么图片和文本是不同模型处理的，要么没有代码能力，要么输出种类有限。
和 Google Lens 的区别
Google Lens 本质是「图片搜索 + OCR + 物体识别」，输出仍然是文本链接。Gemini 则是理解 + 推理 + 多模态输出：
- Lens：拍一道数学题 → 搜这道题在网上的出处
- Gemini：拍一道数学题 → 完整写出解题过程 + 换一种方法再解一遍 + 生成可视化推导图
模型与智能结束。继续阅读：网页端生产力 → Deep Research