Cloud AI エンジニア入門ガイド
Go back

07. Geminiのマルチモーダル機能

Geminiの強みがいちばんはっきり出るのは、文章以外のものを扱う場面です。写真を見せて質問する。会議の録音を渡して議事録にする。手書きのメモを表に起こす。設計当初からマルチモーダルであるという性質（第3章）が、ここで直接効いてきます。

何を渡せて何が返ってくるかを、実務目線で整理します。

この章の全体像として、入出力の種類、読ませる、話す・作る、AI製かの確認の4つを番号順に並べ、形式ごとの得意と限界を踏まえて使えるようになることを示した図

シリーズ目次 ／ 前章: 06. Geminiで使用するプロンプトの基本 ／ 次章: 08. Gemini Deep ResearchとCanvas

Table of contents

Open Table of contents

この章のねらい

渡せるものと返ってくるもの

Gemini関連サービスで扱える入力と、モデル系統ごとの主な出力を示す概念図

入力と出力の対応は、利用するモデル系統や機能によって異なります。次の図はGemini関連サービス全体の概念図であり、1つのモデルがすべての形式を入出力するという意味ではありません。

渡せるもの主な使い道
文章・コード質問、要約、翻訳、レビュー
画像・PDF内容の読み取り、図表の解釈、書き起こし
音声書き起こし、要約、話者の整理
動画内容の説明、特定の場面の抽出
画面（デスクトップアプリ）表示中の内容を踏まえた作業
返ってくるもの生成に使われるモデル系統
文章・表・コードGeminiの主要モデル
画像Nano Banana系（Gemini Image）
動画Veo系、Gemini Omni
音声・読み上げTTS系モデル

画像とPDFを読ませる

いちばん出番が多い使い方です。写真、スクリーンショット、スキャンしたPDF。目で見て分かるものは、たいてい読み取れます。

実用的な例を挙げます。

（レシートの写真を添付して）
このレシートから「日付／店名／品目／金額」を表にしてください。
読み取れない項目は「不明」と書いてください。

読み取れない項目は不明と書いて。この一文が効きます。これがないと、かすれた文字をもっともらしく補完してしまうことがあります。第3章で見たもっともらしい続きを作る性質は、画像の読み取りでも働きます。

この一文があるかないかで、返ってくる表がどう変わるかを比べます。

かすれて読めない部分のあるレシートを読ませたとき、指示がないと金額がもっともらしく埋められ、不明と書くよう指示すると不明のまま残ることを対比した図

うまく使うコツです。

場面コツ
文字が小さい該当部分だけ拡大して撮り直す
表が複雑「列は左から順に〇〇、△△」と構造を先に伝える
図の意味を聞く「この図が主張していることを1文で」と目的を明示する
数値の集計読み取りまでを任せ、計算は表計算ソフトで行う

最後の点が落とし穴です。読み取りは得意でも、桁の多い計算は苦手です。数字を扱うときは「抽出はGemini、計算は別ツール」と分けるのが安全です。

音声と動画を読ませる

音声ファイルを渡せば、書き起こしと要約ができます。会議の録音から議事録を作る、が典型です。

（会議の録音を添付して）
この録音から次を作ってください。
1. 決定事項（箇条書き、5項目以内）
2. 未決事項と、次に誰が何をするか
3. 発言者が特定できない箇所は「話者不明」と明記

動画なら、時間軸を指定した質問ができます。

この動画で、操作手順が説明されている区間を特定し、
「開始時刻 / 終了時刻 / 手順の要約」の表にしてください。

ただし動画はトークンを大量に食います。長い動画をそのまま渡すとコンテキストウィンドウを圧迫しますし、費用も膨らむ。必要な区間だけ切り出してから渡してください。

リアルタイムで話す：Gemini Live

Gemini Liveは、音声でリアルタイムに会話できる機能です。文字を打つ代わりに話しかけ、途中で割り込むこともできます。カメラを向けて、これは何、と聞く使い方もできます。

境目は、あとで正確な記録として使うかどうかです。

左に移動中の質問・語学の練習・目の前のものについて聞くという向いている場面、右に正確な引用が必要な調べ物・長文の作成・逐語の記録が必要なやりとりという向いていない場面を並べた図

向いている向いていない
移動中や作業中の質問正確な引用が必要な調べ物
語学の練習相手長文の作成
目の前のものについて聞く発言を逐語的な記録として残す必要があるやりとり

Liveを終了すると文字起こしを確認できますし、過去のLiveチャットを再開することもできます。アクティビティの保存がオンなら、文字起こしも音声も、共有した映像や画面もGemini Apps Activityに保存されます。ただし文字起こしが発言を一字一句再現するとは限りません。正確な引用や正式な議事録が要るなら、元の音声と照合するか、重要な内容をテキストのチャットで確認し直してください。

Note

2026年7月には、macOS向けアプリで音声だけの操作が拡張されました。キーを押しながら話しかけると、カーソル位置に直接文章が生成されます。デスクトップなら、画面の内容を前提にした指示が通るのも効きます。

画像を作る：Nano Banana

画像生成は、Geminiのなかでも特に注目された機能です。2025年8月に登場した画像編集モデルが Nano Banana という通称で広まり、その後、上位版のNano Banana Pro（正式名称はGemini 3 Pro Image）や軽量版のNano Banana 2 Liteへ広がりました。

Nano Banana Proの特徴として公式に挙げられているのは次の点です。

画像の中の文字が読める。ここは、これまでの画像生成AIが苦手としてきた部分です。看板やスライドのモックアップを作る用途で効きます。

指示のコツは、文章のプロンプトと同じです。

（悪い例）おしゃれなカフェの画像

（良い例）
北欧風の小さなカフェの店内。午前の斜光が木のカウンターに差している。
客はおらず、静かな雰囲気。写真風、横長。
看板に「MORNING BLEND」と読める文字を入れる。

既存の画像を渡して、この部分だけ変えて、と編集させることもできます。人物の見た目を保ったまま背景を変える、といった一貫性のある編集が得意です。

動画と音楽を作る

動画生成はVeo系のモデルが担当します。2026年時点のVeo 3.1では、素材となる画像（ingredients）を渡してから動画を作ることで、場面が変わっても登場人物の見た目が保たれるようになっています。

また、Gemini Omniとして、自分の見た目や声に似たAIアバターを使った動画生成も提供されています。音楽生成にはLyria系のモデルがあります。

これらは利用枠（クレジット）の消費が大きく、プランによって上限が大きく変わります（第5章）。

Warning

実在の人物に似た映像や音声を作る機能は、悪用の危険が高い領域です。本人の同意なく他人の顔や声を再現することは、権利侵害や名誉毀損につながります。業務で使うなら、素材の権利関係と社内規程を必ず確認してください。

AIが作ったものかを確認する

Googleは、自社のAIが生成・編集した画像や動画、音声にSynthIDという目に見えない電子透かしを埋め込んでいます。人の目には分かりませんが、専用の仕組みで検出できます。

Geminiアプリでは、画像をアップロードして、これはAIが作ったものですか、と尋ねればSynthIDの有無を確認できます。

ただし、結果の読み方でつまずきます。

検出結果意味
透かしありGoogleのAIで生成または編集された部分がある
透かしなしGoogleのAI製ではない。ただし他社のAI製である可能性は残る

確認から結論までの分かれ方を図にします。

画像をアップして確認したとき、透かしありならGoogleのAIで生成または編集されたと判断でき、透かしなしでもGoogle製ではないと分かるだけで本物の証明にはならないことを分岐で示した図

透かしがないから人間が作った本物、ではありません。ここを誤解すると、かえって危ない判断をします。

要点

参考資料

シリーズ目次 ／ 前章: 06. Geminiで使用するプロンプトの基本 ／ 次章: 08. Gemini Deep ResearchとCanvas

Share this post:
Share this post on FacebookShare this post on Xはてなブックマークに追加LINEでこの記事を共有する
Previous Post
08. Gemini Deep ResearchとCanvas
Next Post
06. Geminiで使用するプロンプトの基本