ChatGPTでできるのは、文字のやりとりだけではありません。写真を見せて質問する。資料を読ませる。声で話しかける。グラフを作らせる。ここではテキスト以外の入出力（マルチモーダル）をまとめて扱います。
シリーズ目次 ／ 前章: 05. ChatGPT推論モードとモデルの選び方 ／ 次章: 07. ChatGPTのWeb検索とリサーチ
Table of contents
Open Table of contents
この章のねらい
- 扱える入力・出力の種類を把握する
- ファイル解析とデータ分析が内部でどう処理されるかを理解する
- 各機能の得意・不得意と、業務で使う際の注意点を知る
マルチモーダルとは
モーダル（modality）は情報の様式のことです。文字、画像、音声、動画が、それぞれ1つのモーダルにあたります。複数を扱えることをマルチモーダルと呼びます。
内部では、画像も音声もモデルが扱える形（第2章で説明したトークンに相当する表現）へ変換されてから処理されます。文字以外も同じ土俵に乗せている、というのが基本の考え方です。
画像を読ませる
写真、スクリーンショット、図表、手書きメモなどを添付して質問できます。実用的な使い方の例を挙げます。
| 用途 | 依頼の例 |
|---|---|
| 文字起こし | 「この画像の文字をそのまま書き出してください」 |
| 図表の解釈 | 「このグラフから読み取れる傾向を3点挙げてください」 |
| エラー画面の相談 | 「このエラー画面の意味と、次に試すべきことを教えてください」 |
| 資料の要約 | 「このスライドの要点を箇条書きにしてください」 |
| 翻訳 | 「この看板の日本語訳を教えてください」 |
注意点
- 細かい数字や小さな文字は誤読することがあります。金額や日付は必ず人が確認してください。
- 画像内の文字を読み取ったというより、読み取れそうな内容を生成した結果になることがあります。表の数値をそのまま集計に使うと事故ります。
- 個人情報が写り込んだ画像の扱いは第12章の方針に従ってください。
用途と注意点を突き合わせると、任せてよい範囲と人が確かめる範囲の線が引けます。
画像を作らせる
文章で指示して画像を生成できます。図解、イラスト、資料用のイメージ、既存画像の編集などに使えます。
指示のコツはプロンプトと同じで、具体性です。
- ✗「かっこいいロゴ」
- ○「カフェのロゴ。コーヒー豆と本を組み合わせた図案。線画のみ、色は濃い茶色1色、背景は白、正方形」
注意点
- 文字、特に日本語の描画は苦手で、崩れることがあります。ロゴの文字部分は、別途デザインツールで載せてください。
- 生成画像を含むChatGPTの出力は、利用規約とポリシーに従う限り、無料・有料プランを問わず商用利用できます。ただし第三者の著作権や商標権を侵害しない保証はありません。業務で使う前に権利関係を確認してください。
- 実在の人物、既存キャラクター、ブランドロゴに似せる依頼は避けてください。権利侵害につながる可能性があります（第11章）。
- 生成物には来歴情報（生成AIによる作成であることを示すメタデータ）が付与される場合があります。
音声で使う
音声には大きく2つの使い方があります。
| 方式 | 動作 | 向く場面 |
|---|---|---|
| 音声入力（書き起こし） | 話した内容を文字にして送信する | 長文入力、移動中のメモ |
| 音声対話 | 声で話しかけ、声で返答を受ける | 語学練習、ハンズフリーの相談、ブレインストーミング |
音声対話は割り込みや相づちにも対応して、会話らしいテンポで進みます。ただし長い出力や、表やコードのように目で見たい情報には向きません。声で始めて、要点はテキストで出してもらう。この使い分けが現実的です。
2つの方式は、動作も向く場面も、手元に残るものも異なります。
ファイルを読ませる
PDF、Word、Excel、CSV、テキスト、画像、コードなどを添付できます。押さえておくのは、添付ファイルの処理には2つの経路があることです。
| 経路 | 処理内容 | 向く作業 | 弱点 |
|---|---|---|---|
| テキスト抽出 | 文書から文字を取り出し、文脈に入れて読ませる | 要約、質問応答、翻訳 | 長い文書はコンテキスト上限に収まらない |
| コード実行（データ分析） | 実行環境でプログラムを走らせて処理する | 集計、統計、グラフ作成、形式変換 | 実行環境の制約、大きすぎるデータは不可 |
表計算やCSVを扱うときは、必ずコード実行を伴う分析として依頼してください。 この売上データの月別合計を出して、と頼んだとき、モデルが目視で足したのか、プログラムで集計したのかでは、信頼度がまるで違います。
依頼の書き方の例です。
添付のCSVを集計してください。必ずコードを実行して計算し、使ったコードも表示してください。
1. 月別の売上合計
2. 上位5製品の売上と構成比
3. 月別売上の折れ線グラフ
数値は四捨五入せず、元データのまま扱ってください。コードを表示させるのは、計算過程を人が検証できるようにするためです。数値だけ見せられても、それが計算結果なのか、それらしく生成された文字列なのかは区別がつきません。
データ分析でできること
コード実行環境でできるのは、だいたい次のあたりです。
- CSV・Excelの読み込みと集計、結合、欠損値の確認
- グラフの作成と画像としての出力
- ファイル形式の変換（CSV → Excelなど）
- 簡単な統計処理
一方、次は基本的にできません。
- 社内システムやデータベースへの直接接続（連携機能を使わない場合。第9章）
- 巨大なデータの処理（サイズと実行時間に上限があります）
- 実行環境の永続化（会話が変わると環境はリセットされます）
できることとできないことを並べておくと、依頼の前に見通しが立ちます。
使い分けの目安
| やりたいこと | 適した機能 |
|---|---|
| 紙資料の内容を聞きたい | 写真を添付して質問 |
| 数値を集計したい | ファイル添付＋コード実行を明示 |
| 図やイメージが欲しい | 画像生成 |
| 歩きながら考えたい | 音声対話 |
| 長いPDFの要点を知りたい | ファイル添付＋要約依頼（重要箇所は原文で確認） |
要点
- ChatGPTはテキストのほか画像・音声・ファイルを入出力でき、内部では同じ形式に変換して処理している
- 画像の読み取りは便利だが、細かい数値や小さな文字は誤ることがあるため人の確認が必要
- 画像生成では日本語文字が崩れやすく、商用利用時は規約と第三者の権利を確認する
- ファイル処理には「テキスト抽出」と「コード実行」の2経路があり、集計は必ずコード実行で行わせる
- 計算結果はコードを表示させ、過程を検証できる状態にしておく
参考資料
- OpenAI Help Center https://help.openai.com/ — ファイルアップロード、データ分析、音声機能の仕様と上限
- OpenAI Platform Docs「Images and vision」 https://platform.openai.com/docs/guides/images — 画像入出力の扱い
- Wikipedia（英語版）「ChatGPT」 https://en.wikipedia.org/wiki/ChatGPT — 画像生成・音声機能の提供時期（基準日: 2026-08-03）
シリーズ目次 ／ 前章: 05. ChatGPT推論モードとモデルの選び方 ／ 次章: 07. ChatGPTのWeb検索とリサーチ