Claudeに質問すると、意味を理解して考えているように見える文章が返ってきます。ところが内部でやっているのは、驚くほど単純な作業の繰り返しです。
そこを理解しておくと、なぜ堂々と間違えるのか、なぜ同じ質問でも答えが揺れるのか、といった疑問に自分で答えられるようになります。使っていれば必ずぶつかる疑問です。
シリーズ目次 ／ 前章: 02. Claudeモデルファミリーの読み方 ／ 次章: 04. Claudeの「考える」仕組みと長いコンテキスト
Table of contents
Open Table of contents
この章のねらい
- トークンという単位を理解し、料金やコンテキストの話につなげられるようになる
- 次のトークンを予測するという基本動作を説明できるようになる
- 事前学習と事後学習の役割の違いを理解する
すべてはトークンでできている
トークンは、モデルが文章を扱うときの最小単位です。人間にとっての文字や単語に近い概念ですが、一致はしません。
英語では、よく使われる単語はまるごと1トークン、珍しい単語は複数のトークンに分割されます。日本語では、ひらがな・カタカナ・漢字がそれぞれ独自の分割をされるため、文字数とトークン数の関係は一定ではありません。
公式ドキュメントの目安では、Claude 5系の100万トークンはおおむね55万5千語、250万文字にあたるそうです。ただしこれは英語中心の文章を想定した数字なので、日本語ではもっと食うと考えておいてください。
トークンの数え方は、モデルの世代で変わります。Claude Opus 4.7の世代で新しい方式が入り、それ以前と比べて同じ文章がおよそ3割多いトークン数になりました。前と同じ文章なのに料金が変わった、と感じたらこれが原因かもしれません。
トークンを意識する場面は主に3つあります。
| 場面 | なぜトークンが関係するか |
|---|---|
| 料金 | APIの課金は入力・出力それぞれのトークン数で決まる |
| コンテキスト上限 | 一度に読み込める分量がトークン数で決まっている |
| 出力の長さ制限 | 一度に書ける分量もトークン数で決まっている |
3つとも同じ単位で決まるため、トークンを押さえておくと後の章がつながります。
次のトークンを当て続ける
モデルの基本動作は、これまでの文章を見て次に来るトークンを予測すること。それだけを、応答が終わるまで繰り返します。
具体例で見てみます。「日本の首都は」という入力に対して、モデルは次に来るトークンの候補と、それぞれの確からしさを計算します。
| 候補 | 確からしさ（イメージ） |
|---|---|
| 東京 | 非常に高い |
| 京都 | 低い |
| 大阪 | 低い |
| りんご | ほぼゼロ |
ここから1つを選んで書き出し、「日本の首都は東京」を新しい入力として、また次を予測します。この繰り返しで文章ができあがります。
ここから、実務で効いてくる性質が2つ出てきます。
性質1 それらしさの優先
モデルは事実かどうかを判定していません。次に来そうかを計算しているだけです。だから知らないことについても、それらしく見える続きを書いてしまいます。これがハルシネーション（もっともらしい誤情報）の中身です。第14章で詳しく扱います。
性質2 答えのゆらぎ
候補から1つを選ぶ過程には揺らぎがあります。だから、まったく同じ質問をしても返ってくる文章が少し違う。昨日はうまくいったのに今日は違う、という現象の一因はここです。
揺らぎが困る用途、たとえば分類や抽出、定型フォーマットの生成では、答えの形式を厳密に指定してください。開発者向けには、出力をJSONスキーマに沿わせる仕組みもあります（第12章）。
文章を読むとはどういうことか
次のトークンを予測するとき、モデルは直前の数語だけを見ているわけではありません。入力された文章全体を見渡して、いまどの部分が重要かを判断しながら予測しています。
会議の議事録を読んで要約する場面を思い浮かべてください。人間も全部の行を均等には読まず、結論や決定事項といった重要そうな箇所へ注意を寄せます。モデルの内部でも、これに似た重み付けが行われています。
この仕組みのおかげで、10ページ前に出てきた固有名詞と、いま書こうとしている文を結びつけられます。逆に、注目すべき箇所が多すぎたり、指示が文章の中に埋もれていたりすると拾えません。プロンプトの書き方が結果を左右するのは、これが理由のひとつです（第6章）。
議事録の例で図にすると、次のような働きです。
学習は二段階でできている
Claudeのようなモデルは、大きく2つの段階を経て作られます。
事前学習
膨大な量の文章を読ませ、ひたすら「次のトークンを当てる」練習をさせる段階です。この過程で、文法、語彙、常識、専門知識といったものが、モデルの内部に統計的なパターンとして蓄積されます。
ただしこの段階のモデルは、まだ文章の続きを書く機械にすぎません。質問に答えるという発想も、危険な依頼を断るという発想も持っていません。
事後学習
事前学習を終えたモデルを、実際に使える助手へ仕上げる段階です。ここで次のようなことが行われます。
| 目的 | やること |
|---|---|
| 対話の形式を覚えさせる | 質問と回答の組を大量に学ばせる |
| 望ましい応答へ寄せる | 応答の良し悪しの評価にもとづいて調整する |
| 価値観を持たせる | あらかじめ定めた原則文書に照らして自己批評させ、修正させる |
3つ目がAnthropicの特徴的な取り組みで、Constitutional AI（憲法的AI）と呼ばれます。人間が一つひとつの応答を評価する代わりに、守るべき原則を書いた文書をモデルへ与えて、モデル自身に自分の応答を批評・修正させる方法です。この原則文書はClaudeの憲法として公開されています。詳しくは第13章で。
事後学習で身につくのは傾向であって、保証ではありません。原則に沿うよう訓練されていても、巧妙な指示で想定外の応答が引き出されます。安全性の仕組みを過信せず、出力は自分でも確認してください。
画像も同じ枠組みで扱う
現行のClaudeモデルは、文章だけでなく画像も入力として受け取れます。写真、スクリーンショット、図表、手書きのメモなどを添付して質問できます。
内部では、画像もトークンに相当する単位へ変換されてから、文章と同じ列に並べて処理されます。だから、この図の内容を表にまとめて、のように画像と文章をまたいだ指示が通ります。
入口と出口を並べると、次のようになります。
ただし出力は文章です。Claudeのモデル自体は画像を生成しません。図やグラフが必要な場合は、コードを書いて描画させる形になります（第7章・第8章）。
要点
- モデルはトークンという単位で文章を扱い、料金・コンテキスト上限・出力上限はすべてトークン数で決まる
- 基本動作は「次に来るトークンを予測して書き足す」ことの繰り返し
- 事実判定ではなく確からしさの計算なので、知らないことをそれらしく書く（ハルシネーション）が起こりうる
- 学習は事前学習（知識の獲得）と事後学習（対話形式と価値観の付与）の二段階
- 画像も内部で同じ列に並べて処理されるが、出力されるのは文章のみ
参考資料
- Claude Platform ドキュメント「Context windows」 https://platform.claude.com/docs/en/build-with-claude/context-windows — トークンとコンテキストの考え方
- Claude Platform ドキュメント「Token counting」 https://platform.claude.com/docs/en/build-with-claude/token-counting — トークン数の数え方
- Claude Platform ドキュメント「Models overview」 https://platform.claude.com/docs/en/about-claude/models/overview — トークン換算の目安とトークナイザ変更の注記（基準日: 2026-08-09）
- Anthropic「Claude’s Constitution」 https://www.anthropic.com/news/claudes-constitution — 原則文書にもとづく事後学習の考え方
シリーズ目次 ／ 前章: 02. Claudeモデルファミリーの読み方 ／ 次章: 04. Claudeの「考える」仕組みと長いコンテキスト