AIエージェントの「脳」となるLLM（大規模言語モデル）の技術知識を習得するため、まずは最も根底にあるLLMの基本メカニズムについて勉強した内容をまとめました。エージェントを動かす上で避けては通れない重要な土台となるため、しっかり整理していきます。
今回学習する用語の要約リスト
- LLM（大規模言語モデル）：大量のテキストデータを学習し、人間のような文章の理解や生成を行うAIモデル
- トークン：LLMが文章を処理・認識する際に扱う、文字や単語の塊で構成される最小の基本単位
- 次トークン予測：これまでの入力（過去のトークン）をもとに、次に現れる確率が最も高いトークンを確率的に予測するLLMの核心的な仕組み
- コンテキスト：LLMが現在の処理や回答を生成する際に利用する、入力された情報やその背景となる情報
- コンテキストウィンドウ：LLMが1回の処理（入力と出力の合計）で同時に扱うことができるトークン量の最大範囲
各用語のメタファー（日常の例え話）
難解に見えるLLMの基本概念を、まずは直感的に理解するための日常的な例え話に置き換えて整理しました。
LLM：世界中の本を読み漁った「超・博識な超天才の物知り屋さん」
インターネット上の膨大なウェブサイト、書籍、論文などをすべて頭の中に叩き込んだ巨大な知能です。「言葉の意味」や「文章のパターン」を人間以上に熟知しており、質問を投げかければ、まるで人間が書いたかのような自然な言葉で何でも答えてくれます。
トークン：文章を組み立てる「レゴブロック」
人間は文章を「文字」や「単語」で認識しますが、LLMは文章をそのまま読めません。文章を一度細かく分解した「レゴブロック（トークン）」の集まりとして捉えます。日本語の場合、「AIエージェント」という言葉がいくつかのブロックに切り分けられて処理されるイメージです。
次トークン予測：究極の「超高度な連想ゲーム（言葉のしりとり）」
LLMは、実は高度な思考をしているというよりは、「この言葉の次に来る確率が一番高い言葉は何だろう？」という予測を繰り返しているだけです。例えば「桃太郎は犬と猿と……」と言われたら、次に続くのは99%「キジ」だと分かりますよね。この超高速で高度なしりとりを繰り返すことで、結果的に賢い長文が出来上がります。
コンテキスト：会議を進めるための「手元の資料やこれまでの議事録」
LLMに質問する際、ただ「どう思う？」と聞くだけでは答えられません。「今日の天気は雨」「相手は怒っている」といった背景情報（コンテキスト）を一緒に渡すことで、LLMはその場の空気を読んだ、的確な回答を出せるようになります。
コンテキストウィンドウ：机の上の「作業スペースの広さ（ノートのページ数）」
LLMが一度に広げて見ることができる「記憶の視野」の限界です。机が広ければ（ウィンドウが大きければ）、小説一冊分のデータを丸ごと置いて「これを要約して」と頼めます。しかし、このスペースを超えた古い情報は机からこぼれ落ちてしまい、LLMは完全に忘れてしまうことになります。
各用語の相互関係図
今回学習した用語のつながりや、データが処理される流れを整理したマップです。
【ユーザーからの入力文章】
│
▼（最小単位に細かく分解される）
トークン ──(これが集まって背景や指示を形作る)──＞ コンテキスト
│
┌────────────────────────┘
▼
【LLM（大規模言語モデル）の内部処理】
│
├── 許容量の限界チェック：コンテキストウィンドウ（枠を超えたら忘れる）
│
└── 核心的な推論エンジン
▼
次トークン予測
│
├── 「次に来る確率の最も高いトークン」を1つ選んで出力
└── 出力されたトークンを再び入力（コンテキスト）に戻す（ループ処理）
▼
【最終的な自然な回答文章の完成】
各用語の解説
LLM (Large Language Model)
ディープラーニング（深層学習）技術、特にTransformerアーキテクチャをベースに、数十億〜数千億もの膨大なパラメータを用いて、大量のテキストデータから学習されたモデルです。
文脈の理解、文章の要約、翻訳、プログラムコードの生成など、高度な自然言語処理タスクを汎用的にこなすことができ、現代のAIエージェントの自律的な判断を支える「脳」として機能します。
トークン (Token)
LLMがテキストを処理する際の、自然言語の最小言語単位です。
英語圏では概ね「1単語≒1トークン」に近い挙動を示しますが、日本語の場合は文字、形態素（意味を持つ最小の単位）、あるいはサブワード単位で分割されるため、文字数と言語モデル上のトークン数は一致しません。一般に、日本語は英語に比べて1文字あたりのトークン消費量が多くなる傾向があります。
次トークン予測 (Next-Token Prediction)
多くのLLM（デコーダーモデル）が採用している、テキスト生成の最も基本的な動作原理です。
モデルは、それまでに与えられたすべてのトークンの列（数式で表すと $w_1, w_2, …, w_{t-1}$）を条件部とし、確率分布 $P(w_t | w_1, w_2, …, w_{t-1})$ を計算して、次に来る確率が最も高いトークン $w_t$ を予測・選択します。この出力を次の入力にフィードバックしながら再帰的に繰り返すことで、一連の文章を生成します。
コンテキスト (Context)
LLMに与えられるプロンプト全体の情報、過去の会話履歴、外部ツールから取得した検索結果など、モデルが回答を生成するために参照するすべての「入力情報とその背景」を指します。
LLMは静的な学習データだけでなく、この与えられたコンテキスト情報に強く依存して出力を調整するため、AIエージェントの動的な振る舞いを制御するための鍵となります。
コンテキストウィンドウ (Context Window)
LLMが一度の推論処理において、入力（コンテキスト）と出力（生成テキスト）を合算して同時に保持・参照できるトークン数の物理的な最大上限値です。
モデルごとに「8k」「32k」「128k」などと規定されており、この上限を超えた過去の情報や長いプロンプトは、モデルの処理対象から切り捨てられる（忘却される）か、あるいは処理自体がエラーとなります。AIエージェント開発においては、いかにこのウィンドウ内に必要な情報を収めるか（コンテキスト管理）が重要です。
各用語の4択問題と解答
LLM（大規模言語モデル）に関する問題
問題
現代の多くのLLM（大規模言語モデル）の基盤となっており、文章の文脈を高度に理解することを可能にしたニューラルネットワークのアーキテクチャはどれか？
- A) RNN（回帰型ニューラルネットワーク）
- B) CNN（畳み込みニューラルネットワーク）
- C) Transformer（トランスフォーマー）
- D) SVM（サポートベクターマシン）
解答・解説
正解：C) Transformer（トランスフォーマー）
【各選択肢の解説】
・A) ：過去の時系列データを扱うモデルですが、長文の文脈を捉えるのに限界があり、現代の主要なLLMの直接の基盤ではないため誤りです。
・B) ：主に画像認識の分野で強力な威力を発揮するアーキテクチャであるため誤りです。
・C) ：Transformerの登場により、大量のテキストデータを効率よく並列処理し、高度なLLMを構築できるようになりました。これが正解です。
・D) ：ディープラーニング以前から使われている伝統的な機械学習アルゴリズム（分類・回帰用）であるため誤りです。
トークンに関する問題
問題
日本語をLLMに入力した際、文字数と「トークン数」の関係について述べる記述として、最も適切なものはどれか？
- A) 日本語の「1文字」は、常に正確に「1トークン」として計算される
- B) 日本語は英語に比べて、同じ意味の文章でもトークン数が少なく（安く）済む傾向がある
- C) 文字の塊やサブワード単位で分割されるため、一般に「文字数＝トークン数」とはならず、日本語はトークンを多く消費しやすい
- D) 数字や記号はトークンとしてカウントされず、漢字だけがトークンとして計算される
解答・解説
正解：C) 文字の塊やサブワード単位で分割されるため、一般に「文字数＝トークン数」とはならず、日本語はトークンを多く消費しやすい
【各選択肢の解説】
・A) ：LLMは独自の「トークナイザー」で文章を切り分けるため、1文字が1トークンになるとは限らず誤りです。
・B) ：日本語は英語のトークナイザーで効率よく処理しにくいため、同じ内容でも英語よりトークン数が多く（コストが高く）なりがちで誤りです。
・C) ：これが日本語におけるトークンの特徴です。ひらがなや漢字、カタカナの組み合わせによって複雑に分割されます。これが正解です。
・D) ：アルファベット、数字、スペース、記号など、入力されるすべての文字が何らかのトークンに切り分けられるため誤りです。
次トークン予測に関する問題
問題
LLMが文章を生成する際の基本的な仕組みである「次トークン予測」の説明として、最も適切なものはどれか？
- A) 文章全体の文法的な誤りを一度に検出し、正しい文章に書き換える仕組み
- B) 過去の入力トークンの列をもとに、次に続く確率が最も高いトークンを1つずつ予測・生成する仕組み
- C) 事前に用意された固定のテンプレート文章から、キーワードに合うものを選択する仕組み
- D) 入力された文章の単語をすべて英語に翻訳してから意味を解析する仕組み
解答・解説
正解：B) 過去の入力トークンの列をもとに、次に続く確率が最も高いトークンを1つずつ予測・生成する仕組み
【各選択肢の解説】
・A) ：LLMは文章を一度に書き換えるのではなく、トークンを1つずつ順番に生成していくため誤りです。
・B) ：これが次トークン予測の正確な定義です。過去の文脈から確率分布を計算し、次の単位を決定します。
・C) ：固定のテンプレートは使用せず、確率的な予測に基づいて動的に文章を組み立てるため誤りです。
・D) ：多言語モデルであっても内部で必ず英語に変換して処理しているわけではないため誤りです。
コンテキストに関する問題
問題
AIエージェントにおいて、LLMにただ質問を投げるだけでなく、Web検索の結果や過去の会話履歴を「コンテキスト」として一緒に与える最大の目的は何か？
- A) LLMの元々の学習データを上書きして、モデルのパラメータを直接改造するため
- B) その場の状況や最新情報（背景）をLLMに認識させ、文脈に沿った的確な回答を引き出すため
- C) プログラムのバグを自動的に修正させるため
- D) LLMに嘘（ハルシネーション）を100%絶対に吐かせないようにするため
解答・解説
正解：B) その場の状況や最新情報（背景）をLLMに認識させ、文脈に沿った的確な回答を引き出すため
【各選択肢の解説】
・A) ：コンテキストは一時的な入力情報であり、モデルの内部パラメータ（学習データ）自体を直接改造するわけではないため誤りです。
・B) ：これがコンテキストを設計する目的です。背景情報を与えることで、LLMは状況に応じた最適な判断ができるようになります。これが正解です。
・C) ：コンテキストを与えること自体が、システムプログラムのバグを自動修正する仕組みというわけではないため誤りです。
・D) ：ハルシネーションの確率を「大幅に減らす」ことはできますが、100%絶対に発生しなくなるとまでは言い切れないため誤りです。
コンテキストウィンドウに関する問題
問題
AIエージェント開発において、長大なPDF書類の全テキスト（モデルの上限を超える量）をそのままLLMのプロンプトに入力した場合、コンテキストウィンドウの性質上、どのような問題が発生するか？
- A) LLMの処理速度が無限に速くなる
- B) 上限を超えた部分の情報が切り捨てられ、LLMがその内容を参照できなくなる（またはエラーになる）
- C) LLMが自動的にPDFのデータを自身の内部パラメータに永久保存して学習する
- D) テキストの文字数が自動的に圧縮され、英語に翻訳される
解答・解説
正解：B) 上限を超えた部分の情報が切り捨てられ、LLMがその内容を参照できなくなる（またはエラーになる）
【各選択肢の解説】
・A) ：入力トークン数が増えるほど計算量は増大し、処理速度は遅くなるため誤りです。
・B) ：コンテキストウィンドウは一度に扱える限界値（容量）を指すため、それを超えた情報は認識できなくなります。これが正解です。
・C) ：プロンプトに入力されたデータは一時的な処理（推論）に使われるだけで、モデル自体の内部パラメータが永久に更新（追加学習）されるわけではないため誤りです。
・D) ：ウィンドウを超えたからといって、自動で都合よく要約や翻訳がなされるわけではないため誤りです。
コメント