AIエージェント・ストラテジスト › Web参考書 › 第1章

生成AIの基礎:LLMの動き方、ハルシネーション、トークンとコスト

第1章 生成AIとAIエージェントの基礎 / 節 1

シラバスのキーワード: AI発展のフェーズ任せるAILLMハルシネーショントークンコンテキストウィンドウAPI費用TCO識別生成モデルルーティングRAG

本文を読んだあと、覚えているか確認してください。

いま何が起きているのか

「ChatGPT に質問する」のは、もう珍しくありません。この資格が扱うのは、その一歩先です。AIに質問するのではなく、AIに仕事を任せる。たとえば「問い合わせメールを読んで、規程を調べて、返信案を作って、担当者に回す」までを AI が自分で進める使い方です。

AI の広がりは、大きく3つの段階で捉えると分かりやすくなります。

段階 主役 何をしているか
作る AI 研究者・エンジニア モデルそのものを作る。技術の壁が高く、一般の人は関われなかった
使う AI ビジネスパーソン 2022年末の ChatGPT 以降。質問して答えをもらう。今まさに普及中
任せる AI AIエージェント 目標を渡すと、計画・実行・修正を AI が自分で回す。始まったばかり

試験で問われるのは、個々の流行語ではなく「いま、使う AI から任せる AI へ移る途中にいる」という方向感です。AGI(人と同じように何でもできる AI)や ASI(人をはるかに超える AI)は、定義自体がまだ研究者の間で固まっていません。「確実に来る未来」でも「夢物語」でもなく、不確実な長期シナリオとして扱います。

LLM は「次の一語」を選び続けている

生成AI の中心にあるのが LLM(大規模言語モデル) です。LLM は文章を理解してから答えを書いているわけではありません。「ここまでの文脈の次に来そうな語は何か」を確率で選び、それを何千回も繰り返して文章を作っています。

ハルシネーション(事実でないことを、自信ありげに流暢に答える現象)は、この仕組みから直接出てきます。LLM は「正しいか」ではなく「自然につながるか」で語を選んでいるので、存在しない条文や数字も「それらしく」出てきます。これは故障や欠陥ではなく、いまの言語モデルの構造的な性質です。完全にゼロにはできません。だから後の節で出てくる RAG(根拠の文書を読ませる)や Human-in-the-Loop(人が確認する)が必要になります。

似ているが別の問題として、LLM は主観と客観を区別しません。「この製品は優れています」のような評価の言葉も、事実と同じ口調で出てきます。ハルシネーションと混同しやすいので分けて覚えます。

機械学習の3つの学び方と、生成AI の位置

LLM は機械学習の一種で、機械学習には3つの学び方があります。

ディープラーニングはニューラルネットワークを多層にしたもので、最大の進歩は「何に注目すべきか(特徴量)」を人が設計しなくても AI が自分で見つけるようになったことです。これが LLM の土台になりました。

従来の AI の得意分野は「予測・識別」(これは迷惑メールか、不良品か)でした。生成AI は、入力をもとに新しい文章・画像・音声を「生み出す」AI です。企業に眠っているデータの8割以上は、メール・報告書・議事録のような決まった形のない「非構造化データ」で、ここを扱えるようになったことが生成AI の最大のインパクトです。

トークン、コンテキストウィンドウ、お金の話

トークンは LLM が文章を処理する単位です。英語はおおむね1単語が1トークンですが、日本語は1〜数文字で1トークンになるため、同じ内容でもトークン数が多くなりがちです。API(プログラムから LLM を呼ぶ窓口)は従量課金なので、トークン数はそのままコストに直結します。

コンテキストウィンドウは、一度に渡せるトークン数の上限です。最近のモデルでは大幅に広がり、「入らない」という制約はほぼ解消しました。ただし「入る」と「入れるべき」は別です。50ページのマニュアルを毎回まるごと渡すより、質問に関係する部分だけを検索して渡す(RAG)方が、コストも精度も有利です。

API 費用の見積もりは「1回あたりのトークン数 × 月の処理件数」で出します。たとえば1件あたり入力 3,000 トークン(質問文、検索で取ってきた規程の抜粋、システムへの指示)・出力 400 トークンの処理が月 800 件なら、入力 240 万・出力 32 万トークンです。単価を掛けると月数百円から千円台という規模になることが多く、API 費用だけ見れば安い。しかし投資判断は API 費用ではなく、構築費、ナレッジの整備、監視・保守の人件費まで含めた TCO(総所有コスト) で行います。「API が安いから導入」は試験でも誤りの選択肢になります。

識別と生成を分けて、モデルを使い分ける

実際の業務では、1つの仕事の中に「識別的な処理」と「生成的な処理」が混ざっています。ヘルプデスクなら、問い合わせを「パスワード/VPN/その他」に分類するのは識別、回答文を書くのは生成です。

まずタスクをこの2つの性質に分解するのが出発点です。そのうえで、処理の性質と実装方式は別の話として考えます。実務では両方を LLM で処理し、難易度に応じてモデルのグレードを振り分けます。これをモデルルーティングと呼びます。分類のような軽い処理は小型で安いモデル、回答の生成は高性能なモデル、という分け方で、コストと品質を両立させます。

試験で問われる観点

この節の練習問題(5問)

答えを見る前に選んでから開いてください。同じ問題は章別演習でランダム出題されます。

  1. 問1
    大規模言語モデル(LLM)のハルシネーションに関する説明として、最も適切なものはどれか。
    1. 1文脈から次に来る自然な語を確率的に選ぶ仕組みに由来する構造的な特性で、流暢に出力されるため完全な排除は難しい
    2. 2学習データに含まれる誤情報をそのまま再現する不具合で、学習データを正しく整備すれば発生しなくなる
    3. 3入力が長すぎてコンテキストウィンドウを超えたときにだけ起きる現象で、入力を短くすれば防げる
    4. 4モデルの規模が小さいときにだけ起きる現象で、最新の大規模モデルでは発生しないと考えてよい
    答えと解説

    正解: 1

    LLMは文脈の次に来る最も自然な語を確率的に予測して文章を生成するため、事実でない内容も自信をもって流暢に出力することがあります。これは欠陥というより現在の言語モデルの構造的な特性で、完全になくすことは困難です。学習データの整備、入力の短縮、モデルの大型化だけで解消する現象ではなく、RAGによる根拠付けや出典の明示、人間の確認といった設計で管理します。

  2. 問2
    社内ヘルプデスクAIの導入を検討している担当者が、LLMのAPI費用を試算したところ月額数百円程度と分かった。この結果をもとに経営層へ説明する際の姿勢として、最も適切なものはどれか。
    1. 1API費用が安いことを根拠に投資は少額で済むと説明し、ナレッジ整備や保守の費用は運用後に検討すると伝える
    2. 2API費用はコスト全体の一部にすぎないため、初期構築、ナレッジベースの整備、監視・保守まで含めた総所有コストで示す
    3. 3API費用の試算は不確実なので数字は出さず、定性的なメリットだけを説明して投資判断を仰ぐ
    4. 4API費用が安いモデルを選んだ時点で品質も担保されるため、モデル選定の妥当性を中心に説明する
    答えと解説

    正解: 2

    1件あたりのトークン消費量に月間件数を掛けたAPI費用は、月数百円規模になることも珍しくありません。しかしそれはコスト全体のごく一部で、初期構築、ナレッジベースの整備と更新、プロンプト改善、監視・保守の人件費を含めたTCO(総所有コスト)で投資判断をするのが原則です。数字を出さない説明や、安いモデルを選べば品質が担保されるという説明は、判断材料として不十分です。

  3. 問3
    ヘルプデスクへの問い合わせを「FAQで解決できるか」で分類する処理と、FAQに基づいて回答文を生成する処理を1つのシステムで行う。コストと品質を両立させるモデル構成として、最も適切なものはどれか。
    1. 1分類はルールベースの正規表現で行い、回答生成は最も安価な小型モデルに固定してコストを最優先にする
    2. 2分類も回答生成も最も高性能なモデルで統一し、処理の性質にかかわらず同じ設定で動かして品質のばらつきをなくす
    3. 3分類は軽量で低コストのモデル、回答生成は高性能なモデルというように、タスクの難易度に応じてモデルを振り分ける
    4. 4分類は人手で行い、回答生成だけをLLMに任せることで、モデル選定の判断を不要にする
    答えと解説

    正解: 3

    1つの業務には、分類のような識別的な処理と、文章を作る生成的な処理が混在するのが普通です。実務では両方をLLMで処理しつつ、難易度の低い分類には軽量で安価なモデル、難しい回答生成には高性能なモデルを割り当てるモデルルーティングでコストと品質を両立させます。全処理を最高性能で統一すると無駄なコストがかかり、分類を人手に戻すと自動化の意味が薄れ、生成を安価な小型モデルに固定すると回答品質が犠牲になります。

  4. 問4
    約50ページのITマニュアルをヘルプデスクAIに参照させたい。コンテキストウィンドウには全文が収まる。コスト管理の観点から最も合理的な設計はどれか。
    1. 1マニュアルをあらかじめ数行に要約したものだけを渡し、詳細が必要な場合は担当者が手作業で補足する
    2. 2マニュアルは参照させず、モデルの学習済み知識だけで回答させて、入力トークンを最小にする
    3. 3全文が収まるので毎回の問い合わせでマニュアル全文をプロンプトに含め、検索の仕組みを持たないことでシステムを単純にする
    4. 4問い合わせに関連する部分だけを検索して渡す仕組みを用意し、毎回入力するトークン数を必要な範囲に抑える
    答えと解説

    正解: 4

    コンテキストウィンドウに「入る」ことと「入れるべき」ことは別です。全文を毎回入力すると1件あたりの入力トークンが膨らみ、従量課金のAPI費用に直結します。必要な部分だけを検索して渡すRAGの構成が、コストと精度の両面で合理的です。要約だけでは詳細な手順に答えられず、学習済み知識だけでは自社固有の情報に対応できません。

  5. 問5
    AIの発展を「作るAI」「使うAI」「任せるAI」の3つのフェーズで捉えたとき、AIエージェント・ストラテジストが扱う領域の説明として最も適切なものはどれか。
    1. 1AIエージェントに業務を委ねる「任せるAI」の領域で、どの業務を任せ、どこに人間の判断を残すかの設計が主題になる
    2. 23つのフェーズは技術の世代を表しており、ストラテジストは3つすべてのモデル開発に関与することが主題になる
    3. 3研究者やAIエンジニアがモデルそのものを開発する「作るAI」の領域で、技術の壁を越えることが主題になる
    4. 4ビジネスパーソンがプロンプトを工夫してAIを操作する「使うAI」の領域で、個人の操作スキルの向上が主題になる
    答えと解説

    正解: 1

    AIの発展は、モデルを開発する「作るAI」、人がプロンプトで操作する「使うAI」、AIエージェントに業務を任せる「任せるAI」の3フェーズで整理されます。現在は使うAIの成熟期から任せるAIの黎明期への移行点にあり、ストラテジストは任せるAIの領域で、業務と組織の設計を担います。モデル開発や個人の操作スキルが主題ではありません。