言語モデルとは
**言語モデル（LM: Language Model）**は、単語の並びに対して「次に来る単語の確率」を予測するモデルです。この予測を繰り返すことで文章を生成します。
| 世代 | 内容 |
|---|---|
| n-gram モデル | 直前の n-1 個の単語から次の単語の出現確率を統計的に求める古典的な言語モデル。単純だが長い文脈を考慮できない |
| ニューラル言語モデル | ニューラルネットワークで単語の確率を予測。文脈をより広く扱える |
| 大規模言語モデル（LLM） | Transformer を基盤に、巨大なデータとパラメータで学習した言語モデル。GPT、Claude、Gemini など |
トークンとコンテキストウィンドウ
言語モデルは文章を1文字ずつではなく、トークンという単位（モデルごとの分割ルールで決まる「かたまり」）に分けて扱います。日本語はおおむね1文字が1〜2トークン、英語は1単語が1トークン前後で、文字数とトークン数は一致しません。生成AIが「ちょうど100字で」のような文字数の指定を守れないのは、トークン単位で生成しているためです。
コンテキストウィンドウは、モデルが一度に扱えるトークン数の上限です。利用者の指示、AI の返答、貼り付けた資料がすべてこの枠に含まれ、上限を超えた分は処理されません。チャットでは古いやり取りから切り捨てられるのが一般的で、長い会話で最初の指示が守られなくなるのはこのためです。上限は「学習データの量」や「パラメータ数」とは別の値です。2027年改訂シラバスでは「トークン化」「次トークン予測」「コンテキストウィンドウ」が生成プロセスの項目として明記されます。
プレトレーニング
**プレトレーニング（事前学習）**は、インターネット上の文章など大量のテキストを使って、次の単語を予測する課題を通じて言語の一般的なパターン（文法、知識、文脈の扱い）を学習させる最初の段階です。GPT の「P」は Pre-trained を意味します。その後、特定用途向けの微調整（ファインチューニング）や、人間の好みに合わせる調整（RLHF）が行われます。
パラメータとハイパーパラメータ
| 誰が決めるか | 例 | |
|---|---|---|
| パラメータ | 学習によってモデル自身が獲得する | 重み、バイアス |
| ハイパーパラメータ | 学習や推論の前に人間が設定する | 学習率、層の数、バッチサイズ、Temperature |
値の大小や用途で区別されるものではありません。
Temperature と Top-p
生成AIの出力のランダム性（多様性）を調整する代表的な設定です。
- Temperature（温度）: 低くすると確率の高い単語が選ばれやすくなり、安定した一貫性のある回答になる。高くすると多様で創造的だが不安定な回答になる。契約書の要約のように正確さが要る用途は低め、商品名のアイデア出しのように多様性が要る用途は高めが向く。
- Top-p（nucleus sampling）: 次の単語の候補を確率の高い順に並べ、累積確率が p（例: 0.9）に達するまでの候補の中から選ぶ。極端に確率の低い単語を除外しつつ多様性を保てる。
サーバーの温度や回答言語、文字の大文字化、有料機能とは無関係です。
プロンプトとプロンプトエンジニアリング
プロンプトは生成AIへの指示文です。プロンプトエンジニアリングは、指示の書き方、役割の設定、例の提示、出力形式の指定などを工夫して、生成AIから目的に合った質の高い出力を得る技術で、利用者側の技能として誰でも身につけられます。モデル自体の開発やサーバー設計とは別のものです。
試験で問われる観点
- 言語モデルは「次の単語の確率を予測」。
- トークンは文字でも単語でもない「かたまり」で、文字数とトークン数は別。コンテキストウィンドウは一度に扱えるトークン数の上限で、超えた分は処理されない。
- n-gram → ニューラル言語モデル → LLM の発展。
- プレトレーニングは大量テキストによる最初の学習段階。
- パラメータ（学習で決まる）とハイパーパラメータ（人が決める）の違い。
- Temperature 低＝安定、高＝多様。Top-p は累積確率による候補の絞り込み。