ChatGPTの歴史：GPT-1からGPT-5まで、RLHFとアライメント

この節の練習問題（16問）

答えを見る前に選んでから開いてください。同じ問題は章別演習でランダム出題されます。

1. 問1
   ChatGPTを開発・提供している組織として正しいものを1つ選びなさい。
   1. 1OpenAI
   2. 2Anthropic
   3. 3Microsoft
   4. 4Google
   答えと解説

   正解: 1

   ChatGPTは、アメリカのOpenAIが2022年11月に公開した対話型のテキスト生成AIです。GPTシリーズの言語モデルをもとに、人間と自然な対話ができるよう調整されています。GoogleはGemini、AnthropicはClaudeを開発しており、MicrosoftはOpenAIに出資してCopilotにGPT系モデルを組み込んでいますが、ChatGPT自体の開発元ではありません。

2. 問2
   GPTシリーズの発展に関する説明として、最も適切なものを1つ選びなさい。
   1. 1GPT-1からGPT-3にかけてパラメータ数はほぼ一定で、GPT-3では約15億にとどまり、タスクごとにファインチューニングが必須のままだった。
   2. 2GPT-1からGPT-3にかけてパラメータ数が大幅に増え、GPT-3では約1,750億に達し、少ない例示で多様なタスクをこなせるようになった。
   3. 3GPT-2は約1,750億のパラメータを持つモデルとして公開され、GPT-3はそれを小型化して精度を保ったまま高速化したものである。
   4. 4GPT-3はエンコーダとデコーダを組み合わせた構造を採用し、翻訳タスクに特化して学習されたため、少数の例示では他のタスクに対応できなかった。
   答えと解説

   正解: 2

   GPT-1（2018年）、GPT-2（2019年）、GPT-3（2020年）と世代を重ねるごとにパラメータ数は大きく増え、GPT-3では約1,750億パラメータとなり、わずかな例を示すだけで翻訳や要約などをこなせるようになりました。その後GPT-3.5を経て2022年11月にChatGPTが公開され、2023年3月にGPT-4が登場しました。約15億はGPT-2の規模であり、GPT-3を小型化版とする説明や、GPT-3が翻訳特化のエンコーダ・デコーダ構造だという説明は誤りです。

3. 問3
   InstructGPTやChatGPTの学習に用いられたRLHFの説明として、最も適切なものを1つ選びなさい。
   1. 1インターネット上の大量の文章を収集し、次の単語を予測する自己教師あり学習によって言語の知識を獲得させる事前学習の手法
   2. 2人間が手作業でモデルのパラメータを一つずつ調整し、望ましくない応答が出なくなるまで重みを直接書き換えて修正する手法
   3. 3モデルの出力に対する人間の評価（フィードバック）をもとに報酬モデルを作り、強化学習で人間の好みに合う応答をするように調整する手法
   4. 4人間が書いた模範的な質問と回答のペアを大量に用意し、それをそのまま暗記させることで応答の品質を高める教師あり学習の手法
   答えと解説

   正解: 3

   RLHF（人間のフィードバックによる強化学習）は、モデルが生成した複数の応答を人間が評価・順位付けし、その評価を予測する報酬モデルを学習させ、報酬が高くなるように強化学習でモデルを調整する手法です。これにより指示に従い、有害でない応答を返すようになります。文章の暗記、無作為な収集、パラメータの手動調整はRLHFの説明ではありません。

4. 問4
   AIにおける「アライメント（Alignment）」の意味として、最も適切なものを1つ選びなさい。
   1. 1AIの学習データや出力を、特定の言語・地域・文化の表記規則に統一すること
   2. 2AIのモデル構造や重みを、複数のサーバー間で同じ状態に同期させること
   3. 3AIの推論結果と正解ラベルを、評価指標の計算のために一対一で対応付けること
   4. 4AIの振る舞いや出力を、人間の意図・価値観・倫理に沿ったものにすること
   答えと解説

   正解: 4

   アライメントとは、AIの目的や振る舞いを人間の意図や価値観と一致させる取り組みを指します。ChatGPTではRLHFなどによって、指示に従い、有害・不適切な出力を避けるように調整することがアライメントの具体例です。時刻の同期や文章の余白の整列は一般語としての意味で、AIの文脈でのアライメントではありません。重みをすべて同じ値にするのは学習として成り立ちません。

5. 問5
   ファインチューニングの説明として、最も適切なものを1つ選びなさい。
   1. 1大量のデータで事前学習したモデルに、特定の目的に合わせた追加データで再学習を行い、用途に特化させること
   2. 2大量のデータで事前学習したモデルの重みは変えずに、プロンプト内に例を示して回答の形式を調整すること
   3. 3モデルの温度（Temperature）やトークン数などの生成時パラメータを、用途に合わせて細かく調整すること
   4. 4学習データに含まれる個人情報や重複データをあらかじめ削除し、事前学習用のデータセットを整えること
   答えと解説

   正解: 1

   ファインチューニングは、事前学習済みの大規模モデルを土台に、特定の分野や業務向けのデータセットで追加学習を行い、パラメータを微調整して用途に適応させる手法です。ゼロから学習するより少ないデータと計算で済みます。回答の手作業での修正、Temperatureの調整（これは推論時の設定）、個人情報の削除（前処理）はファインチューニングとは別の作業です。

6. 問6
   2024年以降にOpenAIが公開したモデルに関する説明として、最も適切なものを1つ選びなさい。
   1. 1GPT-4oは回答前に段階的に考える推論能力を強化したモデルで、o1やo3などの「o」シリーズはテキスト・画像・音声を統合的に扱うマルチモーダルモデルである。
   2. 2GPT-4oはテキスト・画像・音声を統合的に扱うマルチモーダルモデルで、o1やo3などの「o」シリーズは回答前に段階的に考える推論能力を強化したモデルである。
   3. 3GPT-4oは画像生成専用のText-to-Imageモデルで、o1やo3などの「o」シリーズはオープンソースとして重みが公開された軽量モデルである。
   4. 4GPT-4oはGPT-4の学習データを2024年まで更新しただけのモデルで、o1やo3などの「o」シリーズは音声対話に特化したモデルである。
   答えと解説

   正解: 2

   GPT-4o（oはomni）は2024年5月に公開され、テキスト・画像・音声を1つのモデルで扱えるマルチモーダル性能と応答速度が特徴です。o1（2024年9月）以降のoシリーズは、回答を出す前に内部で段階的に推論する「考える」プロセスを強化し、数学やプログラミングなど複雑な課題での正確性を高めたモデルで、o3、o4-miniへと続いています。用途を音声・画像に限定する説明や、GPT-4より前という時期、同一モデルという説明は誤りです。

7. 問7
   2025年にOpenAIが公開したGPT-4.1とGPT-5に関する説明として、最も適切なものを1つ選びなさい。
   1. 1GPT-4.1は画像と動画の生成に特化したモデルで、GPT-5はテキスト処理を外部の別モデルに委ねる音声対話専用のモデルである。
   2. 2GPT-4.1はGoogleとの共同開発モデルで、GPT-5はオープンソースとして重みが公開された研究用の小規模モデルである。
   3. 3GPT-4.1は長い文脈の処理やコーディング性能を高めたモデルで、GPT-5はその後に公開された次世代の主力モデルである。
   4. 4GPT-5は長い文脈の処理やコーディング性能を高めた改良版で、GPT-4.1はその後に公開された次世代の主力モデルである。
   答えと解説

   正解: 3

   GPT-4.1は2025年4月に公開され、長いコンテキストの扱いやコーディング性能、指示への追従性を高めたモデルです。GPT-5は2025年8月に公開されたOpenAIの次世代主力モデルで、用途に応じて推論の深さを切り替える仕組みなどが特徴です。公開順はGPT-4.1が先で、どちらもテキストを中心とした汎用モデルであり、画像生成専用ではなく、開発元はOpenAIです。

8. 問8
   大規模言語モデルにおける「パラメータ」の説明として、最も適切なものを1つ選びなさい。
   1. 1利用者が入力する質問文や指示文のことで、その文字数が多いほど一般に回答の精度が高くなる。
   2. 2モデルが1回の応答で出力できるトークン数の上限で、その数が多いほど長い文章を生成できる。
   3. 3学習に使ったWebサイトや書籍などの文書の総数で、その数が多いほど一般に知識の範囲が広くなる。
   4. 4学習によって調整されるモデル内部の数値（重みなど）で、その数が多いほど一般に表現力が高くなる。
   答えと解説

   正解: 4

   パラメータは、ニューラルネットワーク内部の重みなど、学習によって値が決まる数値の総称です。GPT-3の約1,750億パラメータのように、その数はモデルの規模を表す指標として使われ、多いほど複雑なパターンを表現できる傾向があります。利用者の入力文はプロンプト、出力の上限はトークン数の制限、学習元のサイト数はデータセットに関する話で、パラメータではありません。

9. 問9
   OpenAIのモデルの登場順として、最も適切なものを1つ選びなさい。
   1. 1GPT-3 → GPT-4 → GPT-4o → GPT-5
   2. 2GPT-4o → GPT-3 → GPT-4 → GPT-5
   3. 3GPT-3 → GPT-5 → GPT-4 → GPT-4o
   4. 4GPT-4 → GPT-3 → GPT-5 → GPT-4o
   答えと解説

   正解: 1

   GPT-3は2020年、GPT-4は2023年、GPT-4oは2024年、GPT-5は2025年に登場しました。GPT-3 → GPT-4 → GPT-4o → GPT-5 の順です。

10. 問10
    自社向けのチャットAIが、正確だが乱暴な言い方をしたり、危険な依頼にも答えてしまう。人間の意図や価値観に沿うよう調整する取り組みと、その代表的な手法の組み合わせとして最も適切なものを1つ選びなさい。
    1. 1データ拡張と、学習画像を回転・反転して多様性を持たせて偏りをなくす方法
    2. 2アライメントと、人間の評価をもとに報酬モデルを学習させて強化学習で調整するRLHF
    3. 3ファインチューニングと、推論時の設定であるTemperatureを下げて出力を安定させる方法
    4. 4位置エンコーディングと、文中の単語の語順の情報を加えて応答を整える方法
    答えと解説

    正解: 2

    AIの振る舞いを人間の意図・価値観・倫理に沿ったものにする取り組みがアライメントで、その代表的な手法がRLHF（人間のフィードバックによる強化学習）です。人間が応答を評価・順位付けし、その評価を予測する報酬モデルを学習させ、報酬が高くなるようにモデルを調整します。Temperatureの調整は推論時の設定、位置エンコーディングは語順の補完、データ拡張は画像の水増しで、いずれも振る舞いを価値観に沿わせる手法ではありません。

11. 問11
    ChatGPTに関する記述として、不適切なものを1つ選びなさい。
    1. 1GPTシリーズの大規模言語モデルをもとに、人間と自然に対話できるよう調整されている
    2. 2翻訳・要約・質問応答・文章作成など、自然言語処理の幅広い用途に使われる
    3. 3GoogleがBardの後継として公開し、Google検索やGmailに組み込まれている
    4. 4アメリカのOpenAIが2022年11月に公開した対話型のテキスト生成AIである
    答えと解説

    正解: 3

    ChatGPTはOpenAIが2022年11月に公開した対話型のテキスト生成AIで、GPTシリーズをもとに対話向けに調整されています。Bardの後継としてGoogleが公開し検索やGmailに組み込んでいるのはGeminiの説明で、ChatGPTの記述としては不適切です。

12. 問12
    言語モデルの「パラメータ」の説明として、最も適切なものを1つ選びなさい。
    1. 1利用者が推論時に設定する温度や出力の長さなどの値の総称で、学習とは無関係にいつでも変更できる
    2. 2学習に用いたテキストの集合のことで、集合の量が多いほどモデルの性能が高くなる傾向がある
    3. 3モデルが一度に処理できる文章の長さの上限のことで、トークン数という単位で表される
    4. 4ニューラルネットワーク内部の重みなど、学習によって値が決まる数値の総称で、モデルの規模の指標に使われる
    答えと解説

    正解: 4

    パラメータは、ニューラルネットワーク内部の重みなど学習によって値が決まる数値の総称で、GPT-1からGPT-3にかけて桁違いに増え、モデルの規模を表す指標として使われます。推論時に利用者が設定する値はハイパーパラメータ（Temperatureなど）、学習に用いたテキストの集合はデータセット、一度に処理できる長さはコンテキストの上限で、いずれもパラメータの定義ではありません。

13. 問13
    ファインチューニングに関する記述として、不適切なものを1つ選びなさい。
    1. 1推論時にTemperatureなどの設定値を変えることを指し、モデルの重みは変化しない
    2. 2事前学習したモデルに、特定の目的に合わせた追加データで再学習を行い、用途に特化させることである
    3. 3ゼロから学習するより少ないデータと計算で済む
    4. 4自社の文体や専門用語を反映させたい場合に用いられる
    答えと解説

    正解: 1

    ファインチューニングは事前学習済みのモデルに追加データで再学習を行い用途に特化させる作業で、モデルの重みが更新されます。推論時にTemperatureなどの設定を変えることはファインチューニングではなく、重みも変化しないため、その記述は不適切です。

14. 問14
    InstructGPTの位置づけとして、最も適切なものを1つ選びなさい。
    1. 1Googleが開発したエンコーダ型のモデルで、文の分類と質問応答に特化し、双方向に文脈を読む
    2. 2RLHFによって人間の指示に従うよう調整されたモデルで、ChatGPTの土台となる手法を確立した
    3. 3画像と音声を統合的に扱えるようにした最初のマルチモーダルなモデルとして2024年に登場した
    4. 4回答の前に段階的に推論を行う「考える」モデルとして2024年に登場し、複雑な問題の正確さを高めた
    答えと解説

    正解: 2

    InstructGPTは2022年に、RLHF（人間のフィードバックによる強化学習）で人間の指示に従うよう調整されたモデルで、同年11月に公開されたChatGPTの土台となる手法を確立しました。画像と音声の統合はGPT-4o、段階的に推論するモデルはo1などのoシリーズ、Googleのエンコーダ型モデルはBERTの説明です。

15. 問15
    OpenAIのo1やo3のような「oシリーズ」の特徴として、最も適切なものを1つ選びなさい。
    1. 1パラメータ数を約1,750億にまで増やし、少ない例示で多様なタスクをこなせるようになったモデルである
    2. 2Webブラウザを自ら操作して、予約や購入を利用者の代わりに実行するエージェントである
    3. 3回答を出す前に段階的に推論を行い、複雑な問題に対する正確さを高めることを狙ったモデルである
    4. 4テキスト・画像・音声を1つのモデルで統合的に扱うことを初めて実現したモデルである
    答えと解説

    正解: 3

    oシリーズ（o1、o3、o4-miniなど）は、回答の前に段階的に推論する「考える」モデルで、複雑な問題への正確さを高めることを狙っています。テキスト・画像・音声の統合はGPT-4o、約1,750億パラメータはGPT-3、ブラウザを操作するエージェントはOperatorの説明です。

16. 問16
    自然言語処理（NLP）の説明として、最も適切なものを1つ選びなさい。
    1. 1プログラミング言語の文法をコンピュータが解析して、プログラムの誤りを自動で修正する技術分野
    2. 2自然界の音や映像をセンサーで取り込み、環境の変化を検知する技術分野
    3. 3人間の脳の神経回路をそのまま再現して、意識を持つコンピュータを作る研究分野
    4. 4人間が日常的に使う言葉をコンピュータで扱うための技術分野で、翻訳や要約、質問応答などに応用される
    答えと解説

    正解: 4

    自然言語処理は、人間が日常的に使う言葉をコンピュータで扱う技術分野で、翻訳・要約・質問応答・文章作成などに応用されます。ChatGPTはその応用例です。プログラミング言語の解析、センサーによる環境検知、脳の再現はいずれも自然言語処理の定義ではありません。