深層強化学習（DQNとその改良、A3C、PPO、RLHF、sim2real、オフライン強化学習）

この節の練習問題（6問）

答えを見る前に選んでから開いてください。同じ問題は章別演習でランダム出題されます。

1. 問1
   DQN（Deep Q-Network）の説明として、最も適切なものを選びなさい。
   1. 1方策をディープニューラルネットワークで直接近似したモデルで、価値関数を用いずに方策勾配によってパラメータを更新し、過去の経験を時系列順に再利用する経験再生と、更新目標を毎回計算し直すターゲットネットワークによって学習を安定させ、囲碁で人間のプロに勝利した
   2. 2正解の行動をラベルとして与えた教師あり学習で行動を予測するモデルで、Atariのゲーム画面と人間のプレイ記録の組を大量に学習させ、報酬を用いずに人間の操作を模倣することで人間並みの性能を示し、経験再生やターゲットネットワークは用いない
   3. 3Q学習の行動価値関数をディープニューラルネットワークで近似したモデルで、直前の経験だけを順番に学習する経験再生と、更新目標を計算するネットワークを毎ステップ同期するターゲットネットワークによって学習を高速化し、囲碁専用に設計されたため他のゲームには適用できない
   4. 4Q学習の行動価値関数をディープニューラルネットワークで近似したモデルで、過去の経験をためてランダムに再利用する経験再生と、更新目標を計算する別のネットワークを固定するターゲットネットワークによって学習を安定させ、Atariのゲームで人間並みの性能を示した
   答えと解説

   正解: 4

   DeepMindが2013〜2015年に発表したDQNは、画面の画像を入力として各行動のQ値を出力するCNNを学習させ、多くのAtariゲームで人間並み以上のスコアを達成しました。学習の安定化のために、経験再生（Experience Replay）とターゲットネットワークを導入した点が重要です。その後、Q値の過大評価を抑えるダブルDQN、状態価値と行動の優位性を分けて推定するデュエリングネットワーク、探索のためのノイジーネットワークなどの改良が提案され、それらを統合したのがRainbowです。

2. 問2
   深層強化学習の手法や成果に関する記述として、最も適切なものを選びなさい。
   1. 1A3Cは複数のエージェントを並列に動かして非同期に学習するActor-Critic手法、PPOは方策の更新幅を制限して安定させた方策勾配法で広く使われ、RLHFは人間の評価を報酬として言語モデルを調整する際にPPOなどを用いる手法である
   2. 2A3Cは経験再生と固定ターゲットネットワークで安定化した価値ベースの手法、PPOはAtariゲームで初めて人間を上回ったDQNの改良版で、RLHFは人間の操作履歴を模倣学習して言語モデルを調整する手法である
   3. 3A3Cは囲碁で人間のトップ棋士に勝利したプログラム、PPOはStarCraft IIでプロに勝利したプログラムで、RLHFはAtariの57ゲームすべてで人間を上回った深層強化学習エージェントの名称である
   4. 4A3Cは方策の更新幅を制限して安定させた方策勾配法、PPOは複数のエージェントを並列に動かして非同期に学習するActor-Critic手法で、RLHFは人間の評価を報酬として言語モデルを調整する際にA3Cを用いる手法である
   答えと解説

   正解: 1

   A3C（Asynchronous Advantage Actor-Critic）は複数の環境で並列にエージェントを動かして学習を高速化した手法、APE-Xは経験再生を分散化した手法、Agent57はAtariの57ゲームすべてで人間を上回った初のエージェントです。PPO（Proximal Policy Optimization）は方策の急激な変化を抑えることで安定して学習できる方策勾配法で、OpenAI Five（Dota 2）などに使われ、ChatGPTのRLHFでも用いられました。経験再生と固定ターゲットネットワークで安定化した価値ベースの手法はDQNの説明、囲碁で勝利したのはAlphaGo、StarCraft IIで勝利したのはAlphaStarで、A3CとPPOの説明を入れ替えたものや、RLHFを模倣学習とする説明は誤りです。

3. 問3
   強化学習を実世界のロボットなどに適用する際の課題と手法に関する記述として、最も適切なものを選びなさい。
   1. 1マルチエージェント強化学習は1体のエージェントが複数の環境を同時に学習する手法であり、実機での試行が難しい場合には、既存のデータを使わずに実機での試行回数を増やすオンライン強化学習が用いられ、sim2realは画像認識の手法である
   2. 2シミュレータで学習した方策を実機に移すsim2realでは、環境の違いを埋めるために物理パラメータや見た目をランダムに変えて学習するドメインランダマイゼーションが使われる。実機での試行が難しい場合は、既存のデータのみから学習するオフライン強化学習も用いられる
   3. 3実機で学習した方策をシミュレータに移すsim2realでは、環境の違いを埋めるために物理パラメータや見た目を固定して学習するドメインランダマイゼーションが使われる。実機での試行が難しい場合は、環境と対話しながらオンラインで学習するオフライン強化学習も用いられる
   4. 4報酬成形（reward shaping）は、最終的な目標に到達したときだけ与えられる疎な報酬をすべて0に置き換えることで学習を速める手法であり、実機では試行錯誤が無制限にできるため、シミュレータやドメインランダマイゼーションは不要とされる
   答えと解説

   正解: 2

   実機での試行は時間とコストがかかり危険も伴うため、シミュレータで学習してから実機に移すsim2realが行われますが、シミュレータと現実のずれが問題になります。ドメインランダマイゼーションは学習時に環境の条件を幅広くランダム化して、現実もその範囲内に収まるようにする手法です。オフライン強化学習は追加の試行なしにログデータから学ぶ手法、報酬成形はまばらな報酬に補助的な報酬を加えて学習を導く手法、MARLは複数のエージェントが相互作用する設定を扱います。

4. 問4
   RLHF（人間のフィードバックによる強化学習）の手順の説明として、最も適切なものを選びなさい。
   1. 1言語モデルの複数の出力に人間が好ましさの順位を付け、それを学習した報酬モデルを使って、より好まれる出力を生成するように言語モデルを強化学習で調整する
   2. 2人間が言語モデルの内部の重みを直接確認し、好ましくない出力につながる重みを1つずつ手作業で書き換えて、モデルの振る舞いを調整する
   3. 3言語モデルの出力に対して人間が正しい回答文を1つずつ作成し、その回答文を教師データとして言語モデルを教師あり学習で追加学習する
   4. 4言語モデルを2つ用意して互いの出力を評価させ、人間を介さずに自動生成した報酬をもとに、より高い報酬を得る出力を生成するよう強化学習で調整する
   答えと解説

   正解: 1

   RLHFは、まず人間の評価（比較データ）から報酬モデルを学習し、次にその報酬を最大化するようにPPOなどの強化学習で言語モデルを微調整する手法です。ChatGPTなどの対話型LLMで指示への従順さや有害な出力の抑制に用いられました。重みを手作業で書き換えることは現実的でなく、人間が作った回答文で追加学習するのは教師ありファインチューニング（SFT）、モデル同士の評価で自動生成した報酬を使うのは人間のフィードバックを介さない別の手法です。

5. 問5
   PPO（Proximal Policy Optimization）の説明として、最も適切なものを選びなさい。
   1. 1ゲーム木の各ノードをランダムなプレイアウトの勝率で評価して探索を絞り込む手法で、AlphaGoでは方策ネットワークと組み合わせて用いられている
   2. 2方策の更新幅を一定の範囲に制限することで、方策勾配法の学習を安定させた手法で、OpenAI FiveやRLHFなど幅広く用いられている
   3. 3行動価値関数をニューラルネットワークで近似し、経験再生とターゲットネットワークで学習を安定させた手法で、Atariのゲーム攻略で人間を上回る成績を示した
   4. 4複数のエージェントが非同期に環境と相互作用して勾配を共有することで学習を並列化した手法で、Actor-Criticの枠組みをGPUなしで高速化した
   答えと解説

   正解: 2

   PPOは、新しい方策と古い方策の比率が大きく変わらないように目的関数を制限（クリップ）することで、方策勾配法の不安定さを抑えつつ実装を簡単にした手法です。Dota 2で人間のトップチームに勝利したOpenAI Fiveや、LLMのRLHFで広く使われています。行動価値関数の近似はDQN、非同期並列はA3C、ランダムなプレイアウトはモンテカルロ木探索です。

6. 問6
   DQNの改良手法に関する記述として、誤っているものを選びなさい。
   1. 1ダブルDQNは、行動の選択と評価を別のネットワークで行い、Q値の過大評価を抑える
   2. 2デュエリングネットワークは、状態価値と行動の優位性を分けて推定する
   3. 3ノイジーネットワークは、重みにノイズを加えて探索を抑え、学習を安定させる
   4. 4Rainbowは、ダブルDQNなど複数の改良を統合した手法である
   答えと解説

   正解: 3

   ノイジーネットワークは重みにノイズを加えることで探索を促す手法であり、探索を抑えるものではないため誤りです。ダブルDQNは行動の選択と評価を別のネットワークで行ってQ値の過大評価を抑え、デュエリングネットワークは状態価値と行動の優位性を分けて推定します。Rainbowはこれらの改良を統合した手法です。