データ生成（GAN、DCGAN、Pix2Pix、CycleGAN、拡散モデル、NeRF）

この節の練習問題（7問）

答えを見る前に選んでから開いてください。同じ問題は章別演習でランダム出題されます。

1. 問1
   GANとその派生モデルに関する記述として、最も適切なものを選びなさい。
   1. 1GANは潜在変数を確率分布として学習しサンプリングによってデータを生成する単一のネットワークで、識別器は存在しない。DCGANは決定木を用いて画像を生成し、Pix2PixとCycleGANはどちらも文章から画像を生成するText-to-Imageのモデルである
   2. 2GANは生成器と識別器を協調させて同じ損失を最小化するように学習する。DCGANは全結合層のみで構成して学習を安定させ、Pix2Pixは画像から説明文を生成するImage Captioningを学習し、CycleGANは対応するペア画像で音声から音声への変換を学習する
   3. 3GANは本物らしいデータを作る生成器と本物か偽物かを見分ける識別器を競わせて学習する。DCGANは畳み込み層を用いて安定した画像生成を実現し、Pix2Pixは対応するペア画像で画像から画像への変換を学習し、CycleGANはペアなしで変換を学習する
   4. 4GANは本物らしいデータを作る生成器と本物か偽物かを見分ける識別器を競わせて学習する。DCGANは畳み込み層を用いて安定した画像生成を実現し、Pix2Pixはペアなしで画像から画像への変換を学習し、CycleGANは対応するペア画像で変換を学習する
   答えと解説

   正解: 3

   GAN（2014年、グッドフェロー）は生成器と識別器の2つのネットワークを敵対的に学習させる生成モデルです。DCGANは畳み込み層とバッチ正規化を導入して高品質な画像生成を安定させました。Pix2Pixは「線画と写真」のように対応する画像ペアを使って変換を学習し、CycleGANは「馬とシマウマ」のようにペアのないデータでも、変換して戻すと元に戻るという循環一貫性の制約で変換を学習します。

2. 問2
   拡散モデル（Diffusion Model）による画像生成の仕組みとして最も適切なものを選びなさい。
   1. 1本物に似た画像を作る生成器と本物か偽物かを見分ける識別器を競わせ、識別器を欺けるまで生成器の出力を段階的に改善して画像を生成する
   2. 2画像を左上から右下へ画素またはトークンの列として並べ、直前までの列を条件に次の1つを順番に予測することで画像を生成する
   3. 3入力画像を符号化器で正規分布に従う潜在ベクトルに圧縮し、そこからサンプリングした値を復号化器で復元することで画像を生成する
   4. 4画像に少しずつノイズを加えて完全なノイズにする過程を学習し、その逆に、ノイズから段階的にノイズを取り除いて画像を生成する
   答えと解説

   正解: 4

   拡散モデルは、データにガウスノイズを段階的に加えていく拡散過程を定義し、各段階のノイズを予測して除去するネットワークを学習します。生成時はランダムノイズから出発して逆過程を繰り返すことで画像を得ます。学習が安定し高品質で多様な生成ができるため、Stable DiffusionやDALL-E 2以降の画像生成の主流になりました。生成器と識別器はGAN、トークンの順次予測は自己回帰モデル、圧縮と復元はオートエンコーダの仕組みです。

3. 問3
   NeRF（Neural Radiance Fields）の説明として最も適切なものを選びなさい。
   1. 1複数の視点から撮影した画像をもとに、空間の各点の色と密度をニューラルネットワークで表現し、任意の新しい視点からの画像を合成する3次元表現の手法
   2. 2文章の音素や韻律をニューラルネットワークで表現し、任意のテキストから自然な音声波形を合成する手法で、話者の声質を変えることもできる
   3. 32枚の画像とそのラベルを一定の比率で混ぜ合わせて新しい訓練データを作るデータ拡張の手法で、決定境界を滑らかにして汎化性能を高める
   4. 4ノイズを段階的に加えた画像からノイズを除去する過程を学習し、ランダムなノイズから画像を生成する拡散モデルの一種で、テキストの指示にも対応できる
   答えと解説

   正解: 1

   NeRFは2020年に提案された手法で、3次元空間の座標と視線方向を入力として色と密度を出力するネットワークを、複数視点の写真から学習します。学習後は撮影していない視点からの画像をレンダリングでき、3次元シーンの再構成や自由視点映像に応用されています。音声生成、データ拡張、拡散モデルとは異なる手法です。

4. 問4
   GAN（敵対的生成ネットワーク）の学習の仕組みの説明として、最も適切なものを選びなさい。
   1. 1入力を潜在変数の確率分布に圧縮するエンコーダと、分布からサンプリングして復元するデコーダを組み合わせ、再構成誤差が小さくなるように両者を同時に学習させる
   2. 2生成器の出力に対する人間の評価から報酬モデルを学習し、その報酬が大きくなるように強化学習で生成器を調整することで、人間の好みに合うデータを生成させる
   3. 3本物らしいデータを作る生成器と、本物と偽物を見分ける識別器を競わせ、識別器を欺けるように生成器を、見破れるように識別器を交互に学習させる
   4. 4入力データに段階的にノイズを加えていく過程を定義し、そのノイズを少しずつ取り除く逆過程をニューラルネットワークに学習させ、ノイズからデータを生成する
   答えと解説

   正解: 3

   GANは生成器（ジェネレータ）と識別器（ディスクリミネータ）の2つのネットワークを敵対的に学習させる枠組みで、イアン・グッドフェローらが2014年に提案しました。両者が競い合うことで生成器は本物と見分けがつかないデータを作れるようになります。ノイズの除去過程を学ぶのは拡散モデル、潜在変数の分布に圧縮するのはVAE、報酬モデルを使うのはRLHFです。

5. 問5
   Pix2PixとCycleGANの違いの説明として、最も適切なものを選びなさい。
   1. 1Pix2Pixは「猫の写真」のようなテキストの説明文から画像を生成するのに対し、CycleGANは画像を入力としてその内容を説明するテキストを生成し、両者を循環させて一貫性を学習する
   2. 2Pix2Pixは1枚の画像を入力として複数の解像度の画像を段階的に生成するのに対し、CycleGANは対になった画像ペアを用いて、変換した画像を元に戻す再構成誤差だけで学習する
   3. 3Pix2Pixは「馬の写真の集合とシマウマの写真の集合」のように対応関係のない2つの画像群から相互変換を学習するのに対し、CycleGANは「線画と完成画」のように対になった画像ペアで学習する
   4. 4Pix2Pixは「線画と完成画」のように対になった画像ペアで学習するのに対し、CycleGANは「馬の写真の集合とシマウマの写真の集合」のように対応関係のない2つの画像群から相互変換を学習する
   答えと解説

   正解: 4

   Pix2Pixは入力画像と目標画像のペアを必要とする条件付きGANによる画像変換モデルです。CycleGANは変換して戻すと元に戻るという循環一貫性の制約を加えることで、ペアデータなしに2つのドメイン間の変換（写真と絵画、夏と冬など）を学習できます。両者の特徴を入れ替えた説明は誤りです。どちらも画像から画像への変換モデルであり、テキストから画像を生成したり画像から説明文を生成したりするモデルではなく、CycleGANがペアデータを必要とするという説明も誤りです。

6. 問6
   生成モデルのビジネス活用に関する記述として、最も適切なものを選びなさい。
   1. 1生成モデルは学習データを丸ごと複製することがあるため、生成物の著作権や個人情報の扱いを確認したうえで利用する必要がある
   2. 2生成モデルの出力は学習データとは無関係に乱数から作られるため、生成物に既存の著作物や個人情報が含まれることはなく、確認は不要である
   3. 3生成モデルは画像の生成に特化した技術であり、文章や音声の生成には生成モデルとは別の識別モデルの技術を用いる必要がある
   4. 4生成モデルは学習データを必要とせず、利用者がプロンプトを入力するだけで動作するため、データの収集や権利処理にかかるコストが不要である
   答えと解説

   正解: 1

   拡散モデルやLLMなどの生成モデルは、学習データに似た出力や、場合によってはほぼ同一の出力を生成することがあり、著作権侵害や個人情報の漏えいにつながるおそれがあります。文章・画像・音声・動画など幅広いモダリティで生成モデルが使われており、学習には大量のデータが必要です。

7. 問7
   GANの学習で、生成器が多様なデータを作れなくなり、同じような画像ばかりを生成してしまう現象を何というか。最も適切なものを選びなさい。
   1. 1モード崩壊
   2. 2破滅的忘却
   3. 3ハルシネーション
   4. 4データ汚染
   答えと解説

   正解: 1

   GANは学習が不安定になりやすく、同じような画像ばかり生成するモード崩壊が課題とされています。破滅的忘却は追加学習で以前のタスクの性能が大きく低下する現象、ハルシネーションはLLMがもっともらしい誤りを生成する現象です。データ汚染は学習データに悪意のあるデータを混入させる攻撃です。