ディープラーニングの発展史（ネオコグニトロン、LeNet、ILSVRC、アルファ碁、生成AI）

この節の練習問題（8問）

答えを見る前に選んでから開いてください。同じ問題は章別演習でランダム出題されます。

1. 問1
   2012年の画像認識コンペティションILSVRCで、ディープラーニングを用いてそれまでの手法を大幅に上回る精度で優勝し、第三次AIブームの火付け役となったモデルとして最も適切なものを選びなさい。
   1. 1ResNet
   2. 2AlexNet
   3. 3LeNet
   4. 4ネオコグニトロン
   答えと解説

   正解: 2

   AlexNetはジェフリー・ヒントンらのチームが2012年のILSVRC（ImageNetを使った画像認識コンペ）に投入したCNNで、誤認識率を従来の約26%から約16%へ一気に下げて優勝し、ディープラーニングへの注目を決定づけました。LeNetは1998年にヤン・ルカンが手書き数字認識に用いた初期のCNN、ネオコグニトロンは1980年に福島邦彦が提案したCNNの原型、ResNetは2015年に登場したスキップ結合を持つ深いネットワークです。

2. 問2
   1980年に福島邦彦が提案した、人間の視覚神経回路の研究をもとにした階層型ニューラルネットワークで、畳み込みニューラルネットワーク（CNN）の原型とされるものとして最も適切なものを選びなさい。
   1. 1AlexNet
   2. 2単純パーセプトロン
   3. 3ネオコグニトロン
   4. 4LeNet
   答えと解説

   正解: 3

   ネオコグニトロンは、視覚野の単純細胞と複雑細胞の働きを模した層を重ねることで、位置のずれに強いパターン認識を実現したモデルで、後のCNNの畳み込み層とプーリング層に相当する構造を持っていました。LeNetは1998年のCNN、AlexNetは2012年のILSVRC優勝モデル、単純パーセプトロンは1958年にローゼンブラットが提案した1層のニューラルネットワークです。

3. 問3
   2016年に囲碁のトップ棋士に勝利し、ディープラーニングと強化学習、モンテカルロ木探索を組み合わせた成果として世界的に注目されたシステムとして最も適切なものを選びなさい。
   1. 1ワトソン
   2. 2東ロボくん
   3. 3DENDRAL
   4. 4AlphaGo
   答えと解説

   正解: 4

   AlphaGoはDeepMindが開発した囲碁AIで、2016年に李世ドル九段に4勝1敗で勝利しました。局面評価と着手選択にディープラーニングを用い、自己対戦による強化学習とモンテカルロ木探索を組み合わせた点が特徴です。ワトソンは2011年にクイズ番組で勝利したIBMの質問応答システム、東ロボくんは大学入試に挑んだプロジェクト、DENDRALは初期のエキスパートシステムです。その後、ディープラーニングは画像・言語の生成にも広がり、生成AIへとつながっています。

4. 問4
   1998年にヤン・ルカンらが発表し、手書き数字の認識に用いられた、畳み込み層とプーリング層を組み合わせた初期の畳み込みニューラルネットワークの名称を選びなさい。
   1. 1ネオコグニトロン
   2. 2LeNet
   3. 3ResNet
   4. 4AlexNet
   答えと解説

   正解: 2

   LeNetはヤン・ルカンらによる初期のCNNで、郵便番号などの手書き数字認識に使われ、現在のCNNの基本構造を確立しました。ネオコグニトロンは1980年に福島邦彦が提案したCNNの原型、AlexNetは2012年のILSVRCで優勝した深いCNN、ResNetは2015年にスキップ結合を導入して150層超を実現したモデルです。

5. 問5
   古典的な機械学習とディープラーニングの最も本質的な違いとして、最も適切なものを選びなさい。
   1. 1古典的な機械学習では教師データなしで規則性を見つけるのに対し、ディープラーニングでは正解ラベル付きの教師データが必要になる
   2. 2古典的な機械学習では分類問題だけを扱うのに対し、ディープラーニングでは回帰問題だけを扱い、両者は解ける問題の種類で区別される
   3. 3古典的な機械学習では人が特徴量を設計して与えるのに対し、ディープラーニングではデータからどの特徴量を使うべきかも含めて学習する
   4. 4古典的な機械学習ではデータからどの特徴量を使うべきかも含めて学習するのに対し、ディープラーニングでは人が特徴量を設計して与える
   答えと解説

   正解: 3

   従来の機械学習では「画像のどの部分に注目するか」といった特徴量を人が設計する必要があり、その設計の良し悪しが精度を左右しました。ディープラーニングは多層のニューラルネットワークによって特徴量の抽出も含めて自動で学習する点が本質的な違いです。特徴量の扱いを逆にした説明は誤りです。教師データの要否や、分類と回帰のどちらを扱うかは両者を区別する基準ではなく、どちらも教師あり・教師なしの両方、分類・回帰の両方に使えます。

6. 問6
   2010年代後半から2020年代にかけてのディープラーニングの発展に関する記述として、最も適切なものを選びなさい。
   1. 12016年のアルファ碁の成功を頂点にディープラーニングの研究は停滞し、生成AIは2020年代に統計的機械翻訳とルールベース手法の組み合わせで実現された
   2. 2生成AIは大規模なデータで事前学習するのではなく、タスクごとに少量のラベル付きデータで個別に学習したモデルの集合として、2010年代前半に普及した
   3. 3Transformerの登場以降、画像認識の精度は大幅に向上したが、自然言語処理は依然としてRNNが主流で、文章を生成するモデルは実用化に至っていない
   4. 4Transformerの登場以降、大規模なデータで事前学習した言語モデルや画像生成モデルが実用化し、文章・画像・音声を生成する生成AIが普及した
   答えと解説

   正解: 4

   2017年に登場したTransformerは自然言語処理に革命をもたらし、大規模言語モデル（LLM）や拡散モデルによる画像生成へと発展しました。文章・画像・音声などを生成する生成AIはディープラーニングの成果であり、2020年代に急速に普及しています。自然言語処理への応用が少ない、アルファ碁以降停滞している、生成AIがルールベースであるという記述はいずれも誤りです。

7. 問7
   スタンフォード大学のフェイフェイ・リらが構築し、ILSVRCで用いられた1,400万枚超のラベル付き画像データセットとして最も適切なものを選びなさい。
   1. 1AlexNet
   2. 2LeNet
   3. 3ImageNet
   4. 4ネオコグニトロン
   答えと解説

   正解: 3

   ImageNetは1,400万枚を超えるラベル付き画像のデータセットで、これを使った画像認識コンペティションがILSVRCです。AlexNetは2012年のILSVRCで優勝したモデル、LeNetはルカンらの手書き数字認識のCNN、ネオコグニトロンは福島邦彦が提案したCNNの原型で、いずれもデータセットではありません。

8. 問8
   ディープラーニングの発展史に関する記述として、不適切なものを選びなさい。
   1. 11969年、ミンスキーらが単純パーセプトロンの限界を指摘した
   2. 22006年、ヒントンらが積層オートエンコーダで事前学習を示した
   3. 32012年のILSVRCで、AlexNetが従来手法を大差で上回った
   4. 42016年のアルファ碁は、強化学習を使わず探索だけで勝利した
   答えと解説

   正解: 4

   アルファ碁はディープラーニングと強化学習、モンテカルロ木探索を組み合わせてプロ棋士に勝利したので、強化学習を使っていないという記述は誤りです。ミンスキーらによる単純パーセプトロンの限界（XORを解けない）の指摘、ヒントンらの積層オートエンコーダによる事前学習、AlexNetのILSVRCでの圧勝は、いずれも正しい記述です。