G検定 › Web参考書 › 第3章

教師なし学習(クラスタリング、次元削減、推薦システム、トピックモデル)

第3章 機械学習の概要 / 節 2

シラバスのキーワード: クラスタリングk-means法ウォード法デンドログラム (樹形図)次元削減主成分分析 (PCA)特異値分解 (SVD)t-SNE多次元尺度構成法 (MDS)協調フィルタリングコンテンツベースフィルタリングコールドスタート問題トピックモデル潜在的ディリクレ配分法 (LDA)

本文を読んだあと、覚えているか確認してください。

教師なし学習の枠組み

正解ラベルを使わず、特徴量だけからデータの構造(グループ、分布、潜在的な因子)を見つけます。顧客のセグメンテーション、推薦、異常検知、可視化などに使われます。

クラスタリング

次元削減

手法 特徴
主成分分析(PCA) データの分散が最大になる方向(主成分)を順に見つけ、少数の軸で表現する線形手法
特異値分解(SVD) 行列を3つの行列の積に分解する線形代数の手法。PCAの計算や推薦の評価行列の分解に使う
多次元尺度構成法(MDS) データ間の距離をできるだけ保ったまま低次元に配置
t-SNE 高次元での近さを確率で表し低次元でも保つ。クラスタ構造の可視化に強いが、新しいデータの変換には向かない

推薦システム

協調フィルタリングは「似た利用者が買ったもの」を推薦し、コンテンツベースフィルタリングは商品の属性と利用者の好みの類似で推薦します。協調フィルタリングは履歴のない新規利用者や新商品に対応できないコールドスタート問題を持ち、コンテンツベースとの併用が対策になります。

トピックモデル

文書が複数の「トピック」の混合で構成され、各トピックが単語の確率分布であると仮定して文書の潜在的な構造を推定する手法で、潜在的ディリクレ配分法(LDA)が代表です。

試験で問われる観点

この節の練習問題(12問)

答えを見る前に選んでから開いてください。同じ問題は章別演習でランダム出題されます。

  1. 問1
    あらかじめクラスタ数kを指定し、各データを最も近い重心に割り当てて重心を更新する処理を繰り返すことでデータをk個のグループに分ける手法として最も適切なものを選びなさい。
    1. 1主成分分析(PCA)
    2. 2ロジスティック回帰
    3. 3ランダムフォレスト
    4. 4k-means法
    答えと解説

    正解: 4

    k-means法は非階層的クラスタリングの代表的な手法で、k個の重心を初期化し、割り当てと重心の再計算を収束するまで繰り返します。クラスタ数を事前に決める必要があり、初期値に結果が依存する点が特徴です。主成分分析は次元削減、ロジスティック回帰とランダムフォレストは教師あり学習の手法です。

  2. 問2
    階層的クラスタリングにおいて、クラスタを併合した際のクラスタ内の分散の増加が最小になる組み合わせから順に併合していく手法と、その併合過程を樹形図で表したものの名称の組み合わせとして正しいものを選びなさい。
    1. 1手法: ウォード法、樹形図: デンドログラム
    2. 2手法: k-means法、樹形図: 決定木
    3. 3手法: t-SNE、樹形図: ROC曲線
    4. 4手法: 主成分分析、樹形図: 混同行列
    答えと解説

    正解: 1

    ウォード法は階層的クラスタリングの代表的な併合基準で、併合後のクラスタ内分散(情報の損失)が最も小さくなる組み合わせを選びます。併合の過程を木の形で示した図がデンドログラム(樹形図)で、どの高さで切るかによってクラスタ数を決められます。k-means法は非階層的手法、t-SNEは可視化のための次元削減、主成分分析は次元削減で、樹形図とは関係ありません。

  3. 問3
    主成分分析(PCA)の説明として、最も適切なものを選びなさい。
    1. 1環境から得られる報酬の合計が最大になるように、状態ごとにとるべき行動の方針を試行錯誤で学ぶ手法
    2. 2データの分散が最大になる方向を順に見つけ、少数の主成分に射影することで次元を削減する手法
    3. 3データ間の距離をk個の重心との距離で評価し、最も近い重心に割り当てることでグループに分ける手法
    4. 4正解ラベル付きのデータから、クラス間の分離が最も良くなる境界を学習して新しいデータを分類する手法
    答えと解説

    正解: 2

    主成分分析は、元の変数の線形結合のうち分散が最大となる方向(第1主成分)、それと直交して次に分散が大きい方向(第2主成分)…を求め、寄与率の高い少数の主成分でデータを表すことで次元を削減します。計算には特異値分解が使われます。報酬を最大化する方針を学ぶのは強化学習、k個の重心に割り当ててグループ分けするのはk-means法、ラベル付きデータで境界を学習するのは教師あり分類で、いずれも主成分分析ではありません。

  4. 問4
    推薦システムにおける協調フィルタリングとコンテンツベースフィルタリングの違い、および協調フィルタリングの弱点の説明として最も適切なものを選びなさい。
    1. 1協調フィルタリングとコンテンツベースはどちらも正解ラベル付きの購買データを用いる教師あり学習であり、違いは扱うデータの形式だけである。協調フィルタリングは商品の特徴量を人手で設計する必要がある点が弱点となる
    2. 2協調フィルタリングは画像の類似性、コンテンツベースは文章の類似性から推薦する手法である。協調フィルタリングは新商品でも画像さえあれば推薦できるため、コールドスタート問題はコンテンツベースの側にのみ生じる
    3. 3協調フィルタリングは他のユーザーの行動履歴の類似性から推薦し、コンテンツベースは商品の特徴の類似性から推薦する。協調フィルタリングは新規ユーザーや新商品の履歴がないと推薦できないコールドスタート問題を抱える
    4. 4協調フィルタリングは商品の特徴の類似性から推薦し、コンテンツベースは他のユーザーの行動履歴の類似性から推薦する。コールドスタート問題は新規ユーザーの履歴がなくても推薦できるコンテンツベースに特有の弱点である
    答えと解説

    正解: 3

    協調フィルタリングは「この商品を買った人はこれも買っている」のように、ユーザーやアイテムの行動履歴の類似性を使って推薦します。履歴のない新規ユーザーや新商品には推薦できないコールドスタート問題があります。コンテンツベースフィルタリングはアイテム自体の特徴(ジャンル、キーワードなど)の類似性で推薦するため、新商品にも対応しやすい一方、意外性のある推薦は苦手です。データの種類による限定はありません。

  5. 問5
    大量の文書について、各文書が複数の「トピック」の混合で構成され、各トピックが単語の確率分布であると仮定して、文書の潜在的な話題を教師なしで抽出する代表的な手法として最も適切なものを選びなさい。
    1. 1隠れマルコフモデル(HMM)
    2. 2非負値行列因子分解(NMF)
    3. 3サポートベクター回帰(SVR)
    4. 4潜在的ディリクレ配分法(LDA)
    答えと解説

    正解: 4

    LDA(Latent Dirichlet Allocation)はトピックモデルの代表的な手法で、文書をトピックの混合、トピックを単語の分布として確率的にモデル化し、ラベルなしで文書集合の話題構造を抽出します。隠れマルコフモデルは系列データの状態遷移を扱う確率モデル、非負値行列因子分解は行列を非負の因子に分解する手法でトピック抽出にも使われますが確率的なトピック分布を仮定するモデルではなく、サポートベクター回帰は教師あり学習の回帰手法です。

  6. 問6
    高次元のデータを2次元や3次元に圧縮して可視化する手法のうち、「高次元空間で近いデータ点は低次元でも近くなる」ように確率的に配置し、クラスタ構造の可視化に適しているが、新しいデータの変換には向かない手法を選びなさい。
    1. 1特異値分解(SVD)
    2. 2ウォード法
    3. 3主成分分析(PCA)
    4. 4t-SNE
    答えと解説

    正解: 4

    t-SNEは、データ点間の近さを確率として表現し、その分布を低次元でも保つように配置する可視化手法です。局所的な構造を保つのに優れる一方、計算コストが高く、学習後に新しい点を同じ空間に写像することが基本的にできません。PCAとSVDは線形の次元削減で新しいデータにも適用でき、ウォード法は階層的クラスタリングの手法です。

  7. 問7
    教師なし学習の次元削減手法の説明の組み合わせとして正しいものを選びなさい。
    1. 1特異値分解(SVD):行列を3つの行列の積に分解する線形代数の手法で、主成分分析や推薦システムの基礎になる。多次元尺度構成法(MDS):データ間の距離をできるだけ保ったまま低次元に配置する手法
    2. 2特異値分解(SVD):クラスタ内の分散の増加が最小になるようにクラスタを順に併合していく階層的な手法。多次元尺度構成法(MDS):あらかじめ決めたk個の重心にデータを割り当て、重心の再計算を繰り返す手法
    3. 3特異値分解(SVD):高次元での近傍関係を確率分布で表し、それを保つように2次元に配置する可視化の手法。多次元尺度構成法(MDS):文書を複数のトピックの混合として表現し、潜在的なトピックを推定する手法
    4. 4特異値分解(SVD):データ間の距離をできるだけ保ったまま低次元に配置する手法で、主成分分析や推薦システムの基礎になる。多次元尺度構成法(MDS):行列を3つの行列の積に分解する線形代数の手法
    答えと解説

    正解: 1

    特異値分解は任意の行列を3つの行列の積に分解する手法で、主成分分析の計算や、評価行列を分解する推薦システムなどに用いられます。多次元尺度構成法はデータ間の距離(非類似度)を保つように低次元に配置する手法です。クラスタ内分散で併合するのはウォード法、トピックの混合はLDA、確率的に近傍を保つのはt-SNE、重心に割り当てるのはk-means法です。

  8. 問8
    小売チェーンのマーケティング担当者が、数十万人の会員の購買履歴をもとに、性質の似た顧客をいくつかのグループに分けて施策を変えたいと考えている。正解となるグループ分けは存在しない。この課題に最も適した手法を選びなさい。
    1. 1ロジスティック回帰で各会員が「優良顧客か否か」を予測する
    2. 2k-means法で購買履歴の特徴量をもとに会員をクラスタリングする
    3. 3決定木で過去に施策に反応した会員を分類する
    4. 4Q学習で会員ごとに最適な施策を逐次的に学習する
    答えと解説

    正解: 2

    正解ラベルがなく、似た性質のデータをまとめたい課題はクラスタリングで、教師なし学習の代表例であるk-means法が適しています。ロジスティック回帰と決定木は正解ラベルが必要な教師あり学習、Q学習は行動と報酬の枠組みで学ぶ強化学習であり、この課題設定には合いません。

  9. 問9
    動画配信サービスで、登録したばかりで視聴履歴がまったくない利用者に対しても作品を推薦したい。協調フィルタリングだけでは推薦できないこの状況への対策として、最も適切なものを選びなさい。
    1. 1視聴履歴のある他の利用者の履歴をその利用者の履歴として複製し、通常どおり協調フィルタリングを実行する
    2. 2視聴履歴が一定数集まるまでは推薦機能を停止し、履歴のある利用者にだけ協調フィルタリングによる推薦を表示する
    3. 3作品のジャンルや出演者などの属性と、登録時に選ばせた好みを用いるコンテンツベースフィルタリングを併用する
    4. 4作品のジャンルや出演者などの属性を使わず、利用者間の視聴履歴の類似度だけを計算する協調フィルタリングを強化する
    答えと解説

    正解: 3

    利用者や商品の履歴がないために協調フィルタリングが機能しない問題をコールドスタート問題といいます。作品の属性情報と利用者の申告した好みを使うコンテンツベースフィルタリングを組み合わせるのが典型的な対策です。推薦を停止したり、他人の履歴を流用したり、利用者を排除したりする方法は対策として不適切です。

  10. 問10
    教師なし学習に関する記述として、誤っているものを選びなさい。
    1. 1教師なし学習は特徴量のみを用い、正解ラベルを必要としない
    2. 2階層的クラスタリングの結果はデンドログラム(樹形図)で表され、どの高さで切るかによってクラスタ数を後から決められる
    3. 3k-means法では、クラスタ数kをあらかじめ人が指定する必要がある
    4. 4教師なし学習は正解ラベルがないため、ビジネスでの応用例はほとんど存在しない
    答えと解説

    正解: 4

    教師なし学習は顧客のセグメンテーション、推薦システム、異常検知、データの可視化など多くのビジネス応用があります。正解ラベルを必要としないこと、デンドログラムで後からクラスタ数を決められること、k-means法でクラスタ数を事前に指定することはいずれも正しい記述です。

  11. 問11
    顧客データをグループに分けたいが、いくつに分けるべきか事前に決めにくい。併合の過程を樹形図で確認してからグループ数を決めたい。最も適切な手法を選びなさい。
    1. 1階層的クラスタリング
    2. 2k-means法
    3. 3主成分分析
    4. 4協調フィルタリング
    答えと解説

    正解: 1

    階層的クラスタリングは近いデータから順に併合し、その過程をデンドログラムで表すため、どの高さで切るかでクラスタ数を後から決められます。k-means法はクラスタ数kを事前に指定する必要があります。主成分分析は次元削減、協調フィルタリングは推薦の手法でグループ分けには使いません。

  12. 問12
    教師なし学習の手法に関する記述として、不適切なものを選びなさい。
    1. 1主成分分析は、データ間の距離を保って配置する非線形の手法である
    2. 2特異値分解は、行列を3つの行列の積に分解する線形代数の手法である
    3. 3t-SNEは、クラスタの可視化に強いが新しいデータの変換には向かない
    4. 4トピックモデルのLDAは、線形判別分析のLDAとは別の手法である
    答えと解説

    正解: 1

    主成分分析は、データの分散が最大になる方向を順に見つけて少数の軸で表す線形の手法です。データ間の距離をできるだけ保ったまま低次元に配置するのは多次元尺度構成法(MDS)の説明です。特異値分解、t-SNE、トピックモデルのLDAに関する記述は、いずれも正しい内容です。