データ分析・統計・可視化 入門学習
分析の進め方・確率分布と仮説検定・回帰と因果推論・特徴量と時系列・可視化とBIを体系的に学ぶ
第1章 分析の目的設定とデータの種類
データ分析は手法から入るのではなく、分析の目的の設定から始めます。科目B 2-1では、ビジネス上の課題を分析課題として整理し、目的・目標・評価指標を設定し、必要なデータの種類・取得方法・分析手法・検証方法を設計し、結果を意思決定に生かして効果を検証する技能が挙げられています。シラバスにはデータサイエンスのサイクルとして次の流れが示されています。
課題抽出と定式化 → データの取得・管理・加工 → 探索的データ解析 → データ解析と推論 → 結果の共有・伝達 → 課題解決に向けた提案
扱うデータの種類を正しく見分けることも重要です。
| 分類 | 種類 | 例 |
|---|---|---|
| 値の性質 | 量的データ/質的データ | 売上金額・気温/性別・満足度ランク |
| 尺度 | 名義尺度・順序尺度・間隔尺度・比例尺度 | 血液型/順位/摂氏温度/重さ・金額 |
| 取得経路 | 1次データ/2次データ | 自ら調査して集めたもの/既存の統計・他者が集めたもの |
| 構造 | 構造化/半構造化/非構造化 | 表形式のDB/JSON・XML/文書・画像・音声 |
| 時間の軸 | 時系列/クロスセクション/パネル | 1店舗の日次売上/ある日の全店売上/全店舗の日次売上 |
| その他 | オルタナティブデータ | 人流・衛星画像・SNSなど従来とは異なる情報源のデータ |
- 分析は「目的・目標・評価指標の設定」から。手法ありきにしない
- データサイエンスのサイクル:定式化→取得・加工→探索→解析・推論→共有→提案
- 尺度は名義・順序・間隔・比例。間隔尺度は差に意味があるが比には意味がない
- パネルデータ=同じ対象を複数時点で観測したデータ(時系列×クロスセクション)
第2章 確率分布と統計的推論
統計的手法の土台は確率分布です。シラバスの用語例に挙がっている主な分布を整理します。
| 分布 | 使われる場面 |
|---|---|
| 二項分布 | 成功確率 p の試行を n 回行ったときの成功回数(例:100通のDMの反応数) |
| ポアソン分布 | 一定時間内にまれに起こる事象の発生回数(例:1時間あたりの問合せ件数) |
| 指数分布 | 事象が起きるまでの待ち時間(ポアソン過程の到着間隔) |
| 正規分布 | 平均を中心に左右対称の釣鐘型。多くの検定・推定の前提 |
| カイ二乗分布 | 適合度・独立性の検定(クロス集計表の検定など)に使う |
条件付き確率 P(A|B) は「Bが起きたときにAが起きる確率」で、ベイズの定理 P(A|B) = P(B|A)P(A) ÷ P(B) により、観測結果から原因の確率を更新できます。母集団の特徴を標本から推し量るのが推定で、データが得られる確からしさである尤度を最大にするパラメータを選ぶ方法が最尤推定です。
仮説検定では「差がない」などの帰無仮説を立て、帰無仮説が正しいと仮定したときに観測結果以上に極端な結果が得られる確率であるp値(有意確率)を求め、あらかじめ決めた有意水準(例:5%)を下回れば帰無仮説を棄却します。p値は「帰無仮説が正しい確率」ではない点に注意してください。本当に差があるときにそれを正しく検出できる確率が検出力(検定力)です。母分散が既知・大標本ならz検定、母分散が未知の平均の比較にはt検定を使うのが基本です。
- 二項=成功回数、ポアソン=まれな事象の回数、指数=待ち時間、カイ二乗=適合度・独立性の検定
- ベイズの定理:P(A|B) = P(B|A)P(A) ÷ P(B)
- p値<有意水準なら帰無仮説を棄却。p値は帰無仮説が正しい確率ではない
- 検出力=本当に差があるときに差を検出できる確率
- t検定=母分散未知の平均の比較、z検定=母分散既知・大標本
第3章 回帰分析・多変量解析・因果推論
回帰分析は目的変数を説明変数で説明・予測する手法です。説明変数が1つなら単回帰分析、複数なら重回帰分析、目的変数が「購入する/しない」のような2値ならロジスティック回帰分析を使います。重回帰では説明変数同士の相関が強いと係数が不安定になる多重共線性に注意が必要です。事前に散布図行列や相関係数行列で変数間の関係を確認します(IPAの科目Bサンプル問題でも散布図行列と重回帰が題材になっています)。
多数の変数を少数の合成変数に要約するのが主成分分析、観測された変数の背後にある共通の要因(潜在因子)を探るのが因子分析です。
相関は因果を意味しません。第三の要因(交絡因子)によって見かけ上の相関が生じる擬似相関(例:アイスの売上と水難事故はどちらも気温の影響を受ける)に注意します。因果効果を推定する因果推論の手法として、施策を実施したグループとしていないグループの「前後の変化の差」を比べる差分の差分法、処置を受ける確率で似た対象同士を比べる傾向スコアがあります。
| バイアス・問題 | 内容 |
|---|---|
| 選択バイアス | 分析対象の選び方が偏っている(例:アンケートに回答した熱心な顧客だけを分析) |
| 情報バイアス | 測定・記録の誤りや偏り |
| 交絡バイアス | 交絡因子の影響で真の関係がゆがむ |
| 認知バイアス | ハロー効果、バンドワゴン効果、正常性バイアス、確証バイアスなど人の判断の偏り |
| p値ハッキング/出版バイアス | 有意になるまで分析を繰り返す/有意な結果ばかりが公表される。再現性の危機の一因 |
- 単回帰・重回帰・ロジスティック回帰(目的変数が2値)を使い分ける
- 重回帰は多重共線性に注意。散布図行列・相関係数行列で事前確認
- 主成分分析=要約、因子分析=潜在因子の発見
- 相関≠因果。擬似相関・交絡に注意し、差分の差分法や傾向スコアで因果を推定
- 統計的バイアスと認知バイアス、p値ハッキング・出版バイアスを区別する
第4章 特徴量エンジニアリング・時系列・アソシエーション分析
機械学習に入力するデータを使いやすく加工するのが特徴量エンジニアリングです。シラバスの例は標準化(平均0・標準偏差1にそろえる)、二値化(しきい値で0/1にする)、離散化(年齢を年代に区切るなど)、対数変換(右に長く裾を引く売上などの分布を扱いやすくする)です。テキストでは「は」「の」など意味の薄い語を除くストップワード除去を行い、学習用に正解ラベルを付ける作業をアノテーションと呼びます。
科目B 2-3では、機械学習モデルによる予測・分類を性能指標で評価して改善する技能と、時系列データのトレンド、季節性(周期性)、自己相関を分析して将来予測や変動要因の把握に活用する技能が挙げられています。分類モデルの評価では、正解率だけでなく、予測した陽性のうち実際に陽性だった割合(適合率)や、実際の陽性のうち検出できた割合(再現率)も確認するのが一般的です(AIの詳細はUnit 5で扱います)。
購買データから「Aを買う人はBも買う」というルールを見つけるのがアソシエーション分析です。
| 指標 | 計算式 | 意味 |
|---|---|---|
| 支持度 | AとBを同時に含む取引数 ÷ 全取引数 | そのルールがどれだけ頻繁に現れるか |
| 信頼度 | AとBを同時に含む取引数 ÷ Aを含む取引数 | Aを買った人がBも買う割合 |
| リフト値 | 信頼度 ÷ Bの支持度 | 1より大きければAがBの購入を押し上げている |
ほかに、クロス集計表の行と列の関係を図に配置するコレスポンデンス分析、顧客データを統合管理するCDP(カスタマーデータプラットフォーム)、決まった定型ではなくその場の問いに答えるアドホック分析も用語例に挙がっています。
- 特徴量エンジニアリング:標準化・二値化・離散化・対数変換
- 時系列分析はトレンド・季節性・自己相関に分解して考える
- 分類モデルは正解率だけでなく適合率・再現率も確認する
- リフト値=信頼度÷後件(B)の支持度。1超で正の関連
第5章 データの可視化とBI(SoI)の活用
可視化は目的に応じたグラフの選択が基本です。シラバスでは目的が比較、構成、分布、推移、相関の5つに整理されています。
| 目的 | 代表的なグラフ | 例 |
|---|---|---|
| 比較 | 棒グラフ、レーダーチャート(多項目の比較) | 店舗別売上、製品の性能比較 |
| 構成 | 円グラフ、積み上げ棒グラフ、帯グラフ | 売上の商品カテゴリ構成比 |
| 分布 | ヒストグラム、箱ひげ図 | 客単価のばらつき・外れ値 |
| 推移 | 折れ線グラフ | 月次売上の推移 |
| 相関 | 散布図、散布図行列、相関係数行列 | 広告費と売上の関係 |
可視化には、分析者がデータの傾向や異常を見つけるための探索のための可視化と、意思決定者に結論を伝えるための説明のための可視化があります。前者は多くのグラフを素早く試し、後者は伝えたいメッセージに絞って見せ方を整えます。
科目B 2-2では、BIツールなどのSoI(System of Insight)を活用し、データ連携・定期集計・可視化・レポート提供を自動化・効率化して迅速な意思決定に役立てる仕組みを設計する技能が挙げられています。BIの多次元分析では、集計を細かくするドリルダウン、粗くするドリルアップ、ある軸の値で切り出すスライス、複数軸で範囲を絞るダイス、集計値から明細へたどるドリルスルーを使います。
業務分析(中分類9-3)では、制約条件の下で目的関数を最大化・最小化する線形計画法、乱数による試行で不確実性を評価するモンテカルロ法、専門家の意見を繰り返し集約するデルファイ法、QC七つ道具・新QC七つ道具なども用語例に挙がっています。
- グラフ選択の5目的:比較・構成・分布・推移・相関
- 分布は箱ひげ図・ヒストグラム、推移は折れ線、相関は散布図
- 探索のための可視化(分析者向け)と説明のための可視化(意思決定者向け)
- SoIとしてのBIで集計・可視化・レポートを自動化する
- 多次元分析:ドリルダウン/ドリルアップ/スライス/ダイス/ドリルスルー