データ分析・統計・可視化 入門学習

TOP › データ・AI区分 ロードマップ › 入門学習ガイド › Unit 4 データ分析・統計・可視化
データ・AI区分 Unit 4

データ分析・統計・可視化 入門学習

分析の進め方・確率分布と仮説検定・回帰と因果推論・特徴量と時系列・可視化とBIを体系的に学ぶ

📚 5章構成✏️ 確認テスト 3問⏱ 目安25分

第1章 分析の目的設定とデータの種類

データ分析は手法から入るのではなく、分析の目的の設定から始めます。科目B 2-1では、ビジネス上の課題を分析課題として整理し、目的・目標・評価指標を設定し、必要なデータの種類・取得方法・分析手法・検証方法を設計し、結果を意思決定に生かして効果を検証する技能が挙げられています。シラバスにはデータサイエンスのサイクルとして次の流れが示されています。

課題抽出と定式化 → データの取得・管理・加工 → 探索的データ解析 → データ解析と推論 → 結果の共有・伝達 → 課題解決に向けた提案

扱うデータの種類を正しく見分けることも重要です。

分類 種類 例
値の性質 量的データ/質的データ 売上金額・気温/性別・満足度ランク
尺度 名義尺度・順序尺度・間隔尺度・比例尺度 血液型/順位/摂氏温度/重さ・金額
取得経路 1次データ/2次データ 自ら調査して集めたもの/既存の統計・他者が集めたもの
構造 構造化/半構造化/非構造化 表形式のDB/JSON・XML/文書・画像・音声
時間の軸 時系列/クロスセクション/パネル 1店舗の日次売上/ある日の全店売上/全店舗の日次売上
その他 オルタナティブデータ 人流・衛星画像・SNSなど従来とは異なる情報源のデータ
この章の要点
  • 分析は「目的・目標・評価指標の設定」から。手法ありきにしない
  • データサイエンスのサイクル:定式化→取得・加工→探索→解析・推論→共有→提案
  • 尺度は名義・順序・間隔・比例。間隔尺度は差に意味があるが比には意味がない
  • パネルデータ=同じ対象を複数時点で観測したデータ(時系列×クロスセクション)

第2章 確率分布と統計的推論

統計的手法の土台は確率分布です。シラバスの用語例に挙がっている主な分布を整理します。

分布 使われる場面
二項分布 成功確率 p の試行を n 回行ったときの成功回数(例:100通のDMの反応数)
ポアソン分布 一定時間内にまれに起こる事象の発生回数(例:1時間あたりの問合せ件数)
指数分布 事象が起きるまでの待ち時間(ポアソン過程の到着間隔)
正規分布 平均を中心に左右対称の釣鐘型。多くの検定・推定の前提
カイ二乗分布 適合度・独立性の検定(クロス集計表の検定など)に使う

条件付き確率 P(A|B) は「Bが起きたときにAが起きる確率」で、ベイズの定理 P(A|B) = P(B|A)P(A) ÷ P(B) により、観測結果から原因の確率を更新できます。母集団の特徴を標本から推し量るのが推定で、データが得られる確からしさである尤度を最大にするパラメータを選ぶ方法が最尤推定です。

仮説検定では「差がない」などの帰無仮説を立て、帰無仮説が正しいと仮定したときに観測結果以上に極端な結果が得られる確率であるp値(有意確率)を求め、あらかじめ決めた有意水準(例:5%)を下回れば帰無仮説を棄却します。p値は「帰無仮説が正しい確率」ではない点に注意してください。本当に差があるときにそれを正しく検出できる確率が検出力(検定力)です。母分散が既知・大標本ならz検定、母分散が未知の平均の比較にはt検定を使うのが基本です。

この章の要点
  • 二項=成功回数、ポアソン=まれな事象の回数、指数=待ち時間、カイ二乗=適合度・独立性の検定
  • ベイズの定理:P(A|B) = P(B|A)P(A) ÷ P(B)
  • p値<有意水準なら帰無仮説を棄却。p値は帰無仮説が正しい確率ではない
  • 検出力=本当に差があるときに差を検出できる確率
  • t検定=母分散未知の平均の比較、z検定=母分散既知・大標本

第3章 回帰分析・多変量解析・因果推論

回帰分析は目的変数を説明変数で説明・予測する手法です。説明変数が1つなら単回帰分析、複数なら重回帰分析、目的変数が「購入する/しない」のような2値ならロジスティック回帰分析を使います。重回帰では説明変数同士の相関が強いと係数が不安定になる多重共線性に注意が必要です。事前に散布図行列や相関係数行列で変数間の関係を確認します(IPAの科目Bサンプル問題でも散布図行列と重回帰が題材になっています)。

多数の変数を少数の合成変数に要約するのが主成分分析、観測された変数の背後にある共通の要因(潜在因子)を探るのが因子分析です。

相関は因果を意味しません。第三の要因(交絡因子)によって見かけ上の相関が生じる擬似相関(例:アイスの売上と水難事故はどちらも気温の影響を受ける)に注意します。因果効果を推定する因果推論の手法として、施策を実施したグループとしていないグループの「前後の変化の差」を比べる差分の差分法、処置を受ける確率で似た対象同士を比べる傾向スコアがあります。

バイアス・問題 内容
選択バイアス 分析対象の選び方が偏っている(例:アンケートに回答した熱心な顧客だけを分析)
情報バイアス 測定・記録の誤りや偏り
交絡バイアス 交絡因子の影響で真の関係がゆがむ
認知バイアス ハロー効果、バンドワゴン効果、正常性バイアス、確証バイアスなど人の判断の偏り
p値ハッキング/出版バイアス 有意になるまで分析を繰り返す/有意な結果ばかりが公表される。再現性の危機の一因
この章の要点
  • 単回帰・重回帰・ロジスティック回帰(目的変数が2値)を使い分ける
  • 重回帰は多重共線性に注意。散布図行列・相関係数行列で事前確認
  • 主成分分析=要約、因子分析=潜在因子の発見
  • 相関≠因果。擬似相関・交絡に注意し、差分の差分法や傾向スコアで因果を推定
  • 統計的バイアスと認知バイアス、p値ハッキング・出版バイアスを区別する

第4章 特徴量エンジニアリング・時系列・アソシエーション分析

機械学習に入力するデータを使いやすく加工するのが特徴量エンジニアリングです。シラバスの例は標準化(平均0・標準偏差1にそろえる)、二値化(しきい値で0/1にする)、離散化(年齢を年代に区切るなど)、対数変換(右に長く裾を引く売上などの分布を扱いやすくする)です。テキストでは「は」「の」など意味の薄い語を除くストップワード除去を行い、学習用に正解ラベルを付ける作業をアノテーションと呼びます。

科目B 2-3では、機械学習モデルによる予測・分類を性能指標で評価して改善する技能と、時系列データのトレンド、季節性(周期性)、自己相関を分析して将来予測や変動要因の把握に活用する技能が挙げられています。分類モデルの評価では、正解率だけでなく、予測した陽性のうち実際に陽性だった割合(適合率)や、実際の陽性のうち検出できた割合(再現率)も確認するのが一般的です(AIの詳細はUnit 5で扱います)。

購買データから「Aを買う人はBも買う」というルールを見つけるのがアソシエーション分析です。

指標 計算式 意味
支持度 AとBを同時に含む取引数 ÷ 全取引数 そのルールがどれだけ頻繁に現れるか
信頼度 AとBを同時に含む取引数 ÷ Aを含む取引数 Aを買った人がBも買う割合
リフト値 信頼度 ÷ Bの支持度 1より大きければAがBの購入を押し上げている

ほかに、クロス集計表の行と列の関係を図に配置するコレスポンデンス分析、顧客データを統合管理するCDP(カスタマーデータプラットフォーム)、決まった定型ではなくその場の問いに答えるアドホック分析も用語例に挙がっています。

この章の要点
  • 特徴量エンジニアリング:標準化・二値化・離散化・対数変換
  • 時系列分析はトレンド・季節性・自己相関に分解して考える
  • 分類モデルは正解率だけでなく適合率・再現率も確認する
  • リフト値=信頼度÷後件(B)の支持度。1超で正の関連

第5章 データの可視化とBI(SoI)の活用

可視化は目的に応じたグラフの選択が基本です。シラバスでは目的が比較、構成、分布、推移、相関の5つに整理されています。

目的 代表的なグラフ 例
比較 棒グラフ、レーダーチャート(多項目の比較) 店舗別売上、製品の性能比較
構成 円グラフ、積み上げ棒グラフ、帯グラフ 売上の商品カテゴリ構成比
分布 ヒストグラム、箱ひげ図 客単価のばらつき・外れ値
推移 折れ線グラフ 月次売上の推移
相関 散布図、散布図行列、相関係数行列 広告費と売上の関係

可視化には、分析者がデータの傾向や異常を見つけるための探索のための可視化と、意思決定者に結論を伝えるための説明のための可視化があります。前者は多くのグラフを素早く試し、後者は伝えたいメッセージに絞って見せ方を整えます。

科目B 2-2では、BIツールなどのSoI(System of Insight)を活用し、データ連携・定期集計・可視化・レポート提供を自動化・効率化して迅速な意思決定に役立てる仕組みを設計する技能が挙げられています。BIの多次元分析では、集計を細かくするドリルダウン、粗くするドリルアップ、ある軸の値で切り出すスライス、複数軸で範囲を絞るダイス、集計値から明細へたどるドリルスルーを使います。

業務分析(中分類9-3)では、制約条件の下で目的関数を最大化・最小化する線形計画法、乱数による試行で不確実性を評価するモンテカルロ法、専門家の意見を繰り返し集約するデルファイ法、QC七つ道具・新QC七つ道具なども用語例に挙がっています。

この章の要点
  • グラフ選択の5目的:比較・構成・分布・推移・相関
  • 分布は箱ひげ図・ヒストグラム、推移は折れ線、相関は散布図
  • 探索のための可視化(分析者向け)と説明のための可視化(意思決定者向け)
  • SoIとしてのBIで集計・可視化・レポートを自動化する
  • 多次元分析:ドリルダウン/ドリルアップ/スライス/ダイス/ドリルスルー
✏️ 確認テスト(全3問)
問 1
全1,000件の購買取引のうち、商品Aを含む取引が200件、商品Bを含む取引が250件、AとBを両方含む取引が100件あった。ルール「A⇒B」のリフト値はいくつか。
ア. 0.4
0.4は「AとBを両方含む取引数÷Bを含む取引数」(100÷250)で、リフト値ではありません。
イ. 0.5
0.5は信頼度(100÷200)です。リフト値はこれをBの支持度で割ります。
ウ. 2.0
正解です。信頼度=100÷200=0.5、Bの支持度=250÷1,000=0.25、リフト値=0.5÷0.25=2.0。1を上回るため、Aの購入はBの購入と正の関連があります。
エ. 4.0
計算過程の誤りです。信頼度0.5をBの支持度0.25で割ると2.0になります。
選択肢をクリックすると正誤と解説が表示されます
問 2
新しい画面デザインのA/Bテストで、有意水準5%の検定を行ったところ p値が0.03だった。この結果の解釈として最も適切なものはどれか。
ア. 帰無仮説(差がない)が正しい確率は3%である
よくある誤解です。p値は「帰無仮説が正しいと仮定したとき、観測結果以上に極端な結果が得られる確率」であり、仮説が正しい確率ではありません。
イ. 有意水準を下回ったので帰無仮説を棄却し、統計的に有意な差があると判断する
正解です。p値(0.03)が有意水準(0.05)より小さいため帰無仮説を棄却します。ただし、差の大きさが業務上意味のある大きさかは別途確認が必要です。
ウ. 新デザインが97%の確率で優れていることが証明された
p値から「97%の確率で優れている」とは言えません。また検定は証明ではありません。
エ. 有意な差があったので、検出力は必ず95%以上である
検出力は標本サイズや効果の大きさなどで決まり、p値から直接導けません。
選択肢をクリックすると正誤と解説が表示されます
問 3
複数店舗の客単価について、ばらつきの大きさや外れ値の有無を店舗間で比較したい。最も適したグラフはどれか。
ア. 円グラフ
円グラフは構成比を示すもので、分布の比較には向きません。
イ. 折れ線グラフ
折れ線グラフは時間の推移を示すのに適しています。
ウ. 箱ひげ図
正解です。箱ひげ図は中央値・四分位範囲・外れ値を示せるため、複数グループの分布を並べて比較するのに適しています。
エ. レーダーチャート
レーダーチャートは複数項目の評価値の比較に使い、分布のばらつきは表せません。
選択肢をクリックすると正誤と解説が表示されます