データ品質管理・データ整備 入門学習
データ品質特性・測定と監視・データプロファイリング・クレンジングと名寄せ・品質マネジメントを体系的に学ぶ
第1章 データ品質とデータ品質特性
データ品質とは、データが利用目的に照らしてどれだけ役立つ状態にあるかを表すものです。データ品質モデルの代表的な規格がJIS X 25012(ISO/IEC 25012)で、品質特性を、データそのものの性質である固有のデータ品質と、データを扱うコンピュータシステムに依存するシステム依存のデータ品質の2つの視点で整理しています。
| 品質特性 | 視点 | ひとことで言うと |
|---|---|---|
| 正確性 | 固有 | 値が実世界の事実を正しく表している |
| 完全性 | 固有 | 必要な項目・レコードが欠けていない |
| 一貫性 | 固有 | データ間・システム間で矛盾がない |
| 信憑性 | 固有 | 出所などから見て信頼できる |
| 最新性 | 固有 | 利用時点で値が十分に新しい |
| アクセシビリティ/標準適合性/機密性/効率性/精度/追跡可能性/理解性 | 固有・システム依存の両方 | アクセスのしやすさ、規格への準拠、権限外の利用防止、資源効率、細かさ、アクセス・変更の記録、分かりやすさ |
| 可用性 | システム依存 | 必要なときに取り出せる |
| 移植性 | システム依存 | 別の環境へ移しても品質を保てる |
| 回復性 | システム依存 | 障害時にも品質を維持・回復できる |
品質を数値で測るためのデータ品質測定量はJIS X 25024(ISO/IEC 25024)で定められています。またISO 8000シリーズはデータ品質(マスターデータの品質など)に関する国際規格群です。
- JIS X 25012(ISO/IEC 25012)=データ品質モデル。固有とシステム依存の2視点
- 正確性・完全性・一貫性・信憑性・最新性は「固有」の代表
- 可用性・移植性・回復性は「システム依存」
- JIS X 25024(ISO/IEC 25024)=データ品質の測定量
- ISO 8000シリーズ=データ品質に関する国際規格群
第2章 データ品質の測定と継続的な監視
品質を管理するには「測れる」ことが前提です。測定尺度を選ぶときには、シラバスに挙げられている次の観点で、その尺度に意味があるかを確認します。
| 観点 | 確認すること |
|---|---|
| 測定可能性 | 実データから客観的・継続的に測定できるか |
| 業務関連性 | 測定結果が業務上の影響や価値と結び付いているか |
| 受容性 | 目標値(しきい値)が関係者に受け入れられ、合意されているか |
| 制御可能性 | 基準を満たさないとき、改善のための手を打てるか |
例えば欠損率は「欠損件数 ÷ 全件数」で求めます。顧客2,000件のうちメールアドレスが空欄のものが150件なら、欠損率は 150 ÷ 2,000 = 7.5% です。品質目標値(しきい値)を「5%以下」と定めていれば、基準未達として対応が必要になります。
運用段階では、品質ルールの検査を自動化し、継続的な監視を行います。シラバスでは監視対象の例として鮮度、件数、欠損率、スキーマ変更の検知が挙げられています。前日比で件数が急減した、想定外のカラムが追加された、更新が止まっている、といった変化を早期に捉えることで、下流の分析やAIへの影響を防ぎます。
- 測定尺度の観点:測定可能性・業務関連性・受容性・制御可能性
- 欠損率=欠損件数÷全件数。しきい値と比較して判定する
- 品質ルールの検査は自動化し、鮮度・件数・欠損率・スキーマ変更を継続監視する
- 品質目標値は業務影響を踏まえて関係者と合意して決める
第3章 データプロファイリングとアセスメント
データプロファイリングは、実データを統計的に調べて構造・内容・品質の実態を把握する作業です。定められたデータ品質基準やデータ定義と実データとの不整合を見つけ、原因と業務への影響を調査し、対応方針の合意形成につなげます(科目B 1-5)。データ活用の場面では、候補データの構造・内容・品質とメタデータの整備状況を評価して、利用目的に適したデータを選定します(科目B 1-6)。
| プロファイリングの種類 | 主な確認内容 |
|---|---|
| カラム(列)単位 | NULL件数・割合、値の種類数、最小値・最大値、値の分布、桁数・書式パターン |
| カラム間 | 項目間の依存関係(例:郵便番号と都道府県の対応)、計算項目の整合性 |
| テーブル間 | キーの一意性、参照整合性(存在しない顧客IDを持つ受注など)、重複レコード |
プロファイリング結果からデータ品質アセスメントを行い、「どの品質特性が」「どの程度」基準を満たしていないかを整理します。例えば「性別」に男・女・M・F・1・2が混在していればコード値の不統一(一貫性・標準適合性の問題)、受注日が出荷日より後になっていれば正確性の問題が疑われます。重要なのは、不整合を見つけたらすぐに修正するのではなく、原因(入力ルールか、連携処理か、定義のずれか)と業務への影響を確認してから対応方針を決めることです。
- データプロファイリング=実データの構造・内容・品質の実態を調べること
- カラム単位・カラム間・テーブル間(参照整合性、重複)の3レベルで確認する
- 不整合は「原因」と「業務への影響」を調べてから対応方針を合意する
- データ活用では候補データをプロファイリングし、目的に合うデータを選定する
第4章 データクレンジング・名寄せ・標準化
データクレンジングは、品質上の問題を修正してデータを使える状態にする作業です。シラバスでは目的と効果として、次の処理が挙げられています。
| 処理 | 内容 | 注意点 |
|---|---|---|
| 欠損値の補完・除外 | 平均値・中央値・最頻値・推定値で補う、またはレコードを除く | 除外すると偏り(バイアス)が生じることがある。補完方法は記録する |
| 外れ値の修正・削除 | 他の値から大きく離れた値を扱う | 外れ値は正しい値(大口顧客など)の場合もある。業務的な確認が先 |
| 異常値の修正・削除 | 誤入力などで起こり得ない値(年齢がマイナス等)を扱う | 発生源での入力チェックによる予防とセットで考える |
| 重複の排除 | 同一のレコードを1件にまとめる | 単純一致だけでなく名寄せが必要な場合が多い |
| 表記ゆれの修正 | 「(株)」「株式会社」、全角・半角などを統一する | 変換ルールを標準として定め、再利用する |
複数のデータを統合する場合は、対応付け・変換・統合・標準化を行います。代表例がコード・単位・日時の統一(千円と円、JSTとUTCなど)と、顧客・取引先の名寄せです。名寄せでは氏名・住所・電話番号などを正規化してから照合し、一致度に応じて自動統合・要確認・不一致に振り分け、要確認分は人が判断します。
非構造化データ(文書・画像など)でも、文字コードの統一、不要部分の除去、分割、メタデータの付与などの前処理が必要です。どの処理でも、加工前後のデータと処理内容をデータリネージとして追跡できる状態にしておくことが科目B 1-6で求められています。
- クレンジング:欠損・外れ値・異常値・重複・表記ゆれへの対応
- 外れ値=離れた値(正しい場合もある)、異常値=起こり得ない誤った値
- 統合時はコード・単位・日時を統一し、名寄せで同一実体をまとめる
- 加工内容はデータリネージで追跡可能にする
第5章 データ品質マネジメントと新技術の検証
データ品質は一度直して終わりではありません。データ品質マネジメントは、計画 → 制御 → 保証 → 改善を継続するプロセスです。
| 活動 | 内容 |
|---|---|
| データ品質計画 | 品質目標値(しきい値)、測定方法、役割を定める |
| データ品質制御 | データ品質ルールを定義・適用し、基準を満たすよう処理を管理する |
| データ品質保証 | 測定・評価によって、品質が基準を満たしていることを確認する |
| データ品質改善 | 問題の根本原因を取り除き、再発を防止する |
品質問題が起きたときは、切分け(どこで発生したか)→ 影響範囲の確認・暫定対応 → 根本原因の分析 → 恒久対策の順に進め、結果をデータ品質の報告として関係者に共有します。下流でクレンジングし続けるよりも、データ入力チェックやデータ品質ルールの定義及び適用といった発生源での予防措置のほうが効果的な場合が多くあります。
新しいデータ活用技術(AIなど)を導入する際は、科目B 1-8のとおり、技術動向・適用条件・制約・リスクを調査し、PoCで検証します。PoCでは検証目的・仮説・成功基準を先に決め、対象データ・方法・範囲・スケジュールを具体化し、データ利用・セキュリティ・法令対応などの条件を調整します。結果は導入条件・課題・リスク・費用対効果として整理し、事業・業務の責任者による本格導入の判断材料にします。
- データ品質マネジメント=計画・制御・保証・改善の継続サイクル
- 品質問題は切分け→暫定対応→根本原因→恒久対策の順に進める
- 発生源での入力チェック・品質ルール適用による予防が効果的
- PoCは検証目的・仮説・成功基準を先に決め、本格導入の判断材料を整理する