データ品質管理・データ整備 入門学習

TOP › データ・AI区分 ロードマップ › 入門学習ガイド › Unit 3 データ品質管理・データ整備
データ・AI区分 Unit 3

データ品質管理・データ整備 入門学習

データ品質特性・測定と監視・データプロファイリング・クレンジングと名寄せ・品質マネジメントを体系的に学ぶ

📚 5章構成✏️ 確認テスト 3問⏱ 目安25分

第1章 データ品質とデータ品質特性

データ品質とは、データが利用目的に照らしてどれだけ役立つ状態にあるかを表すものです。データ品質モデルの代表的な規格がJIS X 25012(ISO/IEC 25012)で、品質特性を、データそのものの性質である固有のデータ品質と、データを扱うコンピュータシステムに依存するシステム依存のデータ品質の2つの視点で整理しています。

品質特性 視点 ひとことで言うと
正確性 固有 値が実世界の事実を正しく表している
完全性 固有 必要な項目・レコードが欠けていない
一貫性 固有 データ間・システム間で矛盾がない
信憑性 固有 出所などから見て信頼できる
最新性 固有 利用時点で値が十分に新しい
アクセシビリティ/標準適合性/機密性/効率性/精度/追跡可能性/理解性 固有・システム依存の両方 アクセスのしやすさ、規格への準拠、権限外の利用防止、資源効率、細かさ、アクセス・変更の記録、分かりやすさ
可用性 システム依存 必要なときに取り出せる
移植性 システム依存 別の環境へ移しても品質を保てる
回復性 システム依存 障害時にも品質を維持・回復できる

品質を数値で測るためのデータ品質測定量はJIS X 25024(ISO/IEC 25024)で定められています。またISO 8000シリーズはデータ品質(マスターデータの品質など)に関する国際規格群です。

この章の要点
  • JIS X 25012(ISO/IEC 25012)=データ品質モデル。固有とシステム依存の2視点
  • 正確性・完全性・一貫性・信憑性・最新性は「固有」の代表
  • 可用性・移植性・回復性は「システム依存」
  • JIS X 25024(ISO/IEC 25024)=データ品質の測定量
  • ISO 8000シリーズ=データ品質に関する国際規格群

第2章 データ品質の測定と継続的な監視

品質を管理するには「測れる」ことが前提です。測定尺度を選ぶときには、シラバスに挙げられている次の観点で、その尺度に意味があるかを確認します。

観点 確認すること
測定可能性 実データから客観的・継続的に測定できるか
業務関連性 測定結果が業務上の影響や価値と結び付いているか
受容性 目標値(しきい値)が関係者に受け入れられ、合意されているか
制御可能性 基準を満たさないとき、改善のための手を打てるか

例えば欠損率は「欠損件数 ÷ 全件数」で求めます。顧客2,000件のうちメールアドレスが空欄のものが150件なら、欠損率は 150 ÷ 2,000 = 7.5% です。品質目標値(しきい値)を「5%以下」と定めていれば、基準未達として対応が必要になります。

運用段階では、品質ルールの検査を自動化し、継続的な監視を行います。シラバスでは監視対象の例として鮮度、件数、欠損率、スキーマ変更の検知が挙げられています。前日比で件数が急減した、想定外のカラムが追加された、更新が止まっている、といった変化を早期に捉えることで、下流の分析やAIへの影響を防ぎます。

この章の要点
  • 測定尺度の観点:測定可能性・業務関連性・受容性・制御可能性
  • 欠損率=欠損件数÷全件数。しきい値と比較して判定する
  • 品質ルールの検査は自動化し、鮮度・件数・欠損率・スキーマ変更を継続監視する
  • 品質目標値は業務影響を踏まえて関係者と合意して決める

第3章 データプロファイリングとアセスメント

データプロファイリングは、実データを統計的に調べて構造・内容・品質の実態を把握する作業です。定められたデータ品質基準やデータ定義と実データとの不整合を見つけ、原因と業務への影響を調査し、対応方針の合意形成につなげます(科目B 1-5)。データ活用の場面では、候補データの構造・内容・品質とメタデータの整備状況を評価して、利用目的に適したデータを選定します(科目B 1-6)。

プロファイリングの種類 主な確認内容
カラム(列)単位 NULL件数・割合、値の種類数、最小値・最大値、値の分布、桁数・書式パターン
カラム間 項目間の依存関係(例:郵便番号と都道府県の対応)、計算項目の整合性
テーブル間 キーの一意性、参照整合性(存在しない顧客IDを持つ受注など)、重複レコード

プロファイリング結果からデータ品質アセスメントを行い、「どの品質特性が」「どの程度」基準を満たしていないかを整理します。例えば「性別」に男・女・M・F・1・2が混在していればコード値の不統一(一貫性・標準適合性の問題)、受注日が出荷日より後になっていれば正確性の問題が疑われます。重要なのは、不整合を見つけたらすぐに修正するのではなく、原因(入力ルールか、連携処理か、定義のずれか)と業務への影響を確認してから対応方針を決めることです。

この章の要点
  • データプロファイリング=実データの構造・内容・品質の実態を調べること
  • カラム単位・カラム間・テーブル間(参照整合性、重複)の3レベルで確認する
  • 不整合は「原因」と「業務への影響」を調べてから対応方針を合意する
  • データ活用では候補データをプロファイリングし、目的に合うデータを選定する

第4章 データクレンジング・名寄せ・標準化

データクレンジングは、品質上の問題を修正してデータを使える状態にする作業です。シラバスでは目的と効果として、次の処理が挙げられています。

処理 内容 注意点
欠損値の補完・除外 平均値・中央値・最頻値・推定値で補う、またはレコードを除く 除外すると偏り(バイアス)が生じることがある。補完方法は記録する
外れ値の修正・削除 他の値から大きく離れた値を扱う 外れ値は正しい値(大口顧客など)の場合もある。業務的な確認が先
異常値の修正・削除 誤入力などで起こり得ない値(年齢がマイナス等)を扱う 発生源での入力チェックによる予防とセットで考える
重複の排除 同一のレコードを1件にまとめる 単純一致だけでなく名寄せが必要な場合が多い
表記ゆれの修正 「(株)」「株式会社」、全角・半角などを統一する 変換ルールを標準として定め、再利用する

複数のデータを統合する場合は、対応付け・変換・統合・標準化を行います。代表例がコード・単位・日時の統一(千円と円、JSTとUTCなど)と、顧客・取引先の名寄せです。名寄せでは氏名・住所・電話番号などを正規化してから照合し、一致度に応じて自動統合・要確認・不一致に振り分け、要確認分は人が判断します。

非構造化データ(文書・画像など)でも、文字コードの統一、不要部分の除去、分割、メタデータの付与などの前処理が必要です。どの処理でも、加工前後のデータと処理内容をデータリネージとして追跡できる状態にしておくことが科目B 1-6で求められています。

この章の要点
  • クレンジング:欠損・外れ値・異常値・重複・表記ゆれへの対応
  • 外れ値=離れた値(正しい場合もある)、異常値=起こり得ない誤った値
  • 統合時はコード・単位・日時を統一し、名寄せで同一実体をまとめる
  • 加工内容はデータリネージで追跡可能にする

第5章 データ品質マネジメントと新技術の検証

データ品質は一度直して終わりではありません。データ品質マネジメントは、計画 → 制御 → 保証 → 改善を継続するプロセスです。

活動 内容
データ品質計画 品質目標値(しきい値)、測定方法、役割を定める
データ品質制御 データ品質ルールを定義・適用し、基準を満たすよう処理を管理する
データ品質保証 測定・評価によって、品質が基準を満たしていることを確認する
データ品質改善 問題の根本原因を取り除き、再発を防止する

品質問題が起きたときは、切分け(どこで発生したか)→ 影響範囲の確認・暫定対応 → 根本原因の分析 → 恒久対策の順に進め、結果をデータ品質の報告として関係者に共有します。下流でクレンジングし続けるよりも、データ入力チェックやデータ品質ルールの定義及び適用といった発生源での予防措置のほうが効果的な場合が多くあります。

新しいデータ活用技術(AIなど)を導入する際は、科目B 1-8のとおり、技術動向・適用条件・制約・リスクを調査し、PoCで検証します。PoCでは検証目的・仮説・成功基準を先に決め、対象データ・方法・範囲・スケジュールを具体化し、データ利用・セキュリティ・法令対応などの条件を調整します。結果は導入条件・課題・リスク・費用対効果として整理し、事業・業務の責任者による本格導入の判断材料にします。

この章の要点
  • データ品質マネジメント=計画・制御・保証・改善の継続サイクル
  • 品質問題は切分け→暫定対応→根本原因→恒久対策の順に進める
  • 発生源での入力チェック・品質ルール適用による予防が効果的
  • PoCは検証目的・仮説・成功基準を先に決め、本格導入の判断材料を整理する
✏️ 確認テスト(全3問)
問 1
顧客マスタで、必須項目である電話番号が空欄のレコードが多数見つかった。JIS X 25012の品質特性のうち、主に問題となっているものはどれか。
ア. 一貫性
一貫性はデータ間・システム間で矛盾がないことです。空欄の問題とは異なります。
イ. 完全性
正解です。必要な項目やレコードが欠けていないことが完全性です。欠損率で測定することが多い特性です。
ウ. 移植性
移植性は別の環境へ移しても品質を保てることで、システム依存の特性です。
エ. 最新性
最新性は利用時点で値が十分に新しいことです。古い電話番号なら最新性の問題ですが、空欄は完全性の問題です。
選択肢をクリックすると正誤と解説が表示されます
問 2
売上データのプロファイリングで、他の取引より桁違いに大きい金額の取引が数件見つかった。最初に行うべき対応として最も適切なものはどれか。
ア. 分析の邪魔になるため、外れ値としてただちに削除する
外れ値は大口取引など正しい値の場合があります。業務確認なしの削除は分析結果をゆがめます。
イ. 平均値で置き換えて分布をなだらかにする
根拠のない置換えは事実を改変することになり、適切ではありません。
ウ. データオーナーや業務部門に確認し、正しい取引か誤入力かを切り分ける
正解です。プロファイリングで見つけた不整合は、原因と業務への影響を調べてから対応方針を決めます。誤入力なら異常値として修正し、発生源の入力チェックも検討します。
エ. 品質目標値を緩めて基準内に収める
問題の確認をせずに基準を変えても、品質は改善しません。
選択肢をクリックすると正誤と解説が表示されます
問 3
毎月、取引先コードの表記ゆれが原因で集計エラーが発生し、分析担当者がその都度手作業で修正している。データ品質マネジメントの観点で最も適切な恒久対策はどれか。
ア. 分析担当者を増員し、手作業の修正を迅速化する
下流での修正の効率化にとどまり、根本原因は残ります。
イ. 発生源のシステムに入力チェックを設け、コード値の品質ルールを定義・適用する
正解です。データ入力チェックや品質ルールの定義・適用は、シラバスに挙げられた品質低下の予防措置です。根本原因を取り除く恒久対策になります。
ウ. 集計エラーが出た月だけ、品質の報告を省略する
品質の報告は関係者との共有に必要です。省略は不適切です。
エ. 表記ゆれのあるレコードを毎月すべて除外して集計する
取引が集計から漏れ、正確性・完全性が損なわれます。
選択肢をクリックすると正誤と解説が表示されます