データ・AIの利活用 入門学習
データマネジメント・データ品質・データ基盤・統計と可視化・AI利活用の原則・生成AIとAIエージェントの活用を学ぶ
データマネジメントの考え方
データドリブン経営は、データに基づいて意思決定する経営です。DIKWモデルはデータ(Data)→情報(Information)→知識(Knowledge)→知恵(Wisdom)の階層で、データが価値に変わる過程を表します。データは生成・保管・処理・活用・廃棄のライフサイクルで管理し、組織内で正とする情報源を一つに定めるSSOTの考え方が重要です。データガバナンスの基本行動は「評価・方針又は指示・監視」で、データマネジメントの機能にはデータモデリング・データ統合・データ品質管理・メタデータ管理・データセキュリティがあります。
データ品質とメタデータ
データ品質特性には正確性・完全性・一貫性・信憑性・機密性などがあります。品質の改善では、欠損値の補完・除外、外れ値や異常値の修正・削除、重複の排除、表記ゆれの修正などのデータクレンジングを行い、入力チェックなどの予防措置で品質低下を防ぎます。
メタデータは「データについてのデータ」で、業務上の意味を表すビジネスメタデータ、テーブル定義などITに関するテクニカルメタデータ、処理履歴など運用に関するオペレーショナルメタデータに分類されます。どこにどんなデータがあるかを探せるデータカタログや、業務用語を定義したビジネスグロッサリーも押さえましょう。
データ基盤
データレイクは様々な形式のデータをそのまま蓄積する場所、データウェアハウス(DWH)は分析用に統合・整理したデータの保管場所、データマートは特定の部門や目的向けに切り出したデータです。両者の利点を併せ持つのがレイクハウスです。DWHの設計では、事実を表すファクトテーブルを分析軸のディメンションテーブルが囲むスタースキーマがよく使われます。データを読み出すときに構造を当てはめるスキーマオンリードと、書き込むときに当てはめるスキーマオンライト、変換してから格納するETLと格納してから変換するELTを区別します。
統計的手法と可視化・業務分析
統計では代表値・標準偏差・正規分布・回帰分析・主成分分析が基本です。2つの変数に相関があっても、第三の要因によって生じているだけの場合を擬似相関といいます。仮説検定では、帰無仮説が正しいのに棄却してしまう第1種の誤りと、誤っているのに棄却しない第2種の誤りを区別します。同時に購入される商品の関係を探すアソシエーション分析ではリフト値を使います。
可視化では、比較・構成・分布・推移・相関などの目的に応じてグラフを選び、分布の把握には箱ひげ図を使います。業務分析では線形計画法、QC七つ道具・新QC七つ道具、需要予測(移動平均法・指数平滑法など)、専門家の意見を繰り返し集約するデルファイ法、乱数を使って試行を繰り返すモンテカルロ法が範囲です。
AI利活用の原則と政策
人間中心のAI社会原則は、人間中心・教育やリテラシー・プライバシー確保・セキュリティ確保・公正競争確保・公平性、説明責任及び透明性・イノベーションの7つの原則からなります。事業者向けには、AIの開発者・提供者・利用者それぞれの取り組みを示したAI事業者ガイドラインがあります。AIを組織的に管理するための規格がAIマネジメントシステム(ISO/IEC 42001)で、AIの安全性の評価手法などを検討する機関としてAIセーフティ・インスティテュート(AISI)があります。
識別AI・生成AI・AIエージェントの活用
識別AIは認識・自動化・異常検知・予測(教師あり学習)・グルーピング(教師なし学習)などに活用されます。生成AIでは、出力のランダム性を調整するTemperature(値が高いほど多様な出力になる)やTop-p・Top-k、外部の知識を検索して回答に反映するRAG、プロンプトエンジニアリング、AIの振る舞いを前提として指示するシステムプロンプト、機密データを外部に送らないためのローカルLLMの検討が範囲です。
AIエージェントは目的に向けて自ら計画し、ツールを使って行動するAIです。特性として適応性・積極性・目的の複雑性・環境の複雑性・自律性が挙げられます。自律性が高いほど人間の関与のあり方の設計が重要になり、安全性・倫理・法令順守に配慮したガードレールを設けます。
- DIKW:データ→情報→知識→知恵
- データガバナンスの基本行動:評価・方針又は指示・監視
- メタデータ:ビジネス・テクニカル・オペレーショナルの3種類
- ETL=変換してから格納、ELT=格納してから変換
- 第1種の誤り=正しい帰無仮説を棄却、第2種の誤り=誤った帰無仮説を棄却しない
- Temperatureが高いほど出力は多様に、RAG=外部知識を検索して回答に反映
- AIエージェントにはガードレールと人間の関与の設計が必要