AI・機械学習領域 入門学習
機械学習基礎・LLM・RAG・MLOps・AIシステムのリスクを体系的に学ぶ
機械学習の種別と主要アルゴリズム
機械学習は大きく3種類に分類されます。教師あり学習(Supervised Learning)は入力と正解ラベルのペアで訓練し、予測・分類を行います(例:線形回帰・決定木・SVM・ランダムフォレスト)。主な評価指標は回帰ではRMSE(二乗平均平方根誤差)、分類ではAccuracy・Precision・Recall・F1スコア、そしてROC-AUCです。
教師なし学習(Unsupervised Learning)はラベルなしデータからパターンを発見します(クラスタリング:k-means、次元削減:PCA)。強化学習(Reinforcement Learning)はエージェントが環境と相互作用しながら累積報酬を最大化する方策を学習します(例:ゲームAI、自動運転)。
- 過学習(Overfitting):訓練データに特化しすぎて汎化性能が低下
- L1正則化(Lasso):不要な特徴量の係数をゼロにして特徴選択
- L2正則化(Ridge):係数を小さく抑えて滑らかなモデルを生成
- ドロップアウト:ニューラルネットワークでランダムにノードを無効化
- クロスバリデーション:k-fold等でモデル汎化性能を推定
ニューラルネットワークと深層学習
深層学習(Deep Learning)は多層ニューラルネットワークを使った機械学習の一手法です。CNN(Convolutional Neural Network)は画像認識に特化し、畳み込み層で局所的な特徴(エッジ・形状)を抽出します。RNN/LSTMは時系列・シーケンスデータに対応します。
Transformerは2017年に提案されたアーキテクチャで、Self-Attention機構によりシーケンス全体の依存関係を並列処理できます。GPT系(生成型)とBERT系(エンコーダ型)があり、自然言語処理の性能を飛躍的に向上させました。事前学習(Pre-training)とファインチューニング(Fine-tuning)の組み合わせで少データでも高性能を発揮します。
- BLEU:機械翻訳の精度評価(n-gramマッチ率)
- ROUGE:要約の評価(再現率重視)
- Perplexity:言語モデルの予測難易度(低いほど良い)
- BenchMark:MMLU/HumanEvalなど能力横断評価
大規模言語モデル(LLM)とRAG
LLM(Large Language Model)は数十億以上のパラメータを持つTransformerベースの言語モデルです(GPT-4、Claude、Gemini等)。プロンプトエンジニアリングは適切な指示文でLLMの出力を制御する技術で、Zero-shot(例なし)、Few-shot(少数例提示)、Chain-of-Thought(段階的思考誘導)などの手法があります。
RAG(Retrieval-Augmented Generation)は外部の知識ベース(ベクターDB)から関連文書を検索し、LLMの生成に組み込む手法です。LLMの学習データカットオフ問題・ハルシネーション(誤った事実の生成)を緩和できます。ベクターDBにはPinecone・Chroma・pgvector等が使われ、文書のエンベディング(意味表現ベクトル)による類似検索を行います。
- プロンプトエンジニアリング:追加学習不要・コスト低
- RAG:外部知識の動的統合・リアルタイム情報対応
- ファインチューニング:特定ドメインデータで追加学習・コスト高
- RLHF(人間のフィードバックからの強化学習):有害出力の抑制
MLOps
MLOps(Machine Learning Operations)は機械学習モデルの開発・デプロイ・運用を継続的に改善する実践です。DevOpsの原則をMLシステムに適用したもので、特徴量管理・実験管理・モデルレジストリ・モニタリングのサイクルを自動化します。
MLパイプラインは①データ収集・前処理、②特徴量エンジニアリング、③モデル学習、④評価・バリデーション、⑤デプロイ(A/Bテスト・カナリアデプロイ)、⑥本番モニタリングで構成されます。データドリフト(入力データの分布変化)やコンセプトドリフト(目的変数の関係変化)を検知して再学習をトリガーする仕組みが重要です。
- MLflow:実験管理・モデルレジストリ・デプロイ
- Kubeflow:Kubernetes上のMLパイプライン管理
- Feature Store(Feast/Hopsworks):特徴量の一元管理・再利用
- Evidently AI/Seldon:本番モデルのデータドリフト・品質監視
AIシステムのリスクとガバナンス
AIリスクには技術的リスクと社会的リスクがあります。技術的リスクとして、敵対的攻撃(Adversarial Attack)は入力データに微小な摂動を加えてモデルを誤認識させます。モデル反転攻撃(Model Inversion)は出力から訓練データを復元しプライバシーを侵害します。メンバーシップ推論攻撃は特定データが訓練セットに含まれるか推定します。
社会的リスクとしてアルゴリズムバイアス(訓練データの偏りが差別的判断を引き起こす)があります。NIST AI RMF(Risk Management Framework)はAIシステムのリスクをGovernance・Map・Measure・Manageの4機能で管理するフレームワークです。EUのAI法(AI Act)はリスクベースで規制し、高リスクAIには適合性評価が必要です。
- 説明可能性(Explainability):AIの判断根拠を人間が理解できること
- 公平性(Fairness):性別・人種等による差別的判断の排除
- 透明性(Transparency):AIの学習データ・アルゴリズムの開示
- アカウンタビリティ:AI判断に対する責任の所在明確化
- プライバシー保護:個人データの最小利用・匿名化