本記事ではAI Safetyの全体像を俯瞰するために、（1）俯瞰用の独自整理（上図）と、（2）米国政府の一次資料に基づく整理（下表）を並べて示す。上図は理解のための地図であり、下表はNIST AI RMFとDHSガイドラインに基づくリスク管理の枠組みである。随時更新予定。
図1：AI Safetyの全体像（俯瞰用：独自整理）
図1 AI Safetyの全体像（俯瞰用：独自整理）
AI Safetyを理解するための全体マップ。NISTやDHSが提示する公式分類そのものではなく、複数の論点を俯瞰できるように筆者が整理したもの。
上図は「領域の地図」、下表は「リスク管理プロセスの地図」であり、目的が異なる。
表1：一次資料ベースのリスク管理マトリクス
縦軸は NIST AI RMF の 4機能（GOVERN / MAP / MEASURE / MANAGE）、横軸は DHS の重要インフラ向けガイドが示すリスクの切り口を採用し、セルは一次資料を踏まえた要約である。
| Attacks using AI | Attacks on AI systems | AI design & implementation failures | |
|---|---|---|---|
| GOVERN 統治・責任・方針 [1] 組織として「何を安全とするか」「誰が責任を持つか」を決めるレイヤ。 | Policy for misuse [1] AIが悪用される前提で、禁止用途・許容範囲・通報/停止/エスカレーションをルール化する。 | Security governance [1][2] AIシステム自体が攻撃対象になる前提で、権限・所有者・供給網（モデル/データ/外部ツール）まで含めて責任分界を決める。 | Safety requirements [1] 設計品質の失敗を"事故"として扱い、Go/No-Go基準、リリース判断、インシデント責任を明文化する。 |
| MAP 状況把握・リスク洗い出し [1] 「どこで・どう壊れるか」を具体化するレイヤ（脅威モデル、失敗モード、境界条件）。 | Threat modeling (misuse) [1][2] 攻撃者像・動機・能力・被害を整理し、どのユースケースが"悪用で致命傷"になり得るかを棚卸しする。 | Attack surface inventory [1][2] RAG、ツール呼び出し、データ、API、プロンプト、権限境界などを「攻撃面」として列挙し、どこが侵入口かを明示する。 | Failure-mode analysis [1] 幻覚、分布外、ドリフト、監視不足、人間運用ミスなど、非敵対でも起きる"壊れ方"を列挙して優先順位付けする。 |
| MEASURE 評価・測定・TEVV寄り [1] 「言ってるだけ」から脱出するレイヤ。測って、比較して、回帰テストに落とす。 | Misuse evaluation [1][3] 悪用に対する耐性を指標化（例：詐欺・扇動・危険知識生成の成功率、検知率、摩擦設計の効果）して継続測定する。 | Security red-teaming [1][3] 注入・漏洩・権限逸脱などをテストケース化し、レッドチームを"単発イベント"ではなく回帰テスト資産にする。 | Reliability & safety eval [1][3] 精度だけではなく、頑健性・不確実性・安全停止（止まるべき時に止まる）を測り、実運用での事故率を下げる。 |
| MANAGE 対策実装・運用・改善 [1] 評価結果を受けて、実際に手当てし続けるレイヤ（運用に落とす）。 | Mitigate misuse [1] レート制限、監視、通報・制裁、ユーザー管理など"運用での抑止"を組み込む。 | Implement defenses [1][2] 権限分離、サンドボックス、監査ログ、鍵管理、パッチ運用、供給網管理など、侵入される前提の防御を実装する。 | Operational controls [1] 監視、ロールバック、更新管理、継続改善（改善サイクル）を回し、性能劣化や事故を運用で吸収する。 |
表1 AI Safetyのリスク管理マトリクス（NIST AI RMF × DHSガイド）
なお、実際に何が起きたか（事故・害・ニアミス）を具体例で押さえるには、AI Incident Database（AIID）が有用である。[7]
参考文献
[1] NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.（英語PDF / 日本語PDF）
[2] DHS, Mitigating AI Risk: Safety and Security Guidelines for Critical Infrastructure Owners and Operators, 2024.（PDF）
[3] NIST, Generative AI Profile, NIST AI 600-1, 2024.（PDF）
[4] OWASP, Top 10 for LLM Applications.（Link）
[5] MITRE, ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems).（Link）
[6] NIST, Privacy Framework.（Link）
[7] Partnership on AI, AI Incident Database.（Link）