生成AI（GenAI）のトレーニングデータの漏洩は、攻撃や事故によって発生します。データ漏洩を防止し、その影響を軽減する方法を学びましょう。
この記事を読み終えると、以下のことができるようになります。
記事のリンクをコピーする
生成AI（GenAI）は、組織の生産性向上、より適切な意思決定、そして大幅な業務遂行の高速化を可能にします。ただし、それは組織が使用する大規模言語モデル（LLM）が、大量の高品質で関連性の高いデータで学習されている場合に限ります。多くの企業にとって、このトレーニングに使用するデータは最も貴重な知的財産の一つです。そのため、そのデータを社内外の生成AIモデルに安全に与えるためのリスクを見極めること、そのリスクを軽減するための包括的なアプローチが不可欠です。
GenAIは、ディープラーニングモデルを使用して、主にテキスト、画像、音声、動画、またはコンピュータコードなどのコンテンツを生成します。これを実現するため、これらのモデルは通常、出力データと同じ形式の大量の生のトレーニングデータ（文章生成モデルなら文章データ、動画生成モデルなら動画データ）を使用してトレーニングさせる必要があります。
モデルはアルゴリズムに従ってトレーニングデータを検索し、関連する概念、画像、またはパターンを分析します。トレーニングと調整を重ねることで、モデルは分析から得た学習内容を活用し、ユーザーの指示に対して、新たな回答内容素早く提供できるようになります。
分かりやすく音楽で例えると、メロディの音階、コード構成、既存の楽曲や作品などがトレーニングデータに当たります。ミュージシャン（生成AIモデルなど）はそれらを学習して効果的なパターンを特定し、新しいソロ、コード進行、楽曲を合成します（これが生成AIの出力に相当します）。
組織のIT現場では、既存のモデルを微調整して特定のジョブを実行するため、自社のトレーニングデータを使用してGenAIモデルを作成することがよくあります。使用されるトレーニングデータには、以下のものがあります：
生成モデルは規模に依存するため、多くの組織が社内および社外データの両方を取り込んでいます。しかし、セキュリティの観点から見ると、その組み合わせは危険です。通常、内部データは適切な審査が行われますが、外部データと混在させると、機密情報や社内情報が現代的な「反転攻撃」や「プロンプト攻撃」を通じて漏えいする可能性が高まります。
トレーニングデータの漏洩とは、モデルのトレーニングデータに含まれる機密情報、非公開情報、または独自のコンテンツが、モデルの出力、推論クエリ、ログ、または補助的な成果物（埋め込みなど）を介して、直接的または間接的に公開されることで発生する情報漏えいです。「記憶漏洩」とは、モデルの出力が学習データの一部をそのまま再現しまうことで発生する、トレーニングデータ漏洩の一種です。
漏洩は、生成AIライフサイクルの複数の箇所で発生する可能性があります。
機密データや規制対象データを扱う組織は、他のIT資産と同様にAIパイプラインを厳格に保護する必要があり、その理由は複合的なものです。
AIプロジェクトでは、AIのトレーニングに、顧客データ、財務記録、法的契約書、企業秘密、ソースコードといった社内データ、独自のデータ、規制対象データが利用されます。もしモデルから個人を特定できる情報（PII）や企業秘密を漏えいした場合、個人情報の盗難、競合企業への情報流出、規制違反による罰金、企業イメージの毀損、知的財産（IP）の盗難などの深刻な損失に繋がります。
たとえ名前、住所、短いコードスニペットなどの断片的な情報のみが漏洩した場合でも、外部データとつなぎ合わせたり関連付けられることで、より大規模な情報漏洩につながるおそれがあります。
GDPR（EU一般データ保護規則）、CCPA（カリフォルニア州消費者プライバシー法）、米国のHIPAA（医療保険の相互運用性と説明責任に関する法律）などの業界特有の規則を含むデータプライバシー法は、個人データの取り扱い、最小化、同意、漏えい時の報告といった点で厳格な義務を課しています。モデルがPIIや個人属性を漏えいした場合、組織はこれらの法律に違反したと見なされ、高額な罰金、報告義務、監査の実施、集団訴訟責任などの負担が重くのしかかります。
モデルのトレーニングデータに対する脅威を分類すると、上位3位として「悪意のある攻撃」、「AIの利用状況の可視性の欠如による脅威」、「APIとエンドポイントの脆弱性」が挙げられます。
インサイダー攻撃：内部脅威は昔からある典型的な問題です。特権を持つ開発者、MLエンジニア、データサイエンティストが、意図的にトレーニングデータを流出させたり、機密サンプルをデータセットに混入させる可能性があります。トレーニングログ、パラメータのダンプ、プロンプトログ、中間生成物などにアクセスして機密性の高いコンテンツを抽出または再構成する可能性があります。これらの人物は正当なアクセス権を持っていることが多いため、このような悪意のある行動を検出するには、堅牢な監視、ログ記録、および職務分離が不可欠です。
モデル反転攻撃：モデル反転（およびメンバーシップ推論）攻撃は、特定のデータ点がトレーニングセットの一部であったかどうかを逆算・再構成しようとするものです。攻撃者は、特殊なクエリを作成したり、モデルの信頼度分布を調査することで、モデル自体からプライベートなピクセルレベルのデータ（画像モデルの場合）やテキストデータ（LLMの場合）を再構築する可能性があります。
言い換えれば、「ブラックボックス」であるはずのモデルが、攻撃者が個人データを不正に入手するための手段となってしまうのです。
モデル反転攻撃以外に、敵対的クエリ攻撃、モデル抽出、または継続的なクエリによるモデルの「盗用」も、さらなる脅威として存在します。
これらは、生成AIツールの導入・運用方法起因するリスクであり、特に統制が不十分であることが原因で発生します。
シャドーAI：「シャドーAI」は、組織の監視、審査、制御外でAIツールが勝手に利用される行為を指します。このようなAIツールの利用行為は、セキュリティチームが認識しないまま、社内文書やデータがサードパーティ製のモデル（例えば、公開LLM）にアップロードされる、見えない漏洩場所となります。
適切でないアクセス制御：トレーニングデータ、埋め込み、プロンプトのログ、中間表現、モデルの重みに対する権限が広すぎる場合、本来アクセスする必要のないユーザーやシステムが、意図せずに機密コンテンツを閲覧したり漏洩させる可能性があります。過剰な権限を持つロールや緩いロールベースのアクセス制御（RBAC）も、典型的な根本原因です。
生成AIの入出力による意図しない漏洩：モデルの入出力を通じて意図せず漏洩が起こることがあります。トレーニングに使用する内部プロンプトに機密情報を混入してしまう可能性や、ユーザーが誤って独自のコンテンツをインタラクティブモデルに入力してしまう可能性があります。その機密性の高い入力の一部を「補助的な情報」として出力してしまうことで、後続のシステムに公開してしまう可能性があります。さらに、プロンプトと回答のセッションをログに保存またはアーカイブしている場合、それ自体が意図的でないものの、プライベートデータのリポジトリとなってしまう可能性があります。
API経由でモデルにアクセスできるようにした場合、そのサービスを提供するインフラに対するリスクがさらに高まります。認証、レート制限、エンドポイントのサニタイズ、または入力フィルタリングが不十分な場合、次のような攻撃の対象となる可能性があります：
トレーニングデータのリスクを軽減するには、テクノロジー、ポリシー、および組織的なソリューションを組み合わせた、包括的なセキュリティ対策が必要です。これらのソリューションは、以下の機能を備えている必要があります：
どのチームがどのようなAIモデル、ツール、アプリケーションを使用しているかを把握することが、トレーニングデータを漏えいする可能性を減らすための第一歩となります。
チームがどのAIツールを使っているか把握したら、次はその環境を分析し、潜在的な脆弱性や攻撃経路を明らかにします。
適切な権限を持つユーザーのみが、適切なタイミングで適切な情報にアクセスできるようにします。
トレーニングから検証、推論に至るまで、AI開発ライフサイクル全体を通して、データのプライバシーと完全性を確保するために、多層防御を施します。
AIトレーニングデータを最も効果的に保護するソリューションは、既存のシステムをさらに複雑化することなく、チームがベストプラクティスを導入できるようにします。Cloudflare AI Security Suiteは、生成AIやエージェントAIの保護方法を標準化し、簡素化するのに役立つ可視性とセキュリティ制御を提供します。この統合プラットフォームは、ネットワークセキュリティやアプリケーションセキュリティといったセキュアアクセスサービスエッジ（SASE）機能と開発者ツールを単一のソリューションに統合するもので、これにより、AI関連のセキュリティ課題に自信を持って取り組めるようになります。
Cloudflare AI Security Suiteを利用してAIシステムを保護する方法の詳細をご覧ください。
生成AIモデルは、テキスト、画像、動画などの大量の未加工データを用いてトレーニングされます。このトレーニングデータには、社内文書、顧客とのやりとり、独自のナレッジベース、または外部の公開ソースから取得したデータが含まれます。
トレーニングデータの漏洩は、トレーニングデータに含まれる機密情報、非公開コンテンツ、または企業の独自のコンテンツが、モデルの出力、ログ、推論クエリ、または補助的な成果物を通じて、直接的または間接的に公開されてしまうことで発生します。漏洩は、トレーニング段階、推論段階でも発生し、分散型トレーニングにおける勾配またはパラメータを通じて発生する可能性もあります。
AIのトレーニングデータには、企業の機密情報、顧客データ、財務記録などの貴重な情報、専有情報、規制対象情報が含まれることが多いため、データの保護は極めて重要です。これらのデータが漏洩した場合、ID盗難、競合企業への情報流出、（GDPRやHIPAAなどの）規制違反による罰金、企業イメージ毀損、知的財産（IP）の盗難など、深刻な損害をもたらす可能性があります。
モデルのトレーニングデータに対するセキュリティリスクを分類すると、上位3位として「悪意のある攻撃」、「AIの利用状況の可視性の欠如による脅威」、「APIとエンドポイントの脆弱性」が挙げられます。具体的な例として、インサイダー攻撃、「シャドーAI」（監視下に無いAIツールの使用）、API公開モデルを標的とするプロンプトインジェクション攻撃などがあります。
モデル反転攻撃は、攻撃は、特定のデータ点がトレーニングセットの一部であったかどうかを逆算・再構成しようとするものです。攻撃者は、本来「ブラックボックス」であるはずのモデルをデータを不正入手するための手段として利用し、クエリを作成したり、モデルの信頼度分布を探り、プライベートなテキスト情報やピクセルレベルの情報などのプライベートデータを復元します。
「シャドーAI」は、組織の監視、審査、セキュリティ制御外でAIツールが勝手に利用される行為を指します。これはセキュリティチームにとって盲点となり、従業員が社内文書やデータを未承認のサードパーティ製のモデルにアップロードし、機密情報や独自の情報が漏洩する可能性が生じます。
トレーニングデータを取り巻くリスクを軽減するために、組織は実装するソリューションに（1）AI利用の可視性、（2）AI環境の包括的なリスク評価、（3）強固なアクセス制御、（4）AIパイプライン全体におけるデータ安全に関するベストプラクティスを適用できる機能が備えられていることを確認する必要があります。
AIライフサイクル全体に適用できるデータ安全性のベストプラクティスには、「データ最小化と匿名化」、「サニタイズとフィルタリング」、「ノイズ注入」、機密コンテンツをブロックまたはサニタイズするための「モデル出力フィルタリング」などが含まれます。
---