La perdita di dati di addestramento dell'IA generativa (GenAI) è il risultato di attacchi e incidenti. Scopri come prevenire la fuga di dati e mitigarne gli effetti.
Dopo aver letto questo articolo sarai in grado di:
Copia link dell'articolo
L'IA generativa (GenAI) può aiutare le organizzazioni a essere più produttive, a prendere decisioni migliori e a muoversi molto più velocemente, ma solo se i modelli linguistici di grandi dimensioni (LLM) che utilizzano vengono addestrati su enormi quantità di dati pertinenti e di alta qualità. Per la maggior parte delle aziende, i dati di addestramento rappresentano una delle proprietà intellettuali più preziose. L'introduzione sicura di tali dati nei modelli di GenAI, interni o esterni, richiede un approccio olistico per identificare e mitigare i rischi.
La GenAI utilizza modelli di deep learning per produrre contenuti: principalmente testo, immagini, audio, video o codice informatico. Per fare ciò, questi modelli vengono addestrati su grosse quantità di dati di addestramento grezzi, che di solito assumono la forma dei dati che il modello produrrà. In altre parole, i modelli di generazione del testo vengono addestrati su testo, i generatori di video su video e così via.
Guidato da algoritmi, un modello esamina attentamente i dati di addestramento, analizzandoli alla ricerca di concetti, immagini o schemi rilevanti. Attraverso diversi cicli di addestramento e messa a punto, il modello utilizza quanto appreso da tale analisi per rispondere rapidamente ai prompt degli utenti con contenuti nuovi e pertinenti.
La musica è un'analogia utile: scale melodiche, formazioni di accordi e brani o opere esistenti sono i dati di addestramento. Un musicista (come un modello di GenAI) li studia per identificare schemi efficaci e sintetizzare nuovi assoli, progressioni e brani (output della GenAI).
Nell'IT aziendale, le organizzazioni utilizzano spesso i propri dati di addestramento per creare modelli di GenAI o per ottimizzare modelli esistenti per attività specifiche. I dati di addestramento possono provenire da:
Poiché i modelli generativi si basano sulla scalabilità, molte organizzazioni integrano dati sia interni che esterni. Ma, dal punto di vista della sicurezza, questa combinazione è rischiosa. I dati interni sono spesso sottoposti a un controllo più accurato. La combinazione di informazioni sensibili o proprietarie con dati esterni può creare nuovi vettori per perdite a valle tramite moderni attacchi basati su inversione o prompt.
La perdita di dati di addestramento si verifica quando vengono esposti contenuti sensibili, privati o proprietari dei dati di addestramento del modello — direttamente o indirettamente — tramite output di modelli, query di inferenza, log o artefatti ausiliari (come gli embedding). La "perdita di memorizzazione" è un tipo di perdita dei dati di addestramento che si verifica quando gli output di un modello riproducono parti dei dati di addestramento.
La perdita di dati può verificarsi in diversi punti del ciclo di vita della GenAI:
Esistono diverse ragioni concomitanti per cui le organizzazioni — in particolare quelli che gestiscono dati sensibili o regolamentati — devono proteggere i loro canali di intelligenza artificiale con lo stesso rigore delle altre risorse IT.
I progetti di intelligenza artificiale si basano spesso su dati interni, proprietari o regolamentati: dati del cliente, registri finanziari, contratti legali, segreti commerciali, codice sorgente e altro ancora. Se il modello diffonde informazioni di identificazione personale (PII) o segreti commerciali, il danno può essere grave. Queste fughe di notizie possono portare a furto di identità, esposizione alla concorrenza, sanzioni normative, danni alla reputazione e furto di IP.
Anche se sfuggono solo frammenti (ad esempio, nomi, indirizzi, piccoli frammenti di codice), questi possono essere aggregati o correlati con dati esterni per creare una violazione più ampia.
Le norme sulla privacy dei dati — tra cui il Regolamento generale sulla protezione dei dati (GDPR) in Europa, il California Consumer Privacy Act (CCPA) e le normative specifiche del settore come l'Health Insurance Portability and Accountability Act (HIPAA) negli Stati Uniti — impongono obblighi rigorosi in materia di gestione dei dati personali, minificazione, consenso e notifiche di violazioni. Un modello che divulga informazioni di identificazione personale (PII) o dati personali potrebbe esporre l'organizzazione alla violazione di tali leggi, — innescando sanzioni, obblighi di segnalazione, verifiche e responsabilità per azioni collettive.
Le principali minacce ai dati di addestramento dei modelli rientrano in tre ampie categorie: attacchi dannosi, minacce derivanti dalla mancanza di visibilità sull'utilizzo dell'intelligenza artificiale e vulnerabilità delle API e degli endpoint.
Attacchi interni: le minacce interne sono un problema classico: uno sviluppatore con privilegi, un ingegnere di machine learning o un data scientist potrebbero intenzionalmente esfiltrare dati di addestramento o iniettare campioni sensibili nei set di dati. Possono accedere ai log di addestramento, ai dump dei parametri, ai log dei prompt o agli artefatti intermedi ed estrarre o ricostruire così contenuti sensibili. Poiché i membri di questi team hanno spesso un accesso legittimo, il rilevamento di comportamenti dannosi richiede il monitoraggio, la registrazione e la separazione dei compiti rigorosi.
Attacchi di inversione del modello: gli attacchi di inversione del modello (e inferenza dell'appartenenza) mirano a ricostruire o confermare se determinati punti dati facessero parte del set di addestramento. Creando query o analizzando le distribuzioni di fiducia del modello, gli aggressori possono ricostruire dati privati a livello di pixel (nei modelli di visione) o dati testuali (per LLM) dal modello stesso.
In altre parole, il modello della “black box” diventa una lente attraverso la quale gli autori di attacchi possono recuperare dati privati.
Oltre all'inversione, ulteriori minacce sono gli attacchi di query avversarie, l'estrazione di modelli o il "furto" di un modello tramite query continue.
Si tratta di rischi che derivano dal modo in cui i team adottano e utilizzano gli strumenti di IA generativa, spesso in modo incontrollato.
Shadow AI: per “shadow AI” si intende l'uso di strumenti di intelligenza artificiale senza supervisione, verifica o integrazione con i controlli centrali. Questi strumenti di intelligenza artificiale possono caricare documenti o dati interni su modelli di terze parti (ad esempio, LLM pubblici), creando aree di vulnerabilità e rischi all'insaputa del team di sicurezza.
Controlli di accesso inadeguati: se le autorizzazioni per i dati di addestramento, gli embedding, i log dei prompt, le rappresentazioni intermedie o i pesi del modello sono troppo ampi, gli utenti o i sistemi che non necessitano di un'esposizione completa potrebbero inavvertitamente visualizzare o divulgare contenuti sensibili. Le cause principali più comuni sono ruoli con privilegi eccessivi o un controllo degli accessi basato sui ruoli (RBAC) poco efficace.
Esposizione involontaria tramite input e output di GenAI: a volte la perdita avviene inavvertitamente tramite i canali di input o output del modello. Un prompt interno utilizzato per l'addestramento potrebbe includere testo sensibile oppure un utente potrebbe inavvertitamente immettere contenuti proprietari in un modello interattivo. L’output del modello potrebbe riecheggiare parti di quell’input sensibile nel tentativo di “aiutare”, esponendolo così ai sistemi a valle. Analogamente, i log o gli archivi delle sessioni di prompt/risposta possono diventare involontariamente un archivio di dati privati.
Quando i modelli vengono esposti tramite API, presentano un rischio aggiuntivo per l'infrastruttura del servizio. Se l' autenticazione, la limitazione della frequenza, la sanificazione degli endpoint o il filtraggio degli input sono deboli, gli avversari possono lanciare:
Per ridurre i rischi legati ai dati di addestramento, le organizzazioni devono adottare un approccio alla sicurezza molto ampio che integri soluzioni tecniche, politiche e organizzative. Tali soluzioni dovrebbero fornire:
Sapere quali modelli, strumenti e applicazioni di intelligenza artificiale utilizzano i tuoi team è il primo passo per ridurre la probabilità che uno di essi esponga i dati di addestramento.
Una volta ottenuto un quadro completo di ciò che utilizzano i tuoi team, analizzalo per individuare potenziali vulnerabilità e percorsi di attacco.
Assicurati che solo gli utenti autorizzati accedano alle informazioni giuste al momento giusto.
Dall'addestramento alla convalida fino all'inferenza, implementa misure di sicurezza a più livelli lungo tutto il ciclo di sviluppo dell'intelligenza artificiale per garantire la privacy e l'integrità dei dati.
Le soluzioni più efficaci per proteggere i dati di addestramento dell'IA consentono ai team di adottare le best practice senza aumentare la complessità dei sistemi esistenti. Cloudflare AI Security Suite fornisce visibilità e controlli di sicurezza per aiutare le organizzazioni a standardizzare e semplificare il loro approccio alla protezione dell'IA generativa e dell'IA agentica. Questa piattaforma unificata riunisce connettività, funzioni SASE (Secure Access Service Edge) come la sicurezza di rete e delle applicazioni e strumenti per sviluppatori in un'unica soluzione che ti consente di affrontare le problematiche legate alla sicurezza dell'IA con una certa tranquillità.
Scopri di più su come proteggere i sistemi di IA con Cloudflare AI Security Suite.
I modelli di GenAI sono addestrati su grandi quantità di dati grezzi, come testo, immagini o video. Questi dati di formazione possono provenire da documenti interni, corrispondenza con i clienti, knowledge base proprietarie o fonti pubbliche esterne.
La perdita dei dati di addestramento si verifica quando contenuti sensibili, privati o proprietari provenienti dai dati di addestramento, vengono esposti, direttamente o indirettamente, tramite output del modello, log, query di inferenza o artefatti ausiliari. La perdita può verificarsi durante la fase di addestramento, la fase di inferenza o tramite perdita di gradiente o di parametri nell'addestramento distribuito.
Proteggere i dati di addestramento dell'intelligenza artificiale è fondamentale perché spesso questi dati includono informazioni preziose, proprietarie o regolamentate, come segreti commerciali, dati dei clienti e registri finanziari. La divulgazione di questi dati può causare gravi danni, tra cui furto di identità, esposizione della concorrenza, sanzioni normative (come ai sensi del GDPR o HIPAA), danno alla reputazione e furto di IP.
I principali rischi per la sicurezza dei dati di addestramento dei modelli rientrano in tre ampie categorie: attacchi dannosi, minacce derivanti dalla mancanza di visibilità sull'utilizzo dell'intelligenza artificiale e vulnerabilità delle API e degli endpoint. Tra gli esempi rientrano gli attacchi interni, la "shadow AI" (uso incontrollato di strumenti di intelligenza artificiale) e gli attacchi di prompt injection che prendono di mira modelli esposti alle API.
Un attacco di inversione del modello prova a ricostruire o confermare se specifici punti dati sono stati inclusi nel set di addestramento. Gli autori di attacchi lo fanno elaborando query o sondando le distribuzioni di fiducia del modello, utilizzando essenzialmente il modello "black box" come lente per recuperare dati privati, come informazioni private di tipo testuale o a livello di pixel.
Con "shadow AI" si intende l'uso di strumenti di intelligenza artificiale senza supervisione centrale, verifica o integrazione con i controlli di sicurezza. Ciò crea punti ciechi per i team di sicurezza, poiché i dipendenti potrebbero caricare documenti o dati interni su modelli di terze parti non autorizzati, esponendo informazioni sensibili o proprietarie.
Per mitigare i rischi dei dati di addestramento, le organizzazioni dovrebbero implementare soluzioni che offrano: (1) visibilità sull'uso dell'IA; (2) valutazione completa dei rischi dell'ambiente di IA; (3) controllo degli accessi ermetico; e (4) sicurezza dei dati basata sulle best practice in tutta la pipeline di IA.
Le migliori pratiche per la sicurezza dei dati possono essere implementate lungo tutto il ciclo di vita dell'intelligenza artificiale e includono: minificazione e anonimizzazione dei dati, sanificazione e filtraggio, iniezione di rumore e filtraggio dell'output del modello per bloccare o sanificare i contenuti sensibili.
---