Dove finiscono davvero i tuoi dati quando parli con un LLM

Siamo nel 2023 quando tre ingegneri che lavorano a Samsung si trovano ad avere dei problemi sul lavoro. Nulla di ingestibile ma con molta complessità ed essendo entrati nell’era dell’intelligenza artificiale decidono, indipendentemente l’uno dall’altro, di chiedere aiuto ad uno strumento potentissimo: ChatGPT. Andiamo avanti veloce a maggio 2023… Samsung vieta l’uso di ChatGPT ai dipendenti perché del codice sensibile era stato leakato tramite ChatGPT¹. 

Non c’era nessuna policy a gestire l’uso degli LLM, niente era stato violato… ma nessuno si era chiesto dove finissero quei dati dopo l'invio.

Oggi lo stesso scenario si ripete ogni giorno in migliaia di aziende, con o senza il permesso dell'IT: sviluppatori incollano errori con chiavi d’accesso, project manager caricano contratti per farseli riassumere, qualcuno chiede a un chatbot di sistemare una mail con dati di un cliente dentro. La domanda non è più "posso usare l'IA?", ma "cosa succede esattamente ai dati che le do in pasto?". E la risposta cambia parecchio a seconda del piano che stai usando, di chi lo sta pagando e di come è costruito lo strumento che hai davanti.

Il tragitto di un prompt

Nell'articolo precedente abbiamo parlato di cosa succede dietro le quinte quando scrivete un messaggio: il vostro testo si somma al system prompt, alla cronologia, agli eventuali documenti allegati e il tutto viene inviato al modello. Quello che non abbiamo detto è dove viaggia, fisicamente e legalmente, quel blocco di testo.

Quando premete invio, il prompt lascia il vostro dispositivo e salto dopo salto arriva ai server del vostro fornitore di fiducia: OpenAI, Anthropic, Google, Z.ai e così via. Lì viene processato, la risposta viene generata, salvata e rispedita al mittente. Al prossimo accesso la ritroverete in cronologia. Dietro le quinte sarà ricontrollata per moderazione e magari debug del servizio. Come qualsiasi app cloud.

La differenza sostanziale è che rispetto ad un'app tradizionale, quel testo può avere una seconda vita: può essere letto da un revisore umano se il sistema lo segnala come anomalo, e può, a seconda del piano e delle impostazioni, entrare nel materiale usato per addestrare la prossima versione del modello. Questo secondo punto è quello che cambia davvero le carte in tavola ed è anche, sebbene sia del tutto trasparente, quello meno visibile all'utente medio.

Free, Pro, Team, Enterprise: non è solo una questione di prezzo

Qui la confusione regna sovrana, e vale la pena essere precisi perché le policy sono diverse tra i vari provider e cambiano nel tempo.

Su OpenAI, per impostazione predefinita ChatGPT Team, Enterprise, Business, Edu e l'accesso via API non vengono usati per addestrare i modelli². È una policy esplicita, verificabile, pensata apposta per rassicurare i clienti business. Sul piano consumer (Free e Plus) la situazione è diversa: i dati possono essere usati per migliorare i modelli a meno che non disattivi esplicitamente l'opzione "migliora il modello per tutti" nelle impostazioni.

Anthropic, che per anni aveva mantenuto una posizione più rigida (nessun training su dati dei clienti, cancellazione entro 30 giorni), ha cambiato rotta ad agosto 2025: da allora anche i piani Free, Pro e Max possono contribuire al training di Claude, a meno che l'utente non lo disattivi manualmente, e i dati possono essere conservati fino a cinque anni invece che trenta giorni³. Se avevi un account prima di agosto 25 e non hai fatto nulla… spero che producessi output di qualità perché stai contribuendo all’addestramento.

Il pattern che emerge è coerente tra i provider: il piano consumer è pensato anche per raccogliere dati di addestramento, il piano enterprise no. Non è un dettaglio da leggere nelle FAQ per curiosità: è il criterio numero uno per decidere se un'informazione riservata può passare da quella finestra di chat o no.

Cosa significa davvero "usato per il training"

Chiariamo un punto: il modello non "memorizza" il vostro documento come farebbe un database, pronto a restituirlo a chiunque lo chieda esplicitamente. Il vostro testo entra nella base documentale su cui il modello viene ri-addestrato o affinato, contribuendo statisticamente ai suoi pesi.

Il rischio reale non è "qualcuno chiederà il mio contratto e se lo vedrà stampare pari pari", anche se casi di memorizzazione letterale di frammenti di training set sono documentati e rientrano ufficialmente tra i rischi principali nella OWASP Top 10 per applicazioni LLM (alla voce Sensitive Information Disclosure⁴). Il rischio più concreto è un altro: quel testo, nel frattempo, è comunque leggibile da un essere umano (un revisore, un dipendente del provider, un analista di sicurezza) e resta su un server che può avere un bug, subire un data breach o essere oggetto di una richiesta legale. Il training è la conseguenza a lungo termine. Il transito e la conservazione sono il rischio immediato.

Quando il transito va storto: casi già successi

“Se qualcosa può andar male, lo farà”, è la legge di Murphy, quindi non serve immaginare scenari perché il transito dei dati è già andato storto pubblicamente più di una volta.

A marzo 2023 un bug nella libreria open source redis-py, usata da OpenAI per la gestione della cache, ha esposto per nove ore i dati di pagamento (nome, indirizzo email, indirizzo di fatturazione, ultime quattro cifre della carta) dell'1,2% degli abbonati ChatGPT Plus attivi in quella finestra, oltre ai titoli delle conversazioni di altri utenti⁵. Non un attacco, un bug.

Il 31 marzo 2023, il Garante italiano per la protezione dei dati personali ha disposto la sospensione temporanea di ChatGPT in Italia (vi ricordate? sì parlo con voi che avete acquistato una VPN), contestando la mancanza di una base giuridica adeguata per il trattamento dei dati e l'assenza di controlli sull'età degli utenti⁶. 

A dicembre 2024 lo stesso Garante ha chiuso l'istruttoria con una sanzione di 15 milioni di euro a OpenAI per le violazioni riscontrate nel periodo precedente⁷. Anche Meta, nel 2024, ha dovuto sospendere in Europa i piani di addestrare i propri modelli sui contenuti pubblici di Facebook e Instagram dopo la pressione del regolatore irlandese, riprendendo solo mesi dopo con condizioni riviste [8]. In entrambi i casi il tema non era un attacco esterno, ma il modo in cui i dati degli utenti venivano raccolti e riutilizzati.

E il rischio non finisce qui…

C'è una categoria di rischio meno intuitiva che riguarda direttamente chi costruisce prodotti sopra un LLM: la prompt injection indiretta.

Immaginate l'assistente aziendale (in genere questi sistemi usano una tecnologia che prende il nome di RAG, retrieval augmented generation) che, invece di rispondere solo con la conoscenza del modello, può pescare informazioni dai vostri documenti interni (contratti, wiki, ticket) e usarle per rispondere in chat. Dal punto di vista dell'utente sembra una chat qualunque. Dal punto di vista tecnico, però, ogni documento che il sistema recupera viene inserito nel contesto del modello esattamente come farebbe l'utente scrivendo a mano e il modello non ha modo nativo di distinguere "un'istruzione del mio utente" da "una frase scritta da chiunque dentro un documento che ho appena letto".

Questo è esattamente quello che è successo a Slack AI nell'agosto 2024. I ricercatori di PromptArmor hanno dimostrato che bastava un messaggio nascosto in un canale pubblico, scritto in modo da sembrare un'istruzione per l'assistente, per far sì che Slack AI, quando un utente qualsiasi faceva una domanda innocua, includesse nella risposta un link contenente dati riservati letti da canali privati a cui l'attaccante non aveva accesso⁹. L'utente cliccava un link apparentemente normale, e i dati privati finivano sul server dell'attaccante attraverso la query string.

Una variante ancora più subdola sfrutta le immagini: se un chatbot può generare un'immagine con un URL esterno, e quell'URL contiene parametri con dati presi dalla conversazione o dai documenti, il solo fatto che il browser "carichi" l'immagine per mostrarla basta a far uscire quei dati verso un server controllato dall'attaccante. Il ricercatore Johann Rehberger ha documentato più volte questa tecnica di exfiltration via markdown image rendering, dai plugin di ChatGPT alle integrazioni di GitHub Copilot [10]. Non è una vulnerabilità di un singolo prodotto: è una classe di attacco che riguarda chiunque colleghi un LLM a contenuti non fidati. Oggi è il rischio numero uno nella OWASP Top 10 per LLM, sotto il nome di Prompt Injection.

Per chi costruisce: la lezione è che ogni documento che entra nel contesto del modello va trattato come input potenzialmente ostile, esattamente come l'input di un form web. 

Alcune note operative

La domanda giusta prima di adottare uno strumento IA non è "quanto costa", ma tre cose insieme: che piano stiamo comprando, cosa dice il contratto sul training e sulla conservazione e chi ha accesso ai log in caso di incidente. Un piano Enterprise con zero data retention e clausole contrattuali di non-training costa di più del piano consumer per un motivo preciso e quel costo va confrontato con il rischio legale (GDPR, segreto industriale, obblighi verso i clienti) più che con il prezzo per utente.

Per chi implementa, alcune pratiche riducono il rischio senza rinunciare allo strumento:

• Data minimization prima dell'invio: se un prompt deve contenere un log o un documento, togliere prima nomi, email, chiavi API e dati che non servono al task. 
• Modelli self-hosted per i dati più sensibili: strumenti open-weight come quelli eseguibili con Ollama o vLLM permettono di far girare un modello capace su infrastruttura propria senza che un singolo byte lasci il perimetro aziendale. 
• Permission-aware RAG: nei sistemi documentali, il retrieval deve rispettare gli stessi permessi che l'utente ha già sui documenti originali. Se un dipendente non può leggere un contratto su Drive, il chatbot aziendale non deve poterglielo riassumere.
• Sandboxing sull'output: se il modello genera link, immagini o azioni verso URL esterni, quei contenuti vanno validati o bloccati prima di essere renderizzati automaticamente, proprio per tagliare alla radice il vettore di exfiltration visto sopra.
• Audit log su ogni chiamata: sapere chi ha mandato cosa a quale modello è la base per rispondere a un incidente, non solo per prevenirlo.

Conclusioni

La differenza tra un piano free e uno enterprise non è un dettaglio commerciale, è la differenza tra "i miei dati potrebbero finire nel prossimo modello" e "i miei dati restano miei per contratto". Il training è il rischio a lungo termine; il transito, la conservazione e la superficie di attacco costruita sopra i vostri stessi strumenti sono il rischio di oggi e ci sono già abbastanza casi pubblici da non doverlo immaginare.

Nessuno di questi rischi è un motivo per rinunciare all'IA generativa. È un motivo per smettere di trattarla come una casella di testo neutra e iniziare a trattarla come quello che è: un servizio con un flusso dati preciso, un contratto, e delle superfici di attacco che vanno progettate. Aprite il vostro LLM e andate a controllare che piano state usando in questo momento, in azienda o da soli.

Citazioni

[1] Forbes, "Samsung Bans ChatGPT Among Employees After Sensitive Code Leak" (2023): https://www.forbes.com/sites/siladityaray/2023/05/02/samsung-bans-chatgpt-and-other-chatbots-for-employees-after-sensitive-code-leak/
[2] OpenAI, Enterprise Privacy: https://openai.com/enterprise-privacy/
[3] Lexology, "Anthropic to Use User Data for Model Training, Opt-Out Option Provided" (2025): https://www.lexology.com/library/detail.aspx?g=619e126a-e78e-475d-97d9-d6067f1505b6
[4] OWASP, Top 10 for LLM Applications 2025: https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-v2025.pdf
[5] Help Net Security, "A bug revealed ChatGPT users' chat history, personal and billing data" (2023): https://www.helpnetsecurity.com/2023/03/27/chatgpt-data-leak/
[6] Data Protection Report, "Italian Garante bans Chat GPT from processing personal data of Italian data subjects" (2023): https://www.dataprotectionreport.com/2023/04/italian-garante-bans-chat-gpt-from-processing-personal-data-of-italian-data-subjects/
[7] The Hacker News, "Italy Fines OpenAI €15 Million for ChatGPT GDPR Data Privacy Violations" (2024): https://thehackernews.com/2024/12/italy-fines-openai-15-million-for.html
[8] TechCrunch, "Meta pauses plans to train AI using European users' data, bowing to regulatory pressure" (2024): https://techcrunch.com/2024/06/14/meta-pauses-plans-to-train-ai-using-european-users-data-bowing-to-regulatory-pressure/
[9] PromptArmor, "Data Exfiltration from Slack AI via Indirect Prompt Injection" (2024): https://www.promptarmor.com/resources/data-exfiltration-from-slack-ai-via-indirect-prompt-injection
[10] Simon Willison, "Data exfiltration from Slack AI via indirect prompt injection" (analisi e riferimenti al lavoro di Johann Rehberger su markdown image exfiltration): https://simonwillison.net/2024/Aug/20/data-exfiltration-from-slack-ai/