L'AI ha sbagliato: la procedura in 5 passi per gestire un incidente

Tre scenari. Tutti veri, nel senso che succedono ogni settimana in aziende come la tua.

Scenario 1. Il chatbot sul tuo sito promette a un cliente uno sconto del 30% che non esiste. Il cliente fa lo screenshot e chiede che gli venga applicato.

Scenario 2. Un commerciale usa l'AI per preparare un preventivo. Il documento esce con una specifica tecnica inventata di sana pianta. Il cliente firma. Poi scopre che il prodotto non fa quella cosa.

Scenario 3. Il sistema che ti aiuta a filtrare i CV scarta un candidato qualificato per un errore di lettura del documento. Il candidato se ne accorge e ti scrive, non contento.

In tutti e tre i casi la domanda non è "di chi è la colpa". La domanda è: avevi una procedura scritta per gestire l'errore? Perché la differenza fra un'azienda in regola e una nei guai non è l'errore in sé — l'AI sbaglia, è nella sua natura. La differenza è cosa fai nei trenta minuti successivi. E quello si decide prima, non durante.

Perché serve una procedura (anche se nessuno te la chiede, per ora)

L'AI Act (Reg. UE 2024/1689, modificato dal Reg. UE 2026/1744) si fonda su due pilastri: supervisione umana e monitoraggio. Per i sistemi ad alto rischio questi diventeranno obblighi formali per chi usa l'AI (art. 26), con date rinviate: 2 dicembre 2027 per i sistemi dell'allegato III, 2 agosto 2028 per quelli dell'allegato I. Ne abbiamo parlato nel dettaglio nell'articolo sul rinvio delle scadenze per l'alto rischio.

Ma attenzione a due cose.

Primo: come buona pratica, supervisione e monitoraggio valgono da subito e per qualsiasi sistema, anche il chatbot più banale. Non ti serve aspettare il 2027 per accorgerti che un preventivo sbagliato costa soldi oggi.

Secondo: un errore dell'AI può violare norme già in vigore adesso. Se l'output espone dati personali, sei nel territorio del GDPR e devi valutare la notifica di data breach. Se un contenuto generato dall'AI circola senza etichetta, c'entra l'art. 50 dell'AI Act. E l'obbligo di formazione (art. 4, in vigore dal 2 febbraio 2025) include proprio questo: le persone devono sapere quando e a chi segnalare i problemi. Se il tuo team non sa a chi dire "il chatbot ha sbagliato", quella formazione è incompleta — qui trovi cosa richiede davvero l'art. 4.

Vediamo la procedura. Cinque passi, in ordine. Stampala, adattala, mettila dove il team la trova.

Passo 1 — Contieni

Prima cosa: ferma l'output sbagliato. Non analizzare, non cercare colpevoli. Ferma.

• Il preventivo con il dato inventato? Ritiralo, avvisa chi l'ha ricevuto che arriverà una versione corretta.
• La risposta sbagliata del chatbot? Disattivala o correggila subito, prima che la veda il prossimo cliente.
• Il problema è nel sistema stesso e continua a produrre errori? Sospendi la funzione. Meglio un chatbot spento per un giorno che dieci sconti inesistenti promessi in un pomeriggio.

Regola pratica: chiunque in azienda deve poter dire "fermiamo questa cosa" senza chiedere tre autorizzazioni. La velocità qui vale più della gerarchia.

Passo 2 — Registra

A caldo, entro la giornata, scrivi nel registro incidenti:

• Cosa è successo (l'output sbagliato, testuale, con screenshot).
• Quando è successo e quando ve ne siete accorti.
• Quale sistema l'ha prodotto (nome dello strumento, versione se la sai).
• Chi se n'è accorto e come.
• Che dati c'entrano: dati personali? dati di clienti? dati riservati?

Perché a caldo? Perché tra una settimana nessuno ricorderà i dettagli, e i dettagli sono esattamente ciò che ti serve al passo 3. Un registro può essere un semplice foglio condiviso. L'importante è che esista, che sia sempre lo stesso, e che tutti sappiano dove sta.

Passo 3 — Valuta

Ora, e solo ora, ragioni. Tre domande in ordine:

1. C'è un danno a persone? Un candidato scartato ingiustamente, un cliente che ha preso una decisione basandosi sul dato inventato, qualcuno trattato in modo scorretto.
2. Ci sono dati personali di mezzo? Se l'AI ha esposto o usato male dati personali, coinvolgi subito chi segue la privacy in azienda (il DPO, se c'è) e valutate insieme la notifica di data breach ai sensi del GDPR. Il tema si intreccia con quello dei dati riservati nell'AI generativa.
3. Il problema può ripetersi? Un errore isolato è una cosa. Un errore sistematico — stesso prompt, stesso output sbagliato — è un problema di sistema che continuerà finché non lo correggi.

È in questo passo che decidi chi coinvolgere: il fornitore del sistema, il DPO, il legale. Non serve mobilitare tutti per ogni refuso del chatbot. Serve sapere quando mobilitarli, e la valutazione scritta ti dà il criterio.

Nota sul quadro normativo, in sintesi: per i sistemi ad alto rischio, quando scatteranno gli obblighi, chi usa il sistema e rileva un rischio dovrà sospenderne l'uso e informare il fornitore e le autorità; la segnalazione degli incidenti gravi alle autorità (art. 73) sarà invece in capo ai fornitori. Per la maggior parte delle PMI, oggi, il punto pratico è un altro: informare il fornitore conviene comunque, perché è l'unico che può correggere il sistema alla radice.

Passo 4 — Correggi

Due binari paralleli.

Verso il danneggiato: rimedia. Il cliente con lo screenshot dello sconto? Decidi se onorarlo o come compensare, ma rispondi tu, in fretta, prima che lo faccia un avvocato. Il candidato scartato per errore? Rivaluta la candidatura. Il rimedio rapido costa quasi sempre meno del contenzioso.

Verso la causa: chiediti perché è successo, e correggi lì.

• Prompt o istruzioni ambigue? Riscrivili.
• Configurazione sbagliata? Sistemala.
• La persona aveva accesso a una funzione che non doveva usare? Rivedi i permessi.
• Nessuno ha controllato l'output prima dell'invio? È un buco di formazione o di procedura, non di tecnologia.
• L'errore è del sistema stesso? Coinvolgi il fornitore, per iscritto, e fatti dire cosa correggerà e quando.

Passo 5 — Impara

L'incidente chiuso non si archivia e basta. Si usa.

• Aggiorna la policy: se la procedura ha mostrato un buco (nessuno sapeva chi poteva spegnere il chatbot), chiudilo ora.
• Aggiorna la formazione: l'incidente vero è il miglior caso di studio per la prossima sessione con il team.
• Conserva l'evidenza: registro compilato, valutazione, correzione, comunicazioni col fornitore. Tutto insieme, tutto datato.

Qui c'è il punto che molti non colgono: un incidente ben gestito e documentato, in un controllo, gioca a tuo favore. Dimostra che la supervisione umana esiste davvero, non solo sulla carta. L'azienda che esibisce un registro con tre incidenti gestiti fa una figura migliore di quella che giura di non aver mai avuto problemi — e non ha nulla da mostrare.

Il registro conviene anche se nessuno te lo chiede

Ricapitolando, tenere un registro incidenti oggi ti dà tre cose:

1. Prova di supervisione umana effettiva — il pilastro dell'AI Act, dimostrato con fatti e date, non con dichiarazioni.
2. Preparazione agli obblighi del 2027 — quando arriveranno i requisiti formali per l'alto rischio, avrai già la struttura e l'abitudine.
3. Emersione dei pattern — lo stesso errore tre volte non è colpa di tre persone diverse: è un problema di sistema. Senza registro non lo vedi mai.

Non partire da zero

Se vuoi la procedura già pronta, il Kit Supervisione e incidenti AI a 79 € contiene la procedura di supervisione umana declinata per ruolo, il modulo di segnalazione incidenti da dare al team e il registro incidenti con esempi già compilati. Lo adatti alla tua azienda in un pomeriggio, e la prossima volta che l'AI sbaglia — perché succederà — saprai esattamente cosa fare nei primi trenta minuti.