L'IA conosce la risposta. Ma può dimostrarla? Defensible AI e il nuovo ruolo della provenance documentale

L’introduzione dell’Intelligenza Artificiale nella gestione documentale ha immediatamente posto la questione dell’accuratezza del sistema e sulla plausibilità delle sue risposte. Oggi, grazie a una tecnologia che sta evolvendo sempre più rapidamente verso un Intelligent Document Processing e ad agenti AI in grado di automatizzare processi e guidare decisioni aziendali strategiche, diventa necessario poter rispondere ad altre domande, quali:

Da quali informazioni è stata ricavata quella risposta? Quale versione dei documenti è stata utilizzata? Chi ha approvato quei documenti? Quali fonti sono state recuperate dal sistema?

In breve, la vera evoluzione non consiste nel passare dai documenti alle risposte, ma dalle risposte a risposte verificabili.

È intorno a queste domande che sta emergendo il concetto di Defensible AI: non una categoria normativa formalmente definita o uno standard internazionale, ma un modo sempre più utile per descrivere sistemi di Intelligenza Artificiale i cui risultati possono essere ricostruiti, verificati e difesi sulla base di evidenze.

Explainable AI e Defensible AI: non sono la stessa cosa

Un sistema può essere in grado di spiegare, almeno in parte, come è giunto a una determinata conclusione. Tuttavia, un’organizzazione potrebbe comunque non essere in grado di dimostrare quali prove fossero disponibili nel momento in cui è stata raggiunta quella conclusione.

Si tratta di una distinzione importante. La spiegabilità riguarda principalmente la comprensione del comportamento di un modello, mentre l’IA difendibile riguarda l’intero contesto in cui quel modello è stato utilizzato: dati, documenti, versioni, utenti, autorizzazioni, trasformazioni, recuperi, output, controlli e decisioni successive. 

In altre parole, non basta poter dire: «L’IA ha prodotto questa risposta».

Dovrebbe essere possibile dimostrare: «L’IA ha prodotto questa risposta il 14 marzo utilizzando queste specifiche versioni di questi documenti, recuperando questi passaggi, con questa versione del modello e queste istruzioni; il risultato è stato successivamente verificato da questa persona e utilizzato in questo processo».

Si tratta di una differenza fondamentale.

Il quadro di riferimento del NIST per la gestione dei rischi legati all’IA collega esplicitamente un’IA affidabile alla responsabilità e alla trasparenza, abbracciando ogni aspetto, dalle decisioni di progettazione e dai dati al modo in cui le decisioni sono state prese durante e dopo l’implementazione. Incoraggia le organizzazioni a documentare la provenienza dei dati, comprese le fonti, le origini, le trasformazioni, le dipendenze e i metadati.

La sfida non consiste solo nel rendere l’IA più intelligente, bensì nel rendere ricostruibile il suo rapporto con le informazioni.

Evidence provenance: da dove proviene l’affermazione dell’IA?

Il concetto di provenance non nasce con l’intelligenza artificiale, ma applicato all’IA basata documentale, questo principio diventa particolarmente interessante.

Una risposta generata da un sistema aziendale dovrebbe idealmente conservare una vera e provia catena delle evidenze. Se all'origine della risposta troviamo il documento, serve identificarne la versione precisa, la provenienza, il proprietario, la data di acquisizione, eventuali approvazioni e qualsiasi modifica apportata nel tempo.

Il documento può quindi essere convertito, sottoposto a OCR, classificato, segmentato, arricchito con metadati o trasformato in embedding. Il sistema RAG può quindi recuperare alcuni di questi segmenti e inserirli nel contesto fornito al modello linguistico. Il modello elabora infine una risposta, che può essere accettata, modificata o rifiutata da un operatore umano e, eventualmente, diventare l’input per un flusso di lavoro successivo.

La provenance dovrebbe idealmente attraversare tutta questa catena.

Questa è probabilmente una delle differenze più importanti tra una semplice applicazione di  generative AI e una vera Traceable Document AI.

RAG migliora il grounding, ma non garantisce la tracciabilità.

La Retrieval-Augmented Generation viene spesso presentata come una delle principali soluzioni al problema delle allucinazioni nei modelli linguistici di grandi dimensioni (LLM).

L’idea è relativamente semplice: invece di chiedere al modello di rispondere esclusivamente sulla base delle conoscenze contenute nei suoi parametri, il sistema recupera informazioni da una base di conoscenza e le fornisce come contesto per la generazione. Ma collegare un LLM a un archivio di documenti non rende automaticamente affidabile il sistema.

Il problema si sposta semplicemente. È necessario sapere cosa contiene l’archivio.

Un sistema RAG può benissimo recuperare il documento sbagliato. Potrebbe utilizzare per errore una procedura obsoleta o recuperare una bozza invece della versione approvata. Anche documenti manipolati deliberatamente potrebbero influenzarlo. (Per ulteriori informazioni)

In altre parole: un sistema RAG privo di governance dei documenti rischia di diventare semplicemente un modo molto efficiente per recuperare informazioni non controllate.

Versioning: una funzione tradizionale del DMS diventa una funzione di AI governance 

Qui emerge un paradosso interessante. Alcuni degli strumenti necessari per governare i sistemi avanzati di IA non sono affatto nuovi.

Il controllo delle versioni, ad esempio, è da decenni una funzione fondamentale dei sistemi di gestione documentale.

Con l’IA, tuttavia, assume un significato diverso. Per un utente umano, spesso è sufficiente conoscere la versione corrente di un documento, mentre ricostruire una decisione presa dall’IA può richiedere di conoscere la versione corrente in un momento specifico del passato. Senza il controllo delle versioni, tale risposta diventa difficile da verificare. E senza la capacità di associare il recupero e l’output alla versione effettivamente utilizzata, anche un sistema RAG apparentemente trasparente può perdere un elemento cruciale delle proprie prove.

È significativo che il NIST Research Data Framework consideri il controllo delle versioni essenziale per la tracciabilità dei dati, la ricostruzione dei dati, il monitoraggio delle modifiche e la correzione degli errori.

Audit trail: non soltanto chi ha modificato un documento

Lo stesso ragionamento vale per la traccia di audit. Tradizionalmente, un sistema di gestione documentale (DMS) registra operazioni quali la creazione, la modifica, il download, l’approvazione, lo spostamento e la cancellazione dei documenti.

In un ambiente basato sull’intelligenza artificiale, la traccia di audit può diventare molto più ampia, man mano che si passa gradualmente da una traccia di audit dei documenti a una traccia delle prove dell’IA.

Il primo descrive la cronologia del documento. Il secondo dovrebbe collegare tale cronologia alla cronologia delle decisioni.

Questo principio trova chiara espressione nella  nell’UE AI Act.

Per i sistemi classificati come high-risk, l’articolo 12 prevede la registrazione automatica degli eventi durante l’intero ciclo di vita del sistema per garantire un livello adeguato di tracciabilità. L’articolo 11 richiede inoltre una documentazione tecnica aggiornata, mentre gli articoli 13 e 14 introducono requisiti in materia di trasparenza, interpretazione dei risultati e supervisione umana.

A partire dal 2 agosto 2026, il regolamento è diventato di applicazione generale e la Commissione europea e le autorità nazionali hanno assunto nuovi poteri di applicazione. A partire da tale data si applicano anche importanti obblighi di trasparenza ai sensi dell’articolo 50.

Naturalmente, non tutti i sistemi documentali basati sull’intelligenza artificiale rientreranno nella categoria ad alto rischio e il quadro normativo è ancora progressivo, con obblighi oggetto di deroga e regolamentazione tra il 2027 e il 2028.

Ciò non sminuisce tuttavia l’importanza della tracciabilità; al contrario, offre alle organizzazioni l’opportunità di progettare l’infrastruttura necessaria prima che la verificabilità diventi un problema da risolvere retroattivamente.

La document governance e AI governance stanno convergendo

La gestione dei documenti è stata spesso considerata una disciplina separata dall’intelligenza artificiale.

Da un lato ci sono archivi, metadati, versioni, autorizzazioni, flussi di lavoro e conservazione; dall’altro, modelli, prompt, database vettoriali, embedding e agenti di IA. Questa separazione sta diventando sempre più insostenibile. Un sistema di IA aziendale utilizza i documenti come prove operative. Di conseguenza, la qualità della governance dell’IA dipende anche dalla qualità della governance di tali informazioni.

I documenti non sono più utilizzati esclusivamente dalle persone. Vengono continuamente letti, classificati, correlati e recuperati da sistemi automatizzati. Per questo motivo, i metadati, il controllo delle versioni, il controllo degli accessi e le tracce di audit non sono più solo strumenti amministrativi; sono diventati parte integrante del piano di controllo dell’IA dell’organizzazione.

In questo scenario, un sistema di gestione documentale può assumere un ruolo molto più ampio rispetto a quello di un semplice archivio. Piattaforme come LogicalDOC combinano gestione delle versioni, metadati, controllo degli accessi, audit trail, flussi di lavoro e funzionalità di ricerca e analisi basate sull’IA. Questi elementi possono costituire la base informativa necessaria per costruire sistemi di IA documentale in cui l’accesso alle fonti rimanga regolato e, soprattutto, tracciabile nel tempo.

Dalla “Single source of truth” alla “Single source of evidence”

Uno degli obiettivi principali della gestione documentale è sempre stato quello di creare un’unica fonte di verità: un luogo affidabile in cui reperire informazioni aziendali accurate.

L’avvento dell’intelligenza artificiale suggerisce un’ulteriore evoluzione del concetto.

Potremmo parlare di un’unica fonte di prova: non solo il luogo da cui l’IA recupera le informazioni, ma il sistema in grado di dimostrare quali informazioni esistessero, quale versione fosse valida, chi ne fosse responsabile e come fossero state utilizzate.

La differenza può sembrare semantica, ma è sostanziale.

Una possibile architettura per la Traceable Document AI

In questo scenario, l’archivio dei documenti non dovrebbe essere considerato semplicemente una fonte da cui estrarre testo per trasformarlo in embedding.

Dovrebbe rimanere il riferimento autorevole per il documento.

Il database vettoriale può ottimizzare il recupero. Il modello linguistico può interpretare e generare. Gli agenti possono orchestrare le attività. Ma parallelamente a questa pipeline, deve esserci una catena persistente che colleghi l’output alla prova originale.

Più aumenta l’autonomia dell’IA, più questa catena diventa importante.

Con un chatbot, un errore può produrre una risposta errata. Con un agente di IA, la stessa risposta può diventare l’input per un’altra operazione: modificare un documento, approvare un caso, avviare un flusso di lavoro, inviare una comunicazione o aggiornare un sistema aziendale.

La traccia delle prove deve quindi essere in grado di seguire non solo ciò che l’IA dice, ma anche ciò che l’IA fa.

Provenance non implica necessariamente verità.

C'è infine un'importante precisazione. La provenance non dimostra automaticamente che le informazioni siano corrette.

Piuttosto, dimostra da dove proviene e cosa le è successo; significa essere in grado di identificare la fonte dell’errore, determinare quali altri risultati ne siano stati influenzati e correggere il processo.

Senza la provenienza, tuttavia, l’errore rischia di diventare semplicemente una risposta errata la cui causa nessuno è in grado di ricostruire.

La prossima sfida dell’Enterprise AI potrebbe essere la verificabilità.

Negli ultimi anni, abbiamo chiesto sempre più spesso ai sistemi di IA di classificare, estrarre, comprendere e generare.

Ora stiamo iniziando a chiedere loro di partecipare ai processi decisionali e, con gli agenti di IA, persino di compiere azioni. Questa maggiore autonomia deve essere accompagnata da una maggiore verificabilità.

Ecco perché il prossimo salto di qualità nell’IA aziendale potrebbe non essere semplicemente un modello più potente, ma piuttosto la capacità di costruire sistemi in cui ogni decisione importante mantenga un collegamento verificabile alle informazioni su cui si è basata.

Un’organizzazione che conserva documenti affidabili, con versioni controllate, governati e verificabili non si limita a gestire meglio il proprio archivio; sta costruendo l’infrastruttura informativa necessaria affinché l’IA sia non solo utile, ma anche tracciabile, responsabile e, quando necessario, difendibile.