Automatizzare senza perdere il controllo: tre regole di progettazione AI

Automatizzare con l’AI non significa concederle autonomia su tutto

L’intelligenza artificiale sta spostando rapidamente il confine tra assistenza e azione.

Un sistema AI non deve più limitarsi a rispondere a una domanda o generare un testo. Può consultare documenti aziendali, interrogare software, classificare richieste, preparare preventivi, aggiornare informazioni, aprire ticket, produrre report o avviare passaggi successivi di un processo.

È qui che nasce gran parte del valore delle automazioni AI. Ma è anche qui che cambia il problema di progettazione.

Se ChatGPT produce una bozza imperfetta, una persona può correggerla prima di utilizzarla. Se un sistema autonomo interpreta male un dato e utilizza quell’informazione per modificare un gestionale, inviare una comunicazione o prendere una decisione operativa, l’errore non rimane più confinato nell’output: entra nel processo aziendale.

Anthropic, nella propria guida alla progettazione degli agenti AI, evidenzia proprio questo punto: aumentando l’autonomia aumenta anche il rischio che gli errori si propaghino lungo una sequenza di azioni. La raccomandazione è introdurre complessità solo quando produce un beneficio dimostrabile e prevedere test, guardrail e punti di controllo appropriati.

La domanda corretta, quindi, non è semplicemente:

“Quali attività possiamo affidare all’AI?”

È:

“Come possiamo automatizzarle mantenendo affidabilità, responsabilità e controllo?”

Nella progettazione delle soluzioni AI adottiamo tre principi particolarmente importanti: lavorare sui dati reali, impedire al sistema di inventare quando non dispone dell’informazione e mantenere una conferma umana prima delle azioni che producono conseguenze rilevanti. Sono gli stessi principi alla base del nostro approccio ai progetti di AI Development.

Prima regola: l'AI deve lavorare sui dati reali dell'azienda

Un modello generativo possiede conoscenze generali molto ampie. Ma un’azienda non lavora sulla conoscenza generale.

Lavora sui propri clienti, prodotti, listini, procedure, contratti, disponibilità, ticket, ordini e regole interne.

La differenza è sostanziale.

Un assistente commerciale può conoscere perfettamente come si struttura un’offerta, ma non può sapere quale sia il prezzo concordato con uno specifico cliente se quell’informazione non gli viene fornita.

Un assistente di customer care può sapere come normalmente funziona un reso, ma non dovrebbe inventare la policy dell’azienda.

Un sistema che supporta la direzione può conoscere principi generali di gestione, ma se deve rispondere su una procedura interna deve basarsi sulla versione effettivamente approvata dall’organizzazione.

Per questo una buona soluzione AI dovrebbe essere collegata, quando necessario, alle fonti autorevoli del processo: database, CRM, knowledge base, documenti aziendali, API o altri sistemi che contengono lo stato reale dell’informazione.

È uno dei motivi per cui le architetture AI moderne combinano spesso il modello con strumenti di retrieval, tool e sistemi esterni. Anthropic descrive l’“augmented LLM” proprio come un modello arricchito con capacità quali retrieval, strumenti e memoria, sottolineando che queste componenti devono essere adattate allo specifico caso d’uso.

Dal punto di vista aziendale il principio è semplice:

l’AI può interpretare i dati, ma non dovrebbe sostituirli con supposizioni.

Seconda regola: quando la risposta non c'è, il sistema deve poter dire "non lo so"

I modelli generativi sono progettati per produrre risposte plausibili. Ma plausibile non significa necessariamente corretto.

Il fenomeno delle cosiddette hallucinations — risposte errate presentate come informazioni valide — continua a essere oggetto di valutazione anche nei modelli più evoluti. OpenAI, ad esempio, misura esplicitamente accuratezza e tasso di allucinazione nelle proprie valutazioni dei sistemi agentici.

In una conversazione informale un errore può essere fastidioso.

Dentro un processo aziendale può diventare costoso.

Immaginiamo un assistente che non trova una determinata condizione contrattuale nella knowledge base. Se completa autonomamente l’informazione basandosi su ciò che “sembra probabile”, il sistema può produrre una risposta molto convincente e contemporaneamente sbagliata.

La progettazione dovrebbe quindi prevedere cosa deve accadere quando l’informazione manca, è ambigua o non può essere verificata.

In molti casi la risposta migliore non è generare altro testo, ma fermarsi:

“Questa informazione non è disponibile nelle fonti aziendali.”

“Non posso determinare il prezzo senza consultare il gestionale.”

“Il documento contiene due indicazioni contrastanti: è necessaria una verifica.”

Oppure trasferire il caso a una persona.

È un cambiamento importante rispetto all’idea superficiale secondo cui un buon sistema AI dovrebbe “riuscire sempre a rispondere”.

In realtà, l’affidabilità dipende anche dalla capacità di non rispondere quando mancano le condizioni per farlo correttamente.

L'obiettivo non è eliminare l'errore, ma progettare cosa succede quando si verifica

Nessun sistema complesso dovrebbe essere progettato partendo dall’ipotesi che non sbaglierà mai.

Vale per il software tradizionale e vale ancora di più per sistemi che utilizzano modelli probabilistici.

La domanda progettuale diventa quindi: qual è l’impatto massimo che un errore può produrre?

Un sistema che prepara una bozza di report ha un profilo di rischio relativamente contenuto se una persona verifica il documento prima della consegna.

Lo stesso sistema diventa molto diverso se può inviare automaticamente quel report a clienti, modificare valori economici o utilizzare i risultati per attivare altre operazioni.

Anthropic osserva che gli agenti AI possono operare per diversi passaggi, utilizzare strumenti e adattarsi in funzione dei risultati ottenuti. Proprio questa capacità rende possibile che un errore iniziale si propaghi nelle azioni successive; per questo raccomanda feedback dal contesto reale, stopping conditions, guardrail e test prima di aumentare l’autonomia.

La progettazione affidabile non cerca quindi di costruire un’AI “infallibile”.

Costruisce un processo nel quale l’errore sia rilevabile, contenibile e correggibile.

Terza regola: prima delle azioni che contano deve esserci una conferma

Esiste una differenza fondamentale tra preparare un’azione ed eseguirla.

Un assistente AI può:

• predisporre un’email
• preparare una modifica a un ordine
• proporre un nuovo turno di lavoro
• compilare una richiesta
• suggerire l’aggiornamento di un record
• preparare un preventivo.

Ma non è detto che debba anche completare autonomamente l’azione.

La soluzione più utile, in molti processi, è quella che potremmo definire autonomia controllata: l’AI svolge la parte ripetitiva, analizza i dati e propone il risultato, mentre una persona mantiene l’ultima decisione nei passaggi che hanno conseguenze significative.

Non è soltanto una scelta prudenziale teorica.

OpenAI utilizza lo stesso principio nei propri sistemi agentici: le conferme dell’utente vengono richieste prima di determinate azioni che hanno effetti nel mondo reale, proprio per ridurre la probabilità e l’impatto degli errori e permettere alla persona di correggere o interrompere l’operazione.

La logica è molto efficace anche nei processi aziendali:

l’AI prepara, la persona autorizza.

Il controllo umano non deve però diventare un collo di bottiglia

Inserire una persona in ogni singolo passaggio annullerebbe buona parte del beneficio dell’automazione.

Per questo il vero lavoro consiste nel definire dove il controllo umano crea valore e dove invece può essere evitato.

Un alert interno può probabilmente essere generato automaticamente.

Una classificazione preliminare di richieste può avvenire senza approvazione caso per caso, se gli errori sono facilmente reversibili.

Una bozza può essere prodotta liberamente.

Ma inviare una comunicazione sensibile, cancellare dati, modificare condizioni economiche, cambiare permessi o compiere un’azione difficilmente reversibile richiede un livello di attenzione diverso.

OpenAI raccomanda, più in generale, di limitare l’accesso degli agenti ai soli dati necessari, utilizzare istruzioni esplicite e verificare attentamente le azioni prima di confermare quelle importanti.

In altre parole, non serve controllare tutto allo stesso modo.

Serve progettare livelli di autonomia proporzionati alle conseguenze.

È questa distinzione che permette di automatizzare davvero senza trasformare ogni processo in una sequenza infinita di approvazioni.

Più autonomia non significa necessariamente un sistema migliore

L’attuale interesse per gli AI agent può portare facilmente a un equivoco: considerare più evoluto un sistema quanto maggiore è la sua autonomia.

Dal punto di vista aziendale non è necessariamente così.

Se un processo può essere risolto con tre passaggi prevedibili, costruire un agente capace di scegliere autonomamente tra venti strumenti potrebbe aggiungere complessità senza creare valore.

Anthropic racconta di aver osservato, nei progetti reali, che molte delle implementazioni più efficaci utilizzano pattern semplici e componibili, raccomandando di aggiungere complessità soltanto quando migliora effettivamente i risultati.

È un principio particolarmente importante perché il costo della complessità non è soltanto tecnico.

Più un sistema prende decisioni autonome, più diventa necessario capire:

cosa può fare, quali dati può utilizzare, quali errori può commettere, come vengono gestite le eccezioni e chi mantiene la responsabilità delle azioni.

Per molte aziende il progetto migliore non sarà quindi un “agente completamente autonomo”.

Sarà un sistema che automatizza esattamente il livello di autonomia che produce beneficio senza introdurre rischi sproporzionati.

Un'automazione affidabile deve essere anche misurabile

Le tre regole — dati reali, niente invenzioni, conferma sulle azioni rilevanti — hanno bisogno di un ultimo elemento trasversale: la misurazione.

Prima di automatizzare un processo dovrebbe essere chiaro quale beneficio vogliamo ottenere.

Ridurre il tempo medio di gestione?

Diminuire gli errori?

Accelerare la risposta ai clienti?

Ridurre il numero di ticket che richiedono intervento umano?

Aumentare la completezza dei documenti prodotti?

Senza una metrica, il rischio è valutare il progetto sulla base di impressioni: l’AI sembra veloce, moderna o sorprendente, ma non sappiamo se abbia effettivamente migliorato il processo.

Le valutazioni sono particolarmente importanti nei sistemi agentici proprio perché il comportamento può svilupparsi su più passaggi. Anthropic sottolinea che gli evals consentono di individuare problemi prima che arrivino in produzione e di verificare nel tempo se modifiche e aggiornamenti migliorino realmente il comportamento del sistema.

Anche OpenAI evidenzia che, nei sistemi capaci di utilizzare strumenti e agire all’interno di workflow, non basta valutare il modello isolatamente: ambiente, strumenti, regole e procedure di revisione fanno parte del comportamento effettivo del sistema.

Per un’azienda significa misurare non soltanto quanto è intelligente il modello, ma quanto funziona bene l’intero processo.

Automatizzare significa progettare la fiducia

L’automazione AI più interessante non è quella che elimina più persone dal processo.

È quella che elimina attività inutili mantenendo sotto controllo ciò che conta.

Un sistema affidabile dovrebbe sapere dove trovare i dati, riconoscere quando non possiede abbastanza informazioni, distinguere tra una proposta e un’azione e lasciare alla persona il controllo dei passaggi nei quali un errore avrebbe conseguenze significative.

È una concezione meno spettacolare dell’intelligenza artificiale, ma molto più utile per le aziende.

Perché il problema reale non è dimostrare che un agente sia capace di agire autonomamente.

È costruire una soluzione che le persone siano disposte a utilizzare ogni giorno perché ne comprendono il funzionamento, possono verificarne il comportamento e sanno che esistono limiti precisi alla sua autonomia.

Dati reali. Nessuna invenzione quando l’informazione manca. Conferma umana prima delle azioni che contano.

Tre regole semplici che cambiano profondamente il modo in cui un progetto AI passa da una demo interessante a uno strumento aziendale di cui ci si può realmente fidare.

Conclusione

Quando valutiamo un processo da automatizzare, la prima domanda non dovrebbe essere soltanto quanto lavoro può svolgere l’AI. È altrettanto importante stabilire quali dati può utilizzare, quali decisioni può prendere autonomamente e in quali passaggi deve fermarsi e chiedere conferma.

Definire questi confini prima dello sviluppo permette di costruire automazioni realmente utili, misurabili e coerenti con il livello di rischio del processo.