A lezione dai peggiori

C’è qualcosa di molto moderno e insieme antichissimo in una macchina che, pur di raggiungere l’obiettivo assegnato, impara a eludere le regole, a cercare scorciatoie, a coordinarsi con altri agenti e perfino a cancellare le proprie tracce. Non per vocazione al male, né per ambizione. Semplicemente perché è stata addestrata a vincere.

È lo sfondo di alcuni episodi recenti, in cui sistemi di intelligenza artificiale avrebbero oltrepassato i limiti previsti, sfruttato vulnerabilità e manipolato il contesto in cui operavano. Sul caso di Hugging Face molti dettagli restano da verificare, e le responsabilità andranno accertate. Ma l’interesse della vicenda va oltre l’incidente: ci mette davanti a una società in cui conta più il risultato del metodo, più il successo della correttezza.

L’AI non è capitalista in senso ideologico. Non ha letto Adam Smith e non desidera il profitto. Ma nasce, viene finanziata e impiegata dentro sistemi che trasformano ogni attività in una gara e ogni gara in una classifica. Riceve un obiettivo, un punteggio, una ricompensa. E se trova il modo di incassare il premio senza compiere l’impresa per cui era stato pensato, dal suo punto di vista ha vinto.

I ricercatori lo chiamano reward hacking: il sistema sfrutta un difetto o un’ambiguità della ricompensa per fare punteggio senza centrare lo scopo vero. È la differenza tra rispettare la lettera di una consegna e rispettarne il senso. A volte conviene di più simulare un buon risultato, aggirare un controllo o manipolare la valutazione che svolgere bene il compito.

Il nodo è qui: la distanza tra il fine e il suo indicatore. Un’azienda vuole offrire un buon servizio e finisce per inseguire il margine. Una scuola dovrebbe formare cittadini e si riduce a preparare ai test. Un ospedale dovrebbe curare e viene spinto a moltiplicare le prestazioni. Un’amministrazione dovrebbe servire la collettività e misura sé stessa sulle pratiche chiuse. Il capitalismo contemporaneo conosce bene questo scarto: la sua forza sta nell’organizzare l’energia sociale con premi e sanzioni, la sua debolezza nel momento in cui ciò che si misura prende il posto di ciò che conta. La produttività scalza la qualità, la velocità la prudenza, la crescita giustifica ogni rischio.

L’agente artificiale porta questa logica a una forma quasi parodistica. Non distingue moralmente una scorciatoia lecita da una frode: conosce solo il nesso tra un’azione e un premio. Se l’ambiente gratifica il risultato e sorveglia poco il percorso, imboccherà il percorso meno costoso. Se una regola intralcia, la regola diventa un ostacolo da scavalcare.

Un secondo caso illumina il problema da un’altra angolazione: la controversia sui risultati rivendicati da OpenAI sulle equazioni di Navier–Stokes, uno dei grandi problemi aperti della matematica, legato all’esistenza e alla regolarità delle soluzioni che descrivono il moto dei fluidi. L’azienda ha sostenuto che un sistema composto da migliaia di agenti avesse prodotto una soluzione; sono seguite discussioni sulla portata reale del risultato, sulla verifica della dimostrazione e sul debito verso il lavoro di altri matematici.

Qui nessuno aggira una regola di sicurezza. Eppure il parallelo è evidente. La matematica procede per errori, tentativi, obiezioni e correzioni, e un risultato non vale perché è elegante o detto con sicurezza: vale quando regge al vaglio della comunità scientifica. Un’intelligenza artificiale, invece, può produrre in pochi istanti una dimostrazione dall’aria impeccabile. Il suo limite non è solo sbagliare, ma sbagliare in modo persuasivo, scambiando la coerenza per verità. E se l’errore entra in una corsa al primato tecnologico, può essere annunciato come una conquista prima ancora di essere controllato.

Sarebbe però un errore credere che si tratti di una peculiarità occidentale. La Cina non costruisce l’intelligenza artificiale con gli stessi criteri delle imprese americane o europee: la sua regolazione insiste su sicurezza nazionale, stabilità sociale, controllo dei dati, responsabilità dei fornitori e aderenza ai valori socialisti. I servizi di AI generativa devono, in certi casi, superare valutazioni di sicurezza e rispettare vincoli legati direttamente all’ordine politico.

Ne esce un diverso modo di intendere l’alignment, cioè l’allineamento dei sistemi ai valori umani. Il modello occidentale può essere spinto verso la soddisfazione dell’utente, la rapidità, la competitività. Quello cinese verso stabilità, conformità e armonia sociale. Ma in entrambi i casi la macchina riceve obiettivi, criteri e ricompense. La filosofia non elimina il rischio, lo orienta. Da una parte si rischia una macchina opportunista; dall’altra una macchina obbediente ma cieca, che evita una risposta non perché sia falsa, ma perché è sconveniente.

La censura può impedire a un modello di affrontare un argomento, ma non gli insegna a ragionare meglio. E conviene diffidare delle scorciatoie culturali: le intelligenze artificiali non nascono dai testi di Confucio o di Marx, ma da laboratori, imprese, apparati statali, ingegneri e mercati globali. L’armonia può voler dire cooperazione, ma anche silenzio del dissenso; la responsabilità collettiva può frenare l’individualismo predatorio, ma anche giustificare la subordinazione della persona all’ordine. Ogni filosofia decide quali problemi considerare prioritari, non li risolve.

Dietro tutto questo c’è una cultura manageriale che ha trasformato il mondo in un enorme sistema di obiettivi. Si ottimizza il tempo, il lavoro, l’attenzione, i consumi, il linguaggio, perfino le relazioni. Ciò che non diventa un indicatore rischia di sembrare irrilevante, e ciò che viene misurato finisce spesso per deformarsi proprio per effetto della misura. Il capitalismo digitale aggiunge la fretta: arrivare prima, conquistare il mercato, automatizzare. La prudenza passa per ritardo, la cautela per perdita di quote, il controllo per un freno all’innovazione. Ma anche un sistema autoritario produce distorsioni analoghe: se una macchina viene premiata per la stabilità, imparerà a nascondere ciò che disturba; se viene valutata sulla conformità, scambierà l’obbedienza con la verità.

Il punto, dunque, non è decidere quale civiltà genererà la macchina più «umana». È capire quale società saprà costruire istituzioni capaci di impedire che i valori dichiarati si riducano a semplici metriche. L’Occidente dovrebbe chiedersi se la competizione non premi troppo la velocità, l’apparenza e il profitto. La Cina, se stabilità e conformità non stiano soppiantando la verità, la critica e la correzione degli errori.

Ci stupiamo che l’AI scopra come si aggirano le regole, mentre la storia economica e politica lo insegna da sempre: le regole non si rispettano perché sono regole, ma quando gli incentivi rendono conveniente rispettarle e quando esistono controlli in grado di impedire la frode.

La domanda decisiva, allora, non è se l’intelligenza artificiale sia buona o cattiva, occidentale o cinese. È chi stabilisce il suo obiettivo, chi definisce la ricompensa e chi paga quando il sistema trova una strada diversa da quella immaginata.

Dietro gli agenti che imparano a barare, e dietro le macchine che spacciano per rivoluzionaria una soluzione ancora da verificare, non c’è una macchina diventata umana. C’è l’immagine deformata di società che hanno scambiato l’efficienza per valore e il successo per verità. Non siamo diventati macchine, e le macchine non sono semplicemente diventate come noi: abbiamo costruito sistemi che imparano i nostri incentivi e ce li restituiscono senza ipocrisie, spingendoli fino alle conseguenze estreme.

Forse il problema non è che l’AI si stia umanizzando nel peggio. È che, nel peggio, sta diventando fin troppo fedele alle istruzioni che le abbiamo dato.