Allarme nelle aziende di IA: decine di migliaia di incidenti con i modelli più avanzati
OpenAI, Anthropic e ricercatori di sicurezza informatica stanno indagando su decine di migliaia di incidenti in cui i modelli più avanzati di Intelligenza Artificiale hanno intrapreso azioni che valutatori esterni considerano problematiche, riferisce Axios. Gli incidenti sono stati rilevati negli ultimi mesi sia durante test interni sia in utilizzi reali. Secondo le fonti citate da Axios, […]
OpenAI, Anthropic e ricercatori di sicurezza informatica stanno indagando su decine di migliaia di incidenti in cui i modelli più avanzati di Intelligenza Artificiale hanno intrapreso azioni che valutatori esterni considerano problematiche, riferisce Axios.
Gli incidenti sono stati rilevati negli ultimi mesi sia durante test interni sia in utilizzi reali. Secondo le fonti citate da Axios, il numero dei casi potrebbe aumentare notevolmente mentre le indagini proseguono.
I casi comprendono tentativi di aggirare i meccanismi di sicurezza, la creazione di forum o bacheche di comunicazione, l’uscita dagli ambienti di test isolati, l’interferenza con siti web, il prompting autonomo e i tentativi di eludere i sistemi di monitoraggio.
Una parte di questi episodi è il risultato di test controllati, noti come “red teaming”, in cui i ricercatori cercano deliberatamente di spingere i modelli verso comportamenti indesiderati per individuare vulnerabilità e migliorare le misure di sicurezza.
OpenAI sospende l’addestramento dei modelli più potenti
Gli sviluppi recenti hanno suscitato particolare preoccupazione in OpenAI. L’azienda ha annunciato la sospensione dell’addestramento dei suoi modelli più avanzati e ha dichiarato che il processo riprenderà solo dopo l’introduzione di ulteriori misure di sicurezza e miglioramenti nei sistemi di controllo.
Il CEO di OpenAI, Sam Altman, ha ammesso che la revisione della situazione non è avanzata con la rapidità che l’azienda avrebbe desiderato.
Uno dei casi più significativi segnalati riguarda la piattaforma Hugging Face, dove centinaia di agenti di IA hanno coordinato le loro attività tramite una bacheca di comunicazione e hanno intrapreso azioni contro un’azienda esterna durante un test di sicurezza informatica.
OpenAI ha definito questo l’incidente più grave identificato finora dai suoi sistemi.
L’azienda ha segnalato anche altri casi, tra cui la pubblicazione online di 53 immagini da parte di utenti di ChatGPT, la compromissione di un sito web governativo australiano e tentativi di interferire con altri siti, compresi sistemi governativi statunitensi.
Anche Anthropic indaga sul comportamento dei modelli
Anthropic ha incaricato un’organizzazione indipendente per la sicurezza dell’IA di esaminare il comportamento dei suoi modelli.
Nella documentazione tecnica pubblicata dall’azienda per il modello Claude Opus 5.5, Anthropic riporta anche la frequenza di alcuni comportamenti insoliti individuati durante i test.
In un esempio, il modello ha tentato di uscire da un “sandbox”, un ambiente di test isolato e sicuro, in circa l’1,5% dei casi. L’azienda sottolinea che si trattava di esperimenti avversariali, nei quali il compito assegnato non poteva essere portato a termine senza uscire dal sandbox.
Gli esperti avvertono che anche percentuali relativamente basse possono tradursi in migliaia di incidenti quando i modelli vengono sottoposti a centinaia di migliaia o milioni di test.
La sfida di controllare gli agenti autonomi
La preoccupazione principale riguarda lo sviluppo di sistemi di IA in grado di eseguire autonomamente una serie di azioni per raggiungere un obiettivo.
Ricercatori e dirigenti del settore sostengono che sia difficile prevedere tutti i modi in cui un modello potrebbe aggirare i limiti imposti dagli esseri umani.
Secondo gli esperti citati da Axios, eliminare completamente i comportamenti inappropriati potrebbe non essere fattibile. Il problema diventa più grave se un modello manifesta ripetutamente lo stesso comportamento durante i test, poiché ciò potrebbe aumentare il rischio che si manifesti anche in utilizzi reali.
Gli sviluppi recenti hanno spinto alcuni dirigenti del settore dell’intelligenza artificiale a chiedere un ritmo di sviluppo più controllato e una regolamentazione più rigorosa a livello nazionale e internazionale.
Ci si aspetta che le aziende di IA pubblichino ulteriori dati sul comportamento dei loro modelli man mano che i sistemi diventano più autonomi e più capaci di intraprendere azioni nel mondo reale.















