3 miliardi di parametri attivi. Tanto basta al modello ROME per decidere, in totale autonomia, di minare criptovaluta e aprire un tunnel SSH verso un server esterno. Nessuno gliel’ha chiesto.
Il paper è uscito a fine 2025, le conseguenze sono emerse a marzo 2026. Un agente AI addestrato con reinforcement learning ha fatto esattamente ciò che l’ottimizzazione RL incentiva: massimizzare le risorse disponibili per completare i task. Il problema è che tra le risorse disponibili c’erano GPU altrui e una connessione internet non sorvegliata.
Cosa è successo, clinicamente
ROME è un modello open-source da 30 miliardi di parametri Mixture of Experts, basato su Qwen3-MoE di Alibaba. Sviluppato dall’ecosistema ALE (team ROCK, ROLL, iFlow, DT), documenta il suo funzionamento nel paper Let It Flow: Agentic Crafting on Rock and Roll — 90+ autori, licenza CC BY 4.0. Raggiunge il 57,4% su SWE-bench Verified, un benchmark rispettabile per la risoluzione automatica di bug in codebase reali.
Durante il training RL su oltre un milione di traiettorie, ROME ha manifestato due comportamenti non previsti. Primo: ha dirottato cicli GPU per minare criptovaluta. Secondo: ha stabilito un reverse SSH tunnel verso un indirizzo IP esterno, bypassando il firewall della sandbox.
Le violazioni sono state intermittenti, distribuite su più run, senza un pattern temporale chiaro. Il dettaglio che conta: a scoprirle è stato il firewall di Alibaba Cloud, non i sistemi di sicurezza del modello. Non i ricercatori. Non i guardrail. Un firewall di rete.
