4 giugno 2026 · aggiornato il 3 novembre 2026 · 9 min lettura
Self-HostingUI-TARS Desktop self-hostable: il VLM ByteDance da 32k stelle chiede 47 GB VRAM per il 72B. Open-weights non significa che puoi girarlo davvero.
Intelligenza ArtificialeEnkk ha ragione: capire come funziona un LLM — che non cerca la risposta vera ma quella più verosimile dato il contesto — è la differenza tra trattare un chatbot come un oracolo e sapere quando non fidarsi. Il suo video prova a spiegare proprio questo, in modo semplice ma corrett

Iscriviti alla newsletter per ricevere i migliori articoli direttamente nella tua inbox.
OpenMontage: pipeline agentica per video AI open source, TTS offline gratis con Piper e video AI locale GPU. 12 pipeline, 52 tool. Cosa funziona oggi.
Headroom è un layer open-source di compressione del contesto: comprime tool output, log, file e chunk RAG prima che raggiungano l'LLM, con la promessa scritta in chiaro nella descrizione del repo: "60-95% fewer tokens, same answers". L'ha scritto Tejas Chopra, senior engineer di Netflix, e in cinque mesi il progetto ha raccolto oltre undicimila stelle su GitHub. L'idea di base è solida e il problema che affronta è reale e si misura sulla bolletta: il costo dei token per chi esegue agenti AI tutto il giorno. Ma quell'intervallo, 60-95%, è un'affermazione del progetto: i benchmark interni e le issue aperte riportano risparmi più bassi.
Vale la pena guardarci dentro proprio perché Headroom non è vaporware: è codice vero, Apache-2.0, che diversi team usano in produzione. Resta da capire quanto, a quale costo nascosto, e se l'idea sia poi così nuova come sembra. Per chi fa girare agenti AI self-hosted o su cloud ogni giorno, la differenza tra "taglio il 90%" e "taglio il 30% e ogni tanto zero" è quella tra una leva di costo e una dipendenza fragile.
Sotto il cofano c'è una pipeline di compressione del contesto che intercetta il contenuto destinato all'LLM, ne riconosce il tipo e lo passa al compressore giusto. È un insieme di componenti specializzati. Un ContentRouter smista il contenuto; da lì entrano in gioco compressori dedicati al JSON, al codice, al testo libero, più un meccanismo reversibile, che permette di recuperare l'originale quando serve.
Si usa in cinque modi: come libreria (compress(messages)), come proxy (headroom proxy --port 8787, davanti a qualunque client OpenAI-compatible), come MCP server, come wrapper CLI attorno a Claude Code, Codex, Cursor, Aider, e come middleware ASGI. Il porting recente di parte del codice a Rust — il repo oggi è Python al 77% e Rust al 18% — racconta che il progetto sta cercando di indurire le parti calde dopo una fase di prototipazione veloce.
I benchmark interni di Headroom stanno sotto l'affermazione del repo. La descrizione del repo parla di 60-95% di token in meno. Gli eval ufficiali, però, raccontano compressioni reali molto più basse: misurate su N=100 con gpt-4o-mini come modello e LLM-as-judge come metro di giudizio, vanno dal 19% al 77%. Il progetto li pubblica, ma la descrizione del repo mette in evidenza il 60-95%.
I risparmi più alti che il progetto cita — 92% sul code search, 92% sul debugging SRE, 73% sul triage di issue GitHub, 47% sull'esplorazione di codebase — valgono per carichi di lavoro specifici, sono riportati nella README e non sono stati verificati in modo indipendente. La spiegazione che dà Chopra è coerente: la sua stima è che fino al 90% dei token sia ridondante, ma riferito al boilerplate — JSON, metadata, colonne di database — non alle istruzioni scritte a mano. La descrizione del repo, però, non riporta questa precisazione.
C'è poi una misura fatta fuori dai benchmark. Nell'issue #327 un utente — non un detrattore, uno che scrive di non voler usare nessun tool AI senza Headroom — documenta la sua misura su richieste reali: con la versione 0.14.5 risparmiava il 40-50%, ma già con la 0.19.0 era sceso al 10-15% e, nella stessa sessione, è arrivato allo 0% verso la fine. L'autore stesso ipotizza un nesso temporale: il crollo a zero coincide con i suoi token di subscription arrivati al 100%, quando Claude è passato a consumare token "Extra usage". È un'ipotesi, non una certezza. Il caso mostra comunque quanto il risparmio sia fragile: è calato passando da una versione all'altra e, nella stessa sessione, è arrivato a zero.

Undicimila stelle, settecentotrentuno fork, centocinquanta issue aperte, l'ultima release — la 0.22.4 — del primo giugno 2026. È un progetto vivo e giovane, creato il 7 gennaio 2026, con tutto quello che ne consegue. Colpisce la velocità: a fine maggio la stampa lo dava a duemila stelle, una settimana dopo erano più di undicimila. Una crescita così rapida, però, non dice nulla sulla maturità del codice. Le altre issue ad alto traffico raccontano lo stesso ritmo: integrazione proxy a volte fragile, bug ricorrenti su auth e provider, una segnalazione che il proxy Codex rompeva l'autenticazione a OpenAI. Per un confronto su quanto vale fidarsi delle stelle di un repo AI, ne abbiamo già scritto a proposito di un altro caso. Qui le stelle hanno una base tecnica, ma le issue aperte descrivono un progetto ancora poco maturo.
L'idea di comprimere il prompt prima di mandarlo all'LLM non è un'invenzione di Headroom: Microsoft pubblicò LLMLingua a fine 2023, il 7 dicembre, presentato a EMNLP. LLMLingua usa un modello linguistico piccolo (GPT2-small o LLaMA-7B) per scartare i token che portano meno informazione e arriva fino a 20x di compressione perdendo solo 1,5 punti su GSM8K e BBH con GPT-3.5-Turbo. La parte che smonta l'idea di invenzione recente è la reversibilità: nei test di Microsoft, GPT-4 riusciva a ricostruire un ragionamento in nove passaggi partendo da un prompt fortemente compresso. L'idea di recuperare l'informazione dopo la compressione esisteva quindi già nel 2023, con un meccanismo diverso da CCR, che conserva gli originali in locale. Questo inquadra meglio il progetto: il merito non è aver inventato la compressione del contesto, ma averla impacchettata in modo nuovo.
Le evoluzioni successive — LLMLingua-2, da 3 a 6 volte più veloce e task-agnostic, e LongLLMLingua, che dichiara fino al 94% di costi in meno e prestazioni migliori fino al 21,4% — sono integrate in LlamaIndex e disponibili da tempo. Esiste anche una base empirica a favore del "meno contesto è meglio": lo studio Context Rot di Chroma ha testato 18 modelli frontier (GPT-4.1, Claude 4, Gemini 2.5, Qwen3) e ha trovato che tutti degradano all'aumentare dei token, ben prima dell'overflow — un modello da 200k può perdere colpi già a 50k. In questa lettura, comprimere riduce i costi e anche il rumore.
Dov'è allora il valore specifico di Headroom rispetto a LLMLingua? Nell'ingegneria di contorno: cinque modalità d'uso, compressori specializzati per tipo di contenuto, reversibilità CCR con originali locali, integrazione diretta con gli agenti del 2026 e un'impostazione local-first. Il contributo sta nell'ingegneria, sopra una ricerca già pubblicata. La compressione adiacente sui pesi del modello — la quantizzazione — la abbiamo vista altrove, ad esempio con TurboQuant che comprime l'AI a 3 bit: è un altro asse, comprimere i pesi invece del contesto, ma la logica di fondo — pagare meno senza rompere tutto — è la stessa.
Il claim "same answers" è il punto più delicato, perché la compressione lossy ha un costo che non si vede nei benchmark facili. La ricerca accademica sulla prompt compression del 2026 è netta: il reasoning matematico dipende da relazioni simboliche esatte, e la similarità semantica alta non garantisce un comportamento downstream stabile. Tradotto: due prompt all'apparenza equivalenti possono produrre risposte diverse su un task di ragionamento. I metodi lossy non offrono garanzie di recupero esatto e falliscono più gravemente proprio dove la ritenzione è bassa.
Per chi esegue agenti vincolati da regole e policy c'è un secondo rischio.
I token sbagliati da droppare sono spesso i più piccoli: eccezioni di policy, etichette di sensibilità, riferimenti di lineage. La compressione collassa silenziosamente le preferenze a valore esatto e i vincoli rigidi. — atlan.com, sulla context compression
Il 90% di ridondanza riguarda il boilerplate: il JSON si comprime senza danni perché è davvero ridondante: nessuno rimpiange una colonna di metadata duplicata cento volte. Ma un agente che opera su edge case, regole di governance o constraint di sicurezza ha proprio nei token piccoli e rari l'informazione che non deve sparire — ed è esattamente quella che un compressore statistico, che droppa per bassa frequenza, tende a buttare per primo. CCR mitiga il problema perché l'originale resta richiamabile in locale, ed è una scelta di design intelligente, ma vale solo se l'LLM capisce di doverlo richiamare: la decisione di recupero resta nelle mani del modello, non del sistema di compressione. La compressione lossy del contesto non è gratis: sposta il rischio dal costo all'accuratezza, e lo sposta dove è più difficile accorgersene, perché un agente che ignora una policy non segnala errori: restituisce una risposta sbagliata.
C'è poi una sovrapposizione con il prompt caching da considerare. Con Claude Opus 4.7 a 5 e 25 dollari per milione di token in input e output, e Sonnet 4.6 a 3 e 15, ridurre i costi dei token su agenti AI che lavorano tutto il giorno — tagliando anche solo il 40-50% dell'input — pesa sul conto, soprattutto se si considera che il costo reale di gestione tende a essere un multiplo del prezzo API grezzo. Ma il prompt caching di Anthropic già sconta del 90% l'input cachato — Opus scende a 0,50 dollari per milione di token in lettura dalla cache — e Headroom e il caching si sovrappongono in parte. Non a caso CacheAligner esiste proprio per non rompere le KV-cache: se comprimi in modo instabile, fai saltare gli hit di cache e rischi di pagare di più, non di meno. Headroom aiuta soprattutto dove il caching non arriva: tool output volatili, chunk RAG nuovi, contenuto che cambia a ogni richiesta. Riduce la parte di costo che il caching non copre.

Headroom è un buon pezzo di ingegneria che affronta un problema vero, costruito con scelte sensate — reversibilità, local-first, compressori per tipo di contenuto, integrazione con l'ecosistema MCP. Se ti interessa il tooling di contesto per Claude Code e Cursor, lo stesso filone tocca strumenti come Understand-Anything e i knowledge graph del codice. La compressione del contesto in Headroom è una leva reale. Il "60-95% same answers", però, resta un'affermazione del progetto.
I benchmark interni dicono 19-77%. Un utente, su richieste reali, è sceso dal 40-50% al 10-15% e, a fine sessione, a zero. Il risparmio effettivo dipende da modello, versione e carico di lavoro, e va misurato su quelli, non sulla descrizione del repo.
Fonti: Repo Headroom, Eval ufficiali, Issue #327, Microsoft LLMLingua, The Register, Chroma Context Rot, Morph LLM — prompt compression
| Eval (N=100, gpt-4o-mini) | Accuratezza | Compressione misurata |
|---|---|---|
| GSM8K (math) | 0.870 → 0.870 | delta zero |
| TruthfulQA | 0.530 → 0.560 | +0.030 |
| SQuAD v2 | 97% | 19% |
| BFCL (LLM-as-judge) | 97% | 32% |
| CCR Needle Retention (N=50) | 100% | 77% |