LLM locale costi reali: serve davvero una GPU da 1.700 euro per battere ChatGPT gratis?

Ho speso €1.700 per far girare un LLM sul mio server — e i llm locale costi reali non sono quelli che leggi online. La RTX 3090 usata, il case, l'alimentatore, le ventole che sembrano un aereo al decollo. Il tutto per scoprire che la bolletta mi costa €54 al mese — solo di corrente — e che ChatGPT gratis mi dava risposte migliori su metà dei task. Ma sull'altra metà, il locale vince senza discussione.

I costi reali di un LLM locale li leggi sempre calcolati con la tariffa elettrica americana — $0,18 per kWh, che bello. In Italia paghiamo 0,30-0,40 €/kWh tutto compreso. Il break-even raddoppia. E nessuno ne parla.

Se stai valutando i llm locale costi con numeri reali, europei, senza fuffa — questo è il pezzo giusto. E se hai già configurato Ollama, sai già che la parte software è la più facile dell'equazione.

I llm locale costi nel 2026: cosa compri davvero

Il floor per un PC capace di inference locale decente è $1.700. Non lo dico io — lo dice chiunque abbia provato a costruirne uno nel 2026 con la VRAM necessaria. Sotto quella cifra, compri frustrazione.

Il collo di bottiglia dell'inference locale hardware ha un nome: VRAM. C'è un cliff brutale tra 8GB e 16GB — un modello 27B quantizzato a Q4 passa da 3,6 tok/s a oltre 20 tok/s quando tutto il modello sta in memoria video. Non è un miglioramento lineare. È un salto di 10x. "Whether the model fits entirely in VRAM creates a discontinuous jump in performance" — non è un modo di dire, è fisica.