Tag
#quantizzazione
Intelligenza ArtificialeQ3, Q4 o Q8? Quale versione di un'AI locale scaricare (la quantizzazione)
Siamo all'ultima tappa. Nei primi due articoli abbiamo installato LM Studio e misurato quanto corre su una RTX 5080 16GB; poi, nei bonus, abbiamo spinto la scheda lungo due dei suoi tre assi: la memoria del contesto e la dimensione del modello. Resta il terzo asse, e per i princi
Antonio Distefano18 giu 20265 min
HardwareTurboQuant Google comprime l’AI a 3 bit e il mercato memoria crolla
TurboQuant Google promette 6x meno VRAM per gli LLM, ma la compressione reale è 2,6x. I titoli memoria crollano, la community corre avanti.
Antonio Distefano27 mar 20267 min
