Tag
#Lm-studio
Intelligenza ArtificialeQ3, Q4 o Q8? Quale versione di un'AI locale scaricare (la quantizzazione)
Siamo all'ultima tappa. Nei primi due articoli abbiamo installato LM Studio e misurato quanto corre su una RTX 5080 16GB; poi, nei bonus, abbiamo spinto la scheda lungo due dei suoi tre assi: la memoria del contesto e la dimensione del modello. Resta il terzo asse, e per i princi
Antonio Distefano18 giu 20265 min
Intelligenza ArtificialeQuanto grande può essere un'AI in locale? Il limite della VRAM sui 16GB
Nei primi due articoli della serie abbiamo installato LM Studio e misurato quanto corre sul mio portatile RTX 5080 16GB. Poi, nel primo bonus, abbiamo visto quanto costa la *memoria* del modello — il contesto. Oggi il secondo dei tre bonus in cui spingo la scheda al limite lungo
Antonio Distefano18 giu 20265 min
Intelligenza ArtificialeQuanto può ricordare un'AI in locale? Il limite del contesto sui 16GB
Nei primi due articoli della serie abbiamo installato LM Studio e misurato quanto corre sul mio portatile RTX 5080 16GB. Lì abbiamo visto quanta VRAM si mangia il *modello*. Ma c'è un secondo divoratore di memoria di cui quasi nessuno parla: il contesto.
Antonio Distefano18 giu 20263 min
Intelligenza ArtificialePerché usare LM Studio (e quanto corre davvero sul mio portatile RTX 5080)
Nella prima parte abbiamo visto come installare LM Studio e far partire un modello AI sul proprio computer. Funziona, è gratis, è privato. Ma restano due domande oneste: ne vale davvero la pena? E soprattutto: quanto va veloce su un portatile normale, non su un server da migliaia
Antonio Distefano18 giu 20265 min
Intelligenza ArtificialeLM Studio: cos'è e come installarlo su Windows (guida per chi parte da zero)
C'è un'idea che a tanti sembra ancora fantascienza: avere un assistente come ChatGPT che gira tutto sul tuo computer, senza internet, senza abbonamenti, senza che una sola parola di quello che scrivi finisca sul server di qualcun altro.
Antonio Distefano18 giu 20265 min
