Ollama o llama.cpp: stessa velocità, decide il contesto di 4096
Ollama si appoggia a llama.cpp, il motore che esegue i modelli in formato GGUF. Nelle prove si vede dal log: Ollama avvia un llama-server suo, preso dalla propria cartella, con -b 512 -ub 512 --flash-attn auto, e ollama ps indica il runner llamacpp. Le note di rilascio della 0.40
Antonio Distefano16 nov 202610 min