Eseguire modelli linguistici di grandi dimensioni (LLM, Large Language Models) in locale non richiede più hardware proibitivo: le schede grafiche consumer e l'architettura a memoria unificata consentono oggi di far girare modelli complessi direttamente a casa o in ufficio con velocità sorprendenti. Questa guida analizza l'hardware ideale per ogni budget ed esigenza per il 2026, dal singolo sviluppatore ai server aziendali.
Il collo di bottiglia: la larghezza di banda della memoria
Prima di valutare l'acquisto dei singoli componenti, è fondamentale comprendere un principio cardine: l'inferenza dei modelli LLM è limitata dalla larghezza di banda della memoria, non dalla potenza di calcolo grezza. Quando il modello genera un token (l'unità base di elaborazione del testo, pari a circa 4 caratteri), deve caricare l'intera matrice dei pesi dalla memoria. La velocità di questo trasferimento (espressa in GB/s) determina i token al secondo generati, a prescindere dai teraflops teorici della scheda.
Questa dinamica spiega perché alcune scelte apparentemente ovvie si rivelino deludenti nei benchmark reali. Una GPU Nvidia RTX 4090 vanta 1.008 GB/s di larghezza di banda GDDR6X, il chip Apple M3 Ultra raggiunge gli 819 GB/s, mentre il sistema compatto Nvidia DGX Spark dispone di 273 GB/s su memoria LPDDR5X. A causa di questo divario, il DGX Spark si ferma a soli 2,7 tok/s nell'elaborazione di Llama 3.1 70B (dato confermato dai test ufficiali di Nvidia su Ollama), mentre il Mac Studio con M3 Ultra elabora lo stesso modello a 25-30 tok/s. La capacità della memoria determina se un modello può essere caricato; la larghezza di banda stabilisce la velocità di esecuzione.
Di quanta memoria hai bisogno?
La quantizzazione (tecnica di compressione dei pesi del modello) in formato GGUF permette di ridurre drasticamente l'uso della memoria a fronte di una perdita di precisione quasi impercettibile. Il formato Q4_K_M (quantizzazione a 4 bit) rappresenta lo standard raccomandato: richiede circa la metà della memoria rispetto al formato originale FP16 (a 16 bit), preservando prestazioni indistinguibili nell'uso quotidiano.
Dimensione Modello | Q4_K_M | Q8_0 | FP16 |
|---|---|---|---|
7B (7 miliardi di parametri) | ≈5 GB | ≈8 GB | ≈14 GB |
13B (13 miliardi di parametri) | ≈9 GB | ≈14 GB | ≈26 GB |
34B (34 miliardi di parametri) | ≈20 GB | ≈34 GB | ≈68 GB |
70B (70 miliardi di parametri) | ≈42 GB | ≈70 GB | ≈140 GB |
405B (405 miliardi di parametri) | ≈220 GB | ≈405 GB | ≈810 GB |
Una formula rapida per il calcolo approssimativo è: dimensione_modello_in_miliardi × 0,6 per ottenere la memoria minima in GB richiesta per la versione Q4_K_M. Occorre considerare anche il contesto della chat: una finestra di contesto da 128k token può quasi raddoppiare i requisiti di memoria durante l'elaborazione dei modelli più grandi.
GPU dedicate per sistemi consumer
Le schede video desktop Nvidia RTX serie 40 e 50 mantengono una posizione di assoluto dominio sul mercato. L'intero ecosistema software per l'esecuzione locale (Ollama, LM Studio, vLLM, TensorRT-LLM, llama.cpp) viene sviluppato e ottimizzato innanzitutto per l'architettura CUDA di Nvidia, garantendo una stabilità operativa superiore a qualsiasi alternativa.
Per la fascia d'ingresso nel 2026, la scheda di riferimento è la RTX 5060 Ti 16GB (≈500 $): basata su architettura Blackwell, supporta nativamente i calcoli in precisione FP4, gestisce modelli da 14B quantizzati a 8 bit (Q8) e garantisce un'efficienza energetica nettamente superiore rispetto alla precedente generazione. La più datata RTX 4060 8GB (≈340 $) resta una scelta valida per far girare modelli da 7B a 40-60 tok/s, ma il raddoppio della VRAM (Video RAM) sulla 5060 Ti giustifica ampiamente la differenza di prezzo.
Nella fascia media spiccano la RTX 5080 16GB (≈1.000 $ di listino) e la RTX 4090 24GB. Sebbene la RTX 5080 offra una larghezza di banda competitiva di 960 GB/s grazie alle memorie GDDR7, il limite di 16 GB di VRAM restringe il campo ai modelli da 13B a precisione Q8. La RTX 4090, con i suoi 24 GB di VRAM, permette invece di eseguire modelli fino a 20B interamente in memoria video. Poiché Nvidia ha interrotto la produzione della 4090 a ottobre 2024, i prezzi sul mercato secondario oscillano tra i 2.400 $ e i 3.500 $. Se si trova a meno di 2.000 $ rappresenta ancora un ottimo investimento, capace di erogare oltre 120 tok/s su modelli da 8B caricati interamente in VRAM. Con i modelli da 70B (che richiedono circa 42 GB), l'eccedenza di 18 GB deve essere scaricata sulla RAM di sistema tramite bus PCIe, riducendo la velocità di generazione a soli 8-18 tok/s.
La top di gamma RTX 5090 32GB (con prezzi reali tra i 3.000 $ e i 5.000 $) offre ben 1.792 GB/s di banda GDDR7 e ospita modelli da 34B a precisione Q8 interamente in VRAM. Tuttavia, a queste cifre risulta meno conveniente rispetto a una configurazione multi-GPU o a un sistema a memoria unificata Apple.
Per chi dispone di budget limitati, l'acquisto di una RTX 3090 usata (800 $-1.050 $) garantisce 24 GB di VRAM con prestazioni pari a circa l'87% di una RTX 4090, rappresentando la soluzione più economica per superare la soglia dei 16 GB di memoria video.
Sistemi a memoria unificata ad alta capacità
L'architettura a memoria unificata (Unified Memory) scavalca i limiti fisici delle schede video tradizionali. In computer come i Mac Studio, la CPU e la GPU condividono lo stesso quantitativo di memoria ad alta velocità. Installando un modello da 70B in versione Q8 su un sistema con 192 GB di memoria unificata, l'intero modello viene eseguito alla velocità del bus di memoria di sistema, senza i colli di bottiglia legati al trasferimento di dati tra RAM e VRAM tramite slot PCIe.
Sistema | Memoria | Banda di Memoria | Velocità Llama 70B | Velocità Llama 8B | Prezzo Indicativo |
|---|---|---|---|---|---|
Mac Studio M3 Ultra (192GB) | 192 GB Condivisi | 819 GB/s | 25-30 tok/s (Ollama/MLX) | ≈80 tok/s | da 3.999 $ (base 96GB) |
Mac Studio M4 Max (128GB) | 128 GB Condivisi | 546 GB/s | 20-28 tok/s (Ollama/MLX) | ≈60 tok/s | da 3.200 $ |
Nvidia DGX Spark (128GB) | 128 GB LPDDR5X | 273 GB/s | 2,7 tok/s (FP8) | ≈924 tok/s (NIM/FP4) | 4.699 $ |
Nvidia RTX 4090 (24GB) *Riferimento | 24 GB GDDR6X | 1.008 GB/s | 8-18 tok/s (con offload su RAM) | ≈120-128 tok/s | 2.400 $-3.500 $ |
Mac Studio M4 Max (128GB)
Il chip M4 Max mette a disposizione una larghezza di banda di 546 GB/s, garantendo tra i 20 e i 28 tok/s su Llama 3.3 70B. Supera le prestazioni reali di una RTX 4090 su modelli di questa dimensione per il semplice fatto che l'intero modello risiede stabilmente nella memoria di sistema. Può eseguire Llama 70B in formato Q4 o modelli da 32B in formato Q8 mantenendo ampi margini di memoria libera, con consumi complessivi di appena 200-400 W e un funzionamento estremamente silenzioso. Le configurazioni con 64 GB o 96 GB partono da circa 2.200 $-2.600 $.
Mac Studio M3 Ultra (192GB)
Il Mac Studio con processore M3 Ultra rappresenta la massima espressione di memoria unificata disponibile in un singolo computer consumer. La banda di memoria a 819 GB/s spinge la velocità di generazione a 25-30 tok/s su modelli da 70B, un valore comparabile a una GPU enterprise Nvidia H100 per singolo utente, ma a una frazione del costo. La dotazione di 192 GB consente di far girare Llama 3.3 70B a precisione nativa BF16 (140 GB) oppure il colossale modello Llama 405B in versione Q2. Il prezzo di partenza è di 3.999 $ per la versione base da 96 GB.
Nvidia DGX Spark (128GB LPDDR5X)
Commercializzato a 4.699 $ come "personal AI supercomputer", il DGX Spark integra un superchip Grace Blackwell con 128 GB di memoria condivisa e supporto preinstallato per Ollama e TensorRT-LLM. Sui modelli piccoli, i tensor core Blackwell registrano prestazioni da record: circa 924 tok/s su Llama 3.1 8B in precisione FP4 tramite i container Nvidia NIM.
Sui modelli da 70B, tuttavia, la memoria LPDDR5X a 273 GB/s si trasforma in un pesante imbuto prestazionale. I benchmark ufficiali riportano una velocità di appena 2,7 tok/s su Llama 3.1 70B FP8. I core di calcolo rimangono parzialmente inattivi a causa dei tempi di attesa per la ricezione dei dati. Il DGX Spark si rivela la scelta ideale solo se sono richiesti flussi di lavoro CUDA dedicati, microservizi NIM o addestramenti mirati su modelli sotto gli 8B con volumi di richieste molto elevati.
GPU professionali ed enterprise
Per l'erogazione di servizi commerciali condivisi tra più utenti, l'hardware consumer mostra limiti evidenti: assenza di memorie con correzione d'errore (ECC), garanzie limitate e software non ottimizzato per carichi di lavoro simultanei.
La scheda workstation di riferimento è la RTX PRO 6000 Blackwell (96GB GDDR7 ECC, ≈8.565 $), introdotta a marzo 2025. Dispone di memoria sufficiente per ospitare un modello 70B in versione Q8 interamente in VRAM, introducendo il supporto nativo al formato FP4. La precedente RTX 6000 Ada (48GB GDDR6 ECC, ≈6.800 $) rimane un'alternativa valida per gestire code di richieste tramite vLLM caricando modelli 70B in formato Q4_K_M. La scheda L40S (48GB, ≈7.500 $-10.000 $) offre specifiche simili ma è ottimizzata per l'installazione in server rack all'interno di data center.
L'acceleratore di riferimento per la produzione industriale resta l'unità Nvidia H100 SXM (80GB HBM3, 3,35 TB/s di banda). L'inferenza a singolo utente su un modello da 70B si attesta a circa 25 tok/s, ma il vantaggio competitivo risiede nella gestione delle richieste concorrenti tramite vLLM, dove decine di utenti possono interrogare il sistema in parallelo senza cali di prestazioni significativi. Il costo di acquisto di una singola scheda H100 oscilla tra i 35.000 $ e i 40.000 $, con tariffe di noleggio cloud pari a circa 1,99 $-8,00 $/ora. La nuova H200 (141GB HBM3e, 4,8 TB/s) è necessaria per ospitare modelli del calibro di DeepSeek V3.2 671B in configurazioni a 8 nodi.
Requisiti per storage, RAM di sistema e configurazioni multi-GPU
Ci sono alcuni requisiti infrastrutturali spesso sottovalutati in fase di assemblaggio delle macchine locali:
RAM di sistema: Funge da area di svaso quando la VRAM della GPU è satura. Se un modello da 70B (42 GB) viene caricato su una scheda da 24 GB, circa 18 GB di dati vengono riversati sulla RAM di sistema. Se la RAM è insufficiente, il sistema utilizzerà il disco fisso, aumentando i tempi di risposta da pochi secondi a diversi minuti. Si raccomanda di installare un quantitativo di RAM pari ad almeno il doppio della VRAM complessiva (minimo 64 GB per sistemi con RTX 4090, consigliati 128 GB).
Unità di archiviazione (Storage): Condiziona direttamente il tempo di avvio dei modelli. Un file da 40 GB associato a un modello 70B Q4 richiede circa 5-10 secondi per essere caricato in memoria tramite una memoria NVMe PCIe 4.0 (come Samsung 990 Pro o WD Black SN850X con velocità prossime ai 7.000 MB/s), contro gli oltre 60 secondi richiesti da un comune SSD SATA a 550 MB/s. È consigliabile uno spazio di archiviazione minimo di 2 TB su tecnologia PCIe 4.0 NVMe.
Sistemi multi-GPU: L'installazione di più schede permette di sommare la memoria video disponibile (ad esempio, due schede RTX 4090 mettono a disposizione 48 GB complessivi, ideali per Llama 70B Q8). Tuttavia, l'interconnessione PCIe sulle schede desktop limita l'efficienza di scalabilità a una percentuale compresa tra il 70% e il 78% (con un incremento reale delle prestazioni di circa 1,4x-1,5x). Le schede professionali dotate di tecnologia di collegamento NVLink (RTX 6000 Ada, A100, H100) scalano in modo molto più lineare, garantendo un'efficienza dell'85-93% per ogni scheda aggiuntiva.
Noleggio Cloud contro Hardware Proprietario: analisi dei costi
Per utilizzi saltuari o sperimentali, il noleggio di istanze cloud rappresenta la soluzione economicamente più vantaggiosa. L'accesso a un'istanza equivalente a una RTX 4090 su piattaforme cloud decentralizzate ha tariffe comprese tra 0,29 $ e 1,00 $/ora.
Lo scenario cambia radicalmente in presenza di carichi di lavoro continui. Un team di sviluppo che spende circa 5.000 $ al mese in servizi di inferenza cloud accumula un costo annuo di 60.000 $. L'acquisto di due schede Nvidia RTX 4090 (pari a circa 3.400 $ complessivi) viene ammortizzato in meno di due mesi d'uso costante. La regola empirica suggerisce che per tassi di utilizzo inferiori al 70% il noleggio cloud risulti più conveniente su un orizzonte di tre anni, mentre con un utilizzo stabile superiore all'80% l'acquisto dell'hardware locale garantisce il pareggio di bilancio in un periodo compreso tra i 4 e i 12 mesi.
Guida pratica: primi passi con Ollama
Configurato l'hardware, la messa in funzione del primo modello locale richiede pochissimi passaggi. Il primo step prevede l'installazione di Ollama tramite terminale:
bashcurl -fsSL https://ollama.com/install.sh | sh
Una volta completata l'installazione, è possibile scaricare ed eseguire il modello desiderato. Su sistemi dotati di almeno 128 GB di memoria condivisa, è possibile lanciare Llama 3.3 70B:
bashollama pull llama3.3:70b ollama run llama3.3:70b
Per sistemi dotati di schede video consumer da 12-16 GB di VRAM, si consiglia l'impiego del modello Qwen3 14B:
bashollama pull qwen3:14b ollama run qwen3:14b
Ollama rileva e sfrutta automaticamente l'accelerazione hardware disponibile (Nvidia CUDA, AMD ROCm o Apple Silicon), esponendo un set di API compatibili con lo standard OpenAI sulla porta locale 11434. Questo endpoint può essere integrato direttamente in IDE o interfacce di sviluppo come Cursor, Continue.dev o Open WebUI.
Per disporre di un'interfaccia grafica simile a quella di ChatGPT, è possibile avviare Open WebUI tramite un container Docker:
bashdocker run -d -p 3000:8080 \ --add-host=host.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ --name open-webui \ ghcr.io/open-webui/open-webui:main
L'interfaccia di chat sarà accessibile all'indirizzo locale http://localhost:3000.
Accesso remoto sicuro con Pinggy
Per condividere l'interfaccia o le API del proprio modello locale con collaboratori esterni o per interrogarlo da dispositivi mobili, è possibile utilizzare Pinggy. Questo strumento consente di creare un tunnel pubblico protetto HTTPS puntando alla porta locale di Ollama (11434) tramite un semplice comando SSH, senza dover modificare le impostazioni del firewall o richiedere IP statici al proprio provider:
bashssh -p 443 -R0:localhost:11434 free.pinggy.io
Il terminale restituirà un URL pubblico crittografato utilizzabile per inoltrare le richieste API da qualsiasi postazione remota. Lo stesso meccanismo si applica all'interfaccia Open WebUI instradando il tunnel sulla porta locale 3000.
Verdetto della Redazione
La scelta dellhardware dipende strettamente dalla classe di modelli che si intende utilizzare. Se lobiettivo primario è lesecuzione fluida di modelli da 70 miliardi di parametri per un utente singolo, l’architettura a memoria unificata dei Mac Studio di Apple rappresenta la soluzione più bilanciata, silenziosa ed efficiente sul mercato. Per flussi di lavoro aziendali multi-utente o modelli sotto i 34 miliardi di parametri, la scelta obbligata ricade sulle soluzioni basate su architettura Nvidia CUDA per via della maturità delle librerie di ottimizzazione e parallelizzazione.
