LLM locale senza censura: hardware, manutenzione, alternativa
Un LLM locale senza censura ti dà il controllo totale, ma richiede hardware e manutenzione. Qui scopri come stimare lo storage, cosa comporta nella pratica e quando conviene un'API.


Punti chiave
- Il fabbisogno di storage si calcola approssimativamente da numero di parametri e precisione dei pesi.
- Aggiungi contesto, runtime e sistema operativo; prevedi margine.
- Manutenzione: aggiornamenti, cambio modello, driver e verifica che il modello non rifiuti davvero.
- Per usi rari o modelli grandi, un'API ospitata è spesso la soluzione più semplice.
Calcola tu stesso il fabbisogno di memoria
Chi vuole gestire un LLM locale senza censura si chiede prima: sta sul mio computer? Per i pesi del modello vale una regola pratica approssimativa: numero di parametri moltiplicato per byte per peso. I valori sottostanti sono approssimazioni.
| Dimensioni modello | 16 bit (2 byte) | 8 bit (1 byte) | 4 bit (0,5 byte) |
|---|---|---|---|
| 7 miliardi di parametri | 14 GB | 7 GB | 3,5 GB |
| 13 mld. parametri | 26 GB | 13 GB | 6,5 GB |
| 70 mld. parametri | 140 GB | 70 GB | 35 GB |
Questi sono solo i pesi. Si aggiungono la cache per il contesto, che cresce con la lunghezza della conversazione, e l'overhead del programma. Prevedi quindi un margine di sicurezza maggiore rispetto a quanto indicato dalla tabella. Bit-width inferiori risparmiano spazio, ma spesso comportano una perdita di qualità. Quanto incide dipende dal modello e lo indichiamo volutamente senza numeri.
GPU, RAM o entrambi
Se il modello sta tutto nella VRAM, è più veloce. Altrimenti parte in RAM e la velocità cala. Su sistemi con memoria unificata (es. Apple Silicon), il limite è la RAM totale.
Verifica prima dell'acquisto:
- Quale modello vuoi usare e con quale quantizzazione?
- Quanto devono essere lunghe le conversazioni? Contesti lunghi richiedono più memoria.
- Quanto tempo di attesa accetti per risposta?
- La macchina è solo tua o serve più utenti?
Non indichiamo token al secondo per la tua configurazione. Misuralo col tuo modello: i dati di altri test non sono trasferibili.
La manutenzione spesso sottovalutata
L'installazione è spesso rapida. Poi inizia il lavoro continuo:
- Selezione modello: Escono nuove varianti continuamente. Ogni nuova versione va testata.
- Verifica rifiuti: Non tutti i modelli descritti come senza censura rispondono sempre. Crea una lista fissa di prompt di test e verifica ogni variante.
- Aggiornamenti: Runtime, driver e formati cambiano. Un update può rompere la configurazione.
- Sicurezza: Scarica solo da fonti fidate e verifica i file. Un download manomesso è un rischio reale.
- Uso multi-utente: Se altri accedono, servono autenticazione, riavvii e monitoraggio.
Chi lo fa volentieri si diverte e impara. Chi vuole solo risposte lo vive come un peso.
Quando un'API ospitata è la scelta migliore
Un'API ha senso se almeno una di queste affermazioni è vera:
- Il tuo hardware non supporta il modello desiderato.
- Lo usi raramente e l'acquisto non conviene.
- Un'app o bot deve rispondere in modo affidabile per altri.
- Hai bisogno di una finestra di contesto lunga, senza espandere la RAM.
- Non vuoi spendere tempo nella manutenzione.
La nostra API fornisce un singolo modello a pesi aperti di un fornitore indipendente, ottimizzato per risposte senza censura per l'uso legittimo da parte di adulti. La finestra di contesto include 100.000 token. L'interfaccia è compatibile con OpenAI; gli stessi client che usi localmente funzionano spesso con un URL di base modificato. È basata esclusivamente su testo.
Costi rispetto alla tua hardware
L'API costa $0,15 per 1M di token di input e $0,50 per 1M di token di output, senza abbonamento. Un esempio: 100 richieste al giorno, ciascuna con 2.500 token di input e 500 token di output, per 30 giorni.
- Richieste: 3.000
- Input: 3.000 × 2.500 = 7,5 milioni di token × $0,15 = $1,125
- Output: 3.000 × 500 = 1,5 milioni di token × $0,50 = $0,75
- Totale: $1,875 al mese
Confronta questo con il costo di una scheda grafica adatta, dell'elettricità e del tuo tempo. Calcola tu stesso da quanto tempo di esecuzione l'hardware locale ammortizzerebbe questo importo. Se invece elabori milioni di richieste al giorno, il calcolo è diverso. Sconti per volume e ricariche ($20 fino a $500, pagamento in USDT su TRC20 o USDC su Base) sono indicati nella pagina dei prezzi. Le richieste fallite non vengono addebitate e il credito non scade.
La via di mezzo: test locale, usa l'API
Molti usano entrambe le strade. Il programma per il modello locale offre spesso anche un endpoint compatibile con OpenAI; il tuo codice deve solo cambiare la base URL. Quale indirizzo usa il tuo programma è indicato nella relativa documentazione.
from openai import OpenAI
# Wechsel zwischen lokalem Endpunkt und API nur über die Basis-URL
client = OpenAI(
base_url="https://api.unzensiertesllm.com/v1",
api_key="DEIN_SCHLUESSEL",
)
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Schreibe zwei Sätze über einen Hafen bei Nacht."}],
)
print(r.choices[0].message.content)Per provare, ottieni $0,50 di credito di prova nella pagina Ottieni la chiave API dopo aver effettuato l'accesso: una volta per persona, valido per 7 giorni, senza dati di pagamento. Ulteriori criteri di selezione offre il Confronto delle IA senza censura, i dettagli tecnici la Documentazione.
Un limite vale in ogni caso: i contenuti con riferimenti sessuali ai minori sono esclusi. I prompt non vengono utilizzati per l'addestramento.
Altre guide
Domande frequenti
Quanta memoria serve per un modello con 7 miliardi di parametri?
I soli pesi occupano circa 14 GB a 16 bit, 7 GB a 8 bit e 3,5 GB a 4 bit. Si aggiungono contesto e programma.
Rispondono tutti i modelli locali senza rifiutare?
No. Il comportamento dipende dalla variante specifica. Verifica ogni nuova versione con i tuoi prompt di test.
Quanto costa l'API rispetto all'hardware proprietario?
Con 100 richieste al giorno, 2.500 token di input e 500 di output si arriva a $1.875 al mese. Per calcolare i costi dell'hardware, devi usare i tuoi dati.
Posso usare lo stesso codice sia in locale che via API?
Spesso sì, poiché entrambi possono essere compatibili con OpenAI. Modifichi l'URL di base, la chiave e il nome del modello.
La tua chiave è a un clic di distanza
Crea l'account, copia la chiave, modifica l'URL di base. Fatto.
Ottieni la chiave API