IT ▾

LLM locale senza censura: hardware, manutenzione, alternativa

Un LLM locale senza censura ti dà il controllo totale, ma richiede hardware e manutenzione. Qui scopri come stimare lo storage, cosa comporta nella pratica e quando conviene un'API.

AI senza censura: API LLM vs Modelli locali vs Cloud

Aggiornato

PC con scheda grafica e Thunderbolt come server: modello locale o API ospitata

Punti chiave

  • Il fabbisogno di storage si calcola approssimativamente da numero di parametri e precisione dei pesi.
  • Aggiungi contesto, runtime e sistema operativo; prevedi margine.
  • Manutenzione: aggiornamenti, cambio modello, driver e verifica che il modello non rifiuti davvero.
  • Per usi rari o modelli grandi, un'API ospitata è spesso la soluzione più semplice.

Calcola tu stesso il fabbisogno di memoria

Chi vuole gestire un LLM locale senza censura si chiede prima: sta sul mio computer? Per i pesi del modello vale una regola pratica approssimativa: numero di parametri moltiplicato per byte per peso. I valori sottostanti sono approssimazioni.

Dimensioni modello16 bit (2 byte)8 bit (1 byte)4 bit (0,5 byte)
7 miliardi di parametri14 GB7 GB3,5 GB
13 mld. parametri26 GB13 GB6,5 GB
70 mld. parametri140 GB70 GB35 GB

Questi sono solo i pesi. Si aggiungono la cache per il contesto, che cresce con la lunghezza della conversazione, e l'overhead del programma. Prevedi quindi un margine di sicurezza maggiore rispetto a quanto indicato dalla tabella. Bit-width inferiori risparmiano spazio, ma spesso comportano una perdita di qualità. Quanto incide dipende dal modello e lo indichiamo volutamente senza numeri.

GPU, RAM o entrambi

Se il modello sta tutto nella VRAM, è più veloce. Altrimenti parte in RAM e la velocità cala. Su sistemi con memoria unificata (es. Apple Silicon), il limite è la RAM totale.

Verifica prima dell'acquisto:

  • Quale modello vuoi usare e con quale quantizzazione?
  • Quanto devono essere lunghe le conversazioni? Contesti lunghi richiedono più memoria.
  • Quanto tempo di attesa accetti per risposta?
  • La macchina è solo tua o serve più utenti?

Non indichiamo token al secondo per la tua configurazione. Misuralo col tuo modello: i dati di altri test non sono trasferibili.

La manutenzione spesso sottovalutata

L'installazione è spesso rapida. Poi inizia il lavoro continuo:

  1. Selezione modello: Escono nuove varianti continuamente. Ogni nuova versione va testata.
  2. Verifica rifiuti: Non tutti i modelli descritti come senza censura rispondono sempre. Crea una lista fissa di prompt di test e verifica ogni variante.
  3. Aggiornamenti: Runtime, driver e formati cambiano. Un update può rompere la configurazione.
  4. Sicurezza: Scarica solo da fonti fidate e verifica i file. Un download manomesso è un rischio reale.
  5. Uso multi-utente: Se altri accedono, servono autenticazione, riavvii e monitoraggio.

Chi lo fa volentieri si diverte e impara. Chi vuole solo risposte lo vive come un peso.

Quando un'API ospitata è la scelta migliore

Un'API ha senso se almeno una di queste affermazioni è vera:

  • Il tuo hardware non supporta il modello desiderato.
  • Lo usi raramente e l'acquisto non conviene.
  • Un'app o bot deve rispondere in modo affidabile per altri.
  • Hai bisogno di una finestra di contesto lunga, senza espandere la RAM.
  • Non vuoi spendere tempo nella manutenzione.

La nostra API fornisce un singolo modello a pesi aperti di un fornitore indipendente, ottimizzato per risposte senza censura per l'uso legittimo da parte di adulti. La finestra di contesto include 100.000 token. L'interfaccia è compatibile con OpenAI; gli stessi client che usi localmente funzionano spesso con un URL di base modificato. È basata esclusivamente su testo.

Costi rispetto alla tua hardware

L'API costa $0,15 per 1M di token di input e $0,50 per 1M di token di output, senza abbonamento. Un esempio: 100 richieste al giorno, ciascuna con 2.500 token di input e 500 token di output, per 30 giorni.

  • Richieste: 3.000
  • Input: 3.000 × 2.500 = 7,5 milioni di token × $0,15 = $1,125
  • Output: 3.000 × 500 = 1,5 milioni di token × $0,50 = $0,75
  • Totale: $1,875 al mese

Confronta questo con il costo di una scheda grafica adatta, dell'elettricità e del tuo tempo. Calcola tu stesso da quanto tempo di esecuzione l'hardware locale ammortizzerebbe questo importo. Se invece elabori milioni di richieste al giorno, il calcolo è diverso. Sconti per volume e ricariche ($20 fino a $500, pagamento in USDT su TRC20 o USDC su Base) sono indicati nella pagina dei prezzi. Le richieste fallite non vengono addebitate e il credito non scade.

La via di mezzo: test locale, usa l'API

Molti usano entrambe le strade. Il programma per il modello locale offre spesso anche un endpoint compatibile con OpenAI; il tuo codice deve solo cambiare la base URL. Quale indirizzo usa il tuo programma è indicato nella relativa documentazione.

from openai import OpenAI

# Wechsel zwischen lokalem Endpunkt und API nur über die Basis-URL
client = OpenAI(
    base_url="https://api.unzensiertesllm.com/v1",
    api_key="DEIN_SCHLUESSEL",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Schreibe zwei Sätze über einen Hafen bei Nacht."}],
)
print(r.choices[0].message.content)

Per provare, ottieni $0,50 di credito di prova nella pagina Ottieni la chiave API dopo aver effettuato l'accesso: una volta per persona, valido per 7 giorni, senza dati di pagamento. Ulteriori criteri di selezione offre il Confronto delle IA senza censura, i dettagli tecnici la Documentazione.

Un limite vale in ogni caso: i contenuti con riferimenti sessuali ai minori sono esclusi. I prompt non vengono utilizzati per l'addestramento.

Altre guide

Domande frequenti

Quanta memoria serve per un modello con 7 miliardi di parametri?

I soli pesi occupano circa 14 GB a 16 bit, 7 GB a 8 bit e 3,5 GB a 4 bit. Si aggiungono contesto e programma.

Rispondono tutti i modelli locali senza rifiutare?

No. Il comportamento dipende dalla variante specifica. Verifica ogni nuova versione con i tuoi prompt di test.

Quanto costa l'API rispetto all'hardware proprietario?

Con 100 richieste al giorno, 2.500 token di input e 500 di output si arriva a $1.875 al mese. Per calcolare i costi dell'hardware, devi usare i tuoi dati.

Posso usare lo stesso codice sia in locale che via API?

Spesso sì, poiché entrambi possono essere compatibili con OpenAI. Modifichi l'URL di base, la chiave e il nome del modello.

La tua chiave è a un clic di distanza

Crea l'account, copia la chiave, modifica l'URL di base. Fatto.

Ottieni la chiave API