Lokaal LLM zonder censuur: hardware, onderhoud, alternatief
Een lokaal LLM zonder censuur geeft je volledige controle, maar vraagt wel om hardware en onderhoud. Hier lees je hoe je de geheugenbehoefte zelf inschat, wat er in de praktijk komt kijken en wanneer een API meer oplevert.


Belangrijkste punten
- De geheugenbehoefte is grofweg te berekenen op basis van het aantal parameters en de bitbreedte van de gewichten.
- Daar komen context, runtime-software en besturingssysteem bij. Houd rekening met een marge.
- Onderhoud: updates, modelwissels, stuurprogramma's en het controleren of het model daadwerkelijk niet weigert.
- Bij zeldzaam gebruik of grote modellen is een gehoste API vaak de eenvoudigere oplossing.
De geheugenbehoefte om zelf te rekenen
Wie een lokaal LLM zonder censuur wil draaien, vraagt zich eerst af: past het op mijn computer? Voor de gewichten van het model geldt een ruwe vuistregel: aantal parameters vermenigvuldigd met bytes per gewicht. De waarden hieronder zijn benaderingen.
| Modelgrootte | 16 bit (2 byte) | 8 bit (1 byte) | 4 bit (0,5 byte) |
|---|---|---|---|
| 7 miljard parameters | 14 GB | 7 GB | 3,5 GB |
| 13 miljard parameters | 26 GB | 13 GB | 6,5 GB |
| 70 miljard parameters | 140 GB | 70 GB | 35 GB |
Dit zijn alleen de gewichten. Daar komen de cache voor de context bij, die meegroeit met de lengte van het gesprek, en de overhead van de software. Houd daarom aanzienlijk meer aan dan de tabel laat zien. Lagere bitbreedtes besparen ruimte, maar kosten vaak wat kwaliteit. Hoeveel, hangt van het model af en we noemen daar bewust geen cijfers voor.
Grafische kaart, werkgeheugen of beide
Als een model volledig in de grafische geheugen past, is het het snelst. Past het niet, dan worden delen naar het werkgeheugen uitgewisseld, wat de snelheid aanzienlijk verlaagt. Op systemen met gedeeld geheugen voor CPU en GPU (zoals veel laptops met Apple-chips) is de limiet het totale geheugen.
Controleer het volgende voor de aankoop:
- Welk model wil je daadwerkelijk gebruiken, en in welke kwantisering?
- Hoe lang moeten gesprekken worden? Lange contexten vereisen meer geheugen.
- Hoeveel wachttijd per antwoord is voor jou acceptabel?
- Draait de machine alleen voor jou of bedient deze meerdere personen?
We noemen geen specifieke tokens per seconde voor jouw configuratie. Meet dit met je eigen model, want waarden uit andere tests zijn niet overdraagbaar.
Het onderhoud dat je zelden vooraf plant
De installatie is afhankelijk van de software en voorkennis vaak snel klaar. Daarna begint het lopende werk:
- Modelkeuze: Er verschijnen voortdurend nieuwe varianten. Elke nieuwe versie moet worden getest.
- Afwijsgedrag controleren: Niet elk model dat als ongecensureerd wordt beschreven, reageert op jouw onderwerpen. Stel een vaste lijst met testprompts samen en controleer elke nieuwe variant daarmee.
- Updates: Runtime-software, stuurprogramma's en modelformaten veranderen. Een update kan de installatie verstoren.
- Veiligheid: Download modellen en software alleen uit bronnen die je vertrouwt en controleer de bestanden. Een gemanipuleerde download is een reëel risico.
- Draaien voor anderen: Zodra iemand anders toegang tot jouw model nodig heeft, komen toegangscontrole, herstarten en monitoring bij kijken.
Wie dit graag doet, heeft er plezier in en leert veel. Wie alleen antwoorden nodig heeft, ervaart het als een last.
Wanneer een gehoste API de betere keuze is
Een API is zinvol als minstens één van deze uitspraken waar is:
- Je hardware ondersteunt het gewenste model niet.
- Je gebruikt het zelden en een aanschaf loont niet.
- Een applicatie of bot moet betrouwbaar voor anderen antwoorden.
- Je hebt een groot contextvenster nodig zonder geheugen te upgraden.
- Je wilt geen tijd steken in onderhoud.
Onze API biedt een enkel open-weight model van een onafhankelijke aanbieder, afgestemd op antwoorden zonder inhoudelijke weigering voor wettelijk gebruik door volwassenen. Het contextvenster omvat 100.000 tokens. De interface is OpenAI-compatible; dezelfde clients die je lokaal gebruikt, werken vaak met een gewijzigde basis-URL. Deze is puur tekstgebaseerd.
Kosten in vergelijking met je eigen hardware
De API kost $0,15 per 1M input-tokens en $0,50 per 1M output-tokens, zonder abonnement. Een voorbeeld: 100 verzoeken per dag, elk 2.500 tokens input en 500 tokens output, 30 dagen.
- Verzoeken: 3.000
- Input: 3.000 × 2.500 = 7,5 miljoen tokens × $0,15 = $1,125
- Output: 3.000 × 500 = 1,5 miljoen tokens × $0,50 = $0,75
- Totaal: $1,875 per maand
Stel dit tegenover de kosten van een geschikte GPU, stroom en je eigen tijd. Reken zelf uit na welke looptijd lokale hardware bij deze omvang zich zou amortiseren. Als je daarentegen miljoenen verzoeken per dag verwerkt, ziet de rekening er anders uit. Korting bij hogere volumes en opwaarderen ($20 tot $500, betaling via USDT op TRC20 of USDC op Base) staan op de prijzenpagina. Mislukte verzoeken worden niet in rekening gebracht en het tegoed vervalt niet.
De middenweg: lokaal testen, API gebruiken
Veel gebruikers kiezen voor beide sporen. De software voor het lokale model biedt vaak ook een OpenAI-compatibele endpoint; je hoeft dan alleen de basis-URL aan te passen. Welk adres je programma gebruikt, staat in de documentatie daarvan.
from openai import OpenAI
# Wechsel zwischen lokalem Endpunkt und API nur über die Basis-URL
client = OpenAI(
base_url="https://api.unzensiertesllm.com/v1",
api_key="DEIN_SCHLUESSEL",
)
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Schreibe zwei Sätze über einen Hafen bei Nacht."}],
)
print(r.choices[0].message.content)Voor een proefperiode haal je op de pagina API-sleutel ontvangen na het inloggen $0,50 testtegoed: eenmalig per persoon, 7 dagen geldig, zonder betalingsgegevens. Meer vergelijkingscriteria vind je in de vergelijking van ongecensureerde AI, technische details in de documentatie.
Er geldt een grens op elke manier: inhoud met seksuele betrekking tot minderjarigen is uitgesloten. Prompts worden bij ons niet gebruikt voor training.
Meer handleidingen
Veelgestelde vragen
Hoeveel geheugen heeft een model met 7 miljard parameters nodig?
De gewichten alleen al nemen ongeveer 14 GB in beslag bij 16 bit, 7 GB bij 8 bit en 3,5 GB bij 4 bit. Context en software komen daar nog bij.
Antwoordt elk lokaal model zonder afwijzingen?
Nee. Het gedrag hangt af van de specifieke variant. Test elke nieuwe versie met je eigen testprompts.
Wat kost de API in vergelijking met je eigen hardware?
Bij 100 verzoeken per dag met 2.500 tokens input en 500 tokens output zijn dat $1,875 per maand. De hardwarekosten moet je zelf met je eigen cijfers berekenen.
Kan ik dezelfde code lokaal en via de API gebruiken?
Vaak wel, omdat beide OpenAI-compatibel kunnen zijn. Je past de basis-URL, de sleutel en de modelnaam aan.
Je sleutel is slechts één klik verwijderd
Account aanmaken, sleutel kopiëren, basis-URL aanpassen. Klaar.
API-sleutel ontvangen