DE ▾

Lokales LLM ohne Zensur: Hardware, Pflege, Alternative

Ein lokales LLM ohne Zensur gibt Ihnen volle Kontrolle, verlangt aber Hardware und Pflege. Hier lesen Sie, wie Sie den Speicherbedarf selbst abschätzen, was im Alltag anfällt und wann sich eine API mehr lohnt.

Unzensierte KI: LLM-API vs. Lokale Modelle vs. Cloud-Dienste

Aktualisiert

Heimrechner mit Grafikkarte und Lichtbrücke zu einem Server: lokales Modell oder gehostete API

Wichtige Punkte

  • Der Speicherbedarf lässt sich grob aus Parameterzahl und Bit-Breite der Gewichte berechnen.
  • Dazu kommen Kontext, Laufzeitprogramm und Betriebssystem, planen Sie Reserve ein.
  • Pflegeaufwand: Updates, Modellwechsel, Treiber und die Prüfung, ob das Modell wirklich nicht ablehnt.
  • Bei seltener Nutzung oder großen Modellen ist eine gehostete API oft die einfachere Lösung.

Der Speicherbedarf zum Selbstrechnen

Wer ein lokales LLM ohne Zensur betreiben will, fragt zuerst: Passt das auf meinen Rechner? Für die Gewichte des Modells gibt es eine grobe Faustformel: Parameterzahl mal Bytes pro Gewicht. Die Werte unten sind Näherungen.

Modellgröße16 Bit (2 Byte)8 Bit (1 Byte)4 Bit (0,5 Byte)
7 Mrd. Parameter14 GB7 GB3,5 GB
13 Mrd. Parameter26 GB13 GB6,5 GB
70 Mrd. Parameter140 GB70 GB35 GB

Das sind nur die Gewichte. Dazu kommen der Zwischenspeicher für den Kontext, der mit der Gesprächslänge wächst, und der Overhead des Programms. Planen Sie deshalb spürbar mehr ein, als die Tabelle zeigt. Niedrigere Bit-Breiten sparen Platz, kosten aber oft etwas Qualität. Wie stark, hängt vom Modell ab, und wir nennen dafür bewusst keine Zahlen.

Grafikkarte, Arbeitsspeicher oder beides

Läuft ein Modell vollständig im Grafikspeicher, antwortet es am schnellsten. Passt es nicht hinein, können Programme Teile in den Arbeitsspeicher auslagern, dann sinkt die Geschwindigkeit deutlich. Auf Rechnern mit gemeinsamem Speicher für CPU und GPU (etwa viele Laptops mit Apple-Chips) liegt das Limit beim gesamten Speicher.

Prüfen Sie vor dem Kauf Folgendes:

  • Welches Modell möchten Sie tatsächlich nutzen, und in welcher Quantisierung?
  • Wie lang sollen Gespräche werden? Lange Kontexte brauchen mehr Speicher.
  • Wie viel Wartezeit pro Antwort ist für Sie akzeptabel?
  • Läuft die Maschine nur für Sie oder bedient sie mehrere Personen?

Konkrete Tokens pro Sekunde für Ihre Konfiguration nennen wir nicht. Messen Sie es mit Ihrem Modell, denn Werte aus fremden Tests lassen sich nicht übertragen.

Der Pflegeaufwand, den man vorher selten einplant

Die Installation ist je nach Programm und Vorkenntnissen oft schnell erledigt. Danach beginnt die laufende Arbeit:

  1. Modellauswahl: Es erscheinen laufend neue Varianten. Jede neue Fassung will getestet werden.
  2. Ablehnungsverhalten prüfen: Nicht jedes Modell, das als unzensiert beschrieben ist, antwortet auf Ihre Themen. Bauen Sie eine feste Liste von Testprompts und prüfen Sie jede neue Variante damit.
  3. Updates: Laufzeitprogramme, Treiber und Modellformate ändern sich. Ein Update kann die Einrichtung brechen.
  4. Sicherheit: Laden Sie Modelle und Programme nur aus Quellen, denen Sie vertrauen, und prüfen Sie die Dateien. Ein manipulierter Download ist ein reales Risiko.
  5. Betrieb für andere: Sobald jemand anderes auf Ihr Modell zugreifen soll, kommen Zugriffsschutz, Neustarts und Überwachung hinzu.

Wer das gern macht, hat Spaß daran und lernt viel. Wer nur Antworten braucht, empfindet es als Last.

Wann eine gehostete API die bessere Wahl ist

Eine API ist sinnvoll, wenn mindestens eine dieser Aussagen stimmt:

  • Ihre Hardware trägt das gewünschte Modell nicht.
  • Sie nutzen es selten, und eine Anschaffung lohnt nicht.
  • Eine Anwendung oder ein Bot soll zuverlässig für andere antworten.
  • Sie brauchen ein langes Kontextfenster, ohne Speicher aufzurüsten.
  • Sie möchten keine Zeit in Pflege stecken.

Unsere API stellt ein einzelnes Open-Weight-Modell eines unabhängigen Anbieters bereit, abgestimmt auf Antworten ohne inhaltliche Verweigerung für rechtmäßige Nutzung durch Erwachsene. Das Kontextfenster umfasst 100.000 Tokens. Die Schnittstelle ist OpenAI-kompatibel; dieselben Clients, die Sie lokal nutzen, funktionieren oft mit geänderter Basis-URL. Sie ist rein textbasiert.

Kosten im Vergleich zur eigenen Hardware

Die API kostet $0.15 pro 1M Input-Tokens und $0.50 pro 1M Output-Tokens, ohne Abo. Ein Beispiel: 100 Anfragen pro Tag, je 2.500 Tokens Eingabe und 500 Tokens Ausgabe, 30 Tage.

  • Anfragen: 3.000
  • Input: 3.000 × 2.500 = 7,5 Mio. Tokens × $0.15 = $1.125
  • Output: 3.000 × 500 = 1,5 Mio. Tokens × $0.50 = $0.75
  • Summe: $1.875 pro Monat

Setzen Sie dem Ihre Rechnung für eine passende Grafikkarte, Strom und Ihre eigene Zeit gegenüber. Rechnen Sie selbst nach, ab welcher Laufzeit sich lokale Hardware bei diesem Umfang amortisieren würde. Wenn Sie dagegen Millionen Anfragen pro Tag verarbeiten, sieht die Rechnung anders aus. Staffelbonus und Aufladung ($20 bis $500, Zahlung per USDT auf TRC20 oder USDC auf Base) stehen auf der Preisseite. Fehlgeschlagene Anfragen werden nicht berechnet, und das Guthaben verfällt nicht.

Der Mittelweg: lokal testen, API nutzen

Viele fahren zweigleisig. Das Programm zum lokalen Modell stellt oft ebenfalls einen OpenAI-kompatiblen Endpunkt bereit; Ihr Code muss dann nur die Basis-URL wechseln. Welche Adresse Ihr Programm verwendet, steht in dessen Dokumentation.

from openai import OpenAI

# Wechsel zwischen lokalem Endpunkt und API nur über die Basis-URL
client = OpenAI(
    base_url="https://api.unzensiertesllm.com/v1",
    api_key="DEIN_SCHLUESSEL",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Schreibe zwei Sätze über einen Hafen bei Nacht."}],
)
print(r.choices[0].message.content)

Zum Ausprobieren holen Sie auf der Seite API-Schlüssel erhalten nach der Anmeldung $0.50 Testguthaben ab: einmalig pro Person, 7 Tage gültig, ohne Zahlungsdaten. Weitere Auswahlkriterien bietet der Vergleich unzensierter KI, die technischen Details die Dokumentation.

Eine Grenze gilt auf jedem Weg: Inhalte mit sexuellem Bezug zu Minderjährigen sind ausgeschlossen. Prompts werden bei uns nicht zum Training verwendet.

Weitere Anleitungen

Häufig gestellte Fragen

Wie viel Speicher braucht ein Modell mit 7 Milliarden Parametern?

Die Gewichte allein belegen etwa 14 GB bei 16 Bit, 7 GB bei 8 Bit und 3,5 GB bei 4 Bit. Kontext und Programm kommen hinzu.

Antwortet jedes lokale Modell ohne Ablehnungen?

Nein. Das Verhalten hängt von der jeweiligen Variante ab. Prüfen Sie jede neue Fassung mit eigenen Testprompts.

Was kostet die API gegenüber eigener Hardware?

Bei 100 Anfragen pro Tag mit 2.500 Tokens Input und 500 Tokens Output sind es $1.875 im Monat. Die Hardware-Rechnung müssen Sie mit Ihren eigenen Zahlen aufstellen.

Kann ich denselben Code lokal und per API nutzen?

Oft ja, weil beide OpenAI-kompatibel sein können. Sie ändern die Basis-URL, den Schlüssel und den Modellnamen.

Ihr Schlüssel ist nur einen Klick entfernt

Konto erstellen, Schlüssel kopieren, Basis-URL anpassen. Das war’s.

API-Schlüssel erhalten