Sansürsüz LLM: yerel mi yoksa API mi seçin
Sansürsüz bir LLM'i kendi başınıza işletebilir veya barındırılan bir API olarak kullanabilirsiniz. Hangi yolun uygun olduğunu beş kriter belirler: veri gizliliği, donanım, kalite, kullanılabilirlik ve maliyet.


Önemli noktalar
- Veri egemenliği ve çevrimdışı çalışma yerelde kazanır; çaba ve model boyutu API'de kazanır.
- Kritik olan kullanım profilinizdir: ara sıra, düzenli veya başkaları için bir hizmet olarak.
- API'de yalnızca token'lar için ödeme yaparsınız: Giriş için 1M token başına $0,15, Çıkış için 1M token başına $0,50.
- Karışık kullanım yaygındır: deney için yerel, her şey için güvenilir olan API.
Hızlı karar
Sansürsüz bir LLM arıyorsanız, bu kuralı izleyin: Donanımınız kullanılabilir bir modeli desteklediğinde ve verilerin makinenizden çıkmaması gerektiğinde yerelde deneyim yapın. Daha büyük bir model, diğer kullanıcılar için güvenilir yanıtlar veya hiç bakım istemiyorsanız API kullanın.
| Kriter | Yerel | Barındırılan API |
|---|---|---|
| Veri | cihazınızda kalır | sağlayıcı üzerinden geçer |
| Başlangıç | Kurulum, model indirme | Anahtar ve Base URL |
| Devam eden maliyetler | Elektrik, donanım aşınması | token başına |
| Paralellik | donanımınızla sınırlıdır | sağlayıcının limitleri tarafından |
| Bakım | Güncellemeler, sürücüler, model değişikliği sizin tarafınızda | sağlayıcıda |
| Çevrimdışı kullanılabilir | evet | hayır |
"Sansürsüz"ün teknik anlamı
Bir dil modeli, böyle eğitildiği için istekleri reddeder. Açık modeller birçok varyasyonda mevcuttur: temel modeller, güvenlik eğitimi içeren talimat modelleri ve daha az veya hiç reddetmeyen sonradan uyarlanmış sürümler. Terim standart değildir. Her ikisi de sansürsüz olarak kabul edilen iki model, davranış ve kalite açısından önemli farklılıklar gösterebilir.
Bu nedenle etiketi değil, kendi istemlerinizle davranışı kontrol edin. Günlük hayatınızdan on tipik görev, herhangi bir açıklamadan daha fazlasını söyler. Bu hem yerel hem de API için geçerlidir.
Kriter 1 ve 2: Veri gizliliği ve donanım
Veri gizliliği. Yerelde hiçbir istem makinenizden çıkmaz. Bir API'de metinler sağlayıcıya gider. Gizlilik politikasını kontrol edin. Bizimle istemler eğitim için kullanılmaz. Çok hassas veriler için yerel işletme yine de en güvenli seçenektir.
Donanım. Bellek ihtiyacı model boyutu ve niceleme miktarına bağlıdır. Sabit sayılar vermiyoruz çünkü bunlar model ve programa göre büyük ölçüde değişir. Genel kural şudur: Model ne kadar büyükse, o kadar fazla grafik veya işlemci belleğine ihtiyacınız olur ve daha küçük modellerle yanıt kalitesi genellikle düşer. İlgili programın kılavuzu, belirli bir model için gereksinimleri belirtir. Uzun bağlamlar ihtiyacı daha da artırır.
Kriter 3 ve 4: Kalite ve kullanılabilirlik
Kalite. Modelden kaynaklanır, işletme yolundan değil. Ancak bir API, makinenizde çalışmayacak modelleri sağlayabilir. API'miz bağımsız bir sağlayıcıdan tek bir açık ağırlıklı modeli kullanır; yetişkinler tarafından yasal kullanım için içerik reddi olmadan yanıtlar için optimize edilmiştir. Büyük bir üreticinin resmi API'si değil ve birden fazla sağlayıcı üzerinden bir yönlendirici de değildir. Bağlam penceresi 100.000 token kapsar (istem ve yanıt).
Kullanılabilirlik. Yerel bir model, bilgisayarınız çalıştığında çalışır. Başkaları için yanıt verecek bir hizmet için, işletim ve izleme gerektiren bir sunucuya ihtiyacınız vardır. API, bunun için sınırlar sağlar: tam anahtarla 8 eşzamanlı istek ve dakikada 300. Kullanılabilirlik konusunda somut taahhütlerde bulunmuyoruz.
Kriter 5: Maliyet, dürüst hesaplanmış
API token'lar üzerinden hesap yapar: Abonelik yok, Giriş için 1M token başına $0,15, Çıkış için 1M token başına $0,50. Üç kullanım profili:
| Profil | Hesaplama | Aylık maliyet |
|---|---|---|
| Ara sıra: günde 20 istek, her biri 2.000 token girdi, 500 çıktı | 600 istek: 1,2 milyon In × $0,15 = $0,18; 0,3 milyon Out × $0,50 = $0,15 | $0,33 |
| Düzenli: günde 200, her biri 3.000 girdi, 600 çıktı | 6.000 istek: 18 milyon In × $0,15 = $2,70; 3,6 milyon Out × $0,50 = $1,80 | $4,50 |
| Servis: 3.000/gün, 3.000 Giriş, 600 Çıkış | 90.000 istek: 270 milyon In × $0,15 = $40,50; 54 milyon Out × $0,50 = $27,00 | $67,50 |
Yerel çalıştırmada buna satın alma, elektrik ve sizin zamanınız karşılık gelir. Bu kalemleri kendi hesabınıza ekleyin; düşük kullanım durumunda (ilk satır) API faturası küçük kalır, yüksek sürekli yükte kendi donanımınızla karşılaştırmak mantıklı olur. Tüm tarifeler, toplu indirimler ve minimum bakiye yükleme ($20 ile $500) fiyat sayfasında yer alır.
Her iki yolu da deneyin
API testi ücretsizdir: Giriş yaptıktan sonra (Google veya e-posta ve şifre ile) API anahtarını alın sayfasından tek seferlik $0,50 deneme kredisi alırsınız, 7 gün geçerlidir ve ödeme bilgisi gerektirmez. İstem:
from openai import OpenAI
client = OpenAI(base_url="https://api.unzensiertesllm.com/v1", api_key="DEIN_SCHLUESSEL")
aufgaben = [
"Schreibe die Gedanken eines Schurken in drei Sätzen.",
"Fasse den Plot einer düsteren Kurzgeschichte zusammen.",
]
for text in aufgaben:
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": text}],
)
print(r.choices[0].message.content, "\n---")Aynı görevleri yerel modelinizde çalıştırın ve ton, uzunluk ve reddetme oranlarını karşılaştırın. Daha fazla bağlam için sansürsüz yapay zeka karşılaştırması makalesine, parametreler için dokümantasyona bakın.
Yaygın hatalı kararlar
- Model netleşmeden donanım satın almak. Yanıt kalitesinin yeterli olup olmadığını görmek için önce API ile veya küçük modellerle test yapın. Sonra satın alma mantıklı olur.
- Sadece token başına fiyata bakmak. Elektrik maliyetleri, kurulum süresi ve arızalar yerel yolun maliyetlerine dahildir.
- Her etikete inanmak. Sansürsüz etiketi ne kaliteyi ne de görevlerinizde iyi davranışı garanti etmez.
- Bağlamı küçümsemek. Uzun konuşmalar veya belgeler büyük bağlam penceresi gerektirir. Yerelde bağlam arttıkça bellek ihtiyacı büyür, API'de her seferinde geçmişin girdi olarak sayılması nedeniyle fatura büyür.
- Veri gizliliğini yarı yarıya düşünmek. Yerel modeller de sohbet geçmişlerini genellikle dosyalarda saklar. Bu dosyaları diğer hassas dosyalar gibi güvenceye alın.
Emin olmayanlar ücretsiz deneme kredisi ile başlar ve bir hafta sonra beklentilere değil, kendi sayılarına dayanarak karar verir.
Her iki yol için de geçerli sınırlamalar
Teklifimiz sadece metin sağlar: resim yok, ses yok, embedding yok, ince ayar yok. Reşit olmayanlarla cinsel içerik istisnasız hariç tutulmuştur, kullanım yetişkinlerin meşru amaçları içindir. Ödeme TRC20 üzerinde USDT veya Base üzerinde USDC ile yapılır.
Diğer kılavuzlar
Sıkça sorulan sorular
Sansürsüz bir dil modeli yasal mıdır?
Modellerin kendisi mevcuttur, önemli olan bunları ne için kullandığınızdır. Kullanım yasal olmalıdır; reşit olmayanlar içeren içerikler kullanım dışı bırakılmıştır. Bu hukuki tavsiye değildir.
Normal bir PC yerel bir model için yeterli mi?
Küçük modeller için genellikle evet, büyükler için hayır. İhtiyaç model boyutu ve niceleme miktarına bağlıdır; ilgili programın bilgilerini kontrol edin.
Düşük kullanımda API ne kadar tutar?
Günde 20 istek, 2.000 token Input ve 500 token Output ile bu aylık maliyet yaklaşık $0,33'tür.
Yerel ve API'yi birleştirebilir miyim?
Evet. Birçok kullanıcı yerelde test yapar ve güvenilir çalışması gereken veya daha büyük modele ulaşması gereken her şey için API'yi kullanır.
Anahtarınız sadece bir tık uzaktadır
Hesap oluşturun, anahtarı kopyalayın, temel URL'i ayarlayın. Bu kadar.
API anahtarını alın