TR ▾

Sansürsüz yerel LLM: Donanım, bakım, alternatif

Sansürsüz bir yerel LLM size tam kontrol sağlar ancak donanım ve bakım gerektirir. Burada bellek ihtiyacınızı nasıl tahmin edeceğinizi, günlük işlerin neler olduğunu ve ne zaman bir API'nin daha karlı olacağını okuyun.

Sansürsüz AI: LLM API'si vs. Yerel Modeller vs. Bulut Hizmetleri

Güncelleme:

Grafik kartı ve PCIe yolu olan ev sunucusu: yerel model mi yoksa barındırılan API mi

Önemli noktalar

  • Bellek ihtiyacı, parametre sayısı ve ağırlıkların bit genişliği ile kabaca hesaplanabilir.
  • Buna bağlam, çalışma zamanı programı ve işletim sistemi eklenir; yedek planlayın.
  • Bakım yükü: Güncellemeler, model değişimi, sürücüler ve modelin gerçekten reddetmediğinin kontrolü.
  • Nadir kullanım veya büyük modeller için barındırılan bir API genellikle daha basit bir çözümdür.

Kendi hesaplamalarınız için bellek ihtiyacı

Sansürsüz bir yerel LLM işletmek isteyenler önce sorar: Makineme sığar mı? Model ağırlıkları için kabaca bir kural şudur: Parametre sayısı çarpı ağırlık başına bayt. Aşağıdaki değerler yaklaşıktır.

Model boyutu16 bit (2 bayt)8 bit (1 bayt)4 bit (0,5 bayt)
7 Milyar parametre14 GB7 GB3,5 GB
13 Milyar parametre26 GB13 GB6,5 GB
70 Milyar parametre140 GB70 GB35 GB

Bu sadece ağırlıklardır. Bağlam önbelleği, konuşma uzunluğuyla birlikte büyür ve program üst yükü buna eklenir. Bu nedenle tablonun gösterdiğinden belirgin şekilde daha fazlasını planlayın. Daha düşük bit genişlikleri yer kazandırır ancak genellikle kaliteden ödün verilmesine yol açar. Bu ne kadar etkili olur, modele bağlıdır ve biz bunun için bilinçli olarak sayı vermiyoruz.

Grafik kartı, sistem belleği veya her ikisi

Bir model tamamen grafik belleğinde çalışıyorsa en hızlı yanıtı verir. Sığmazsa, programlar parçaları sistem belleğine aktarabilir, bu da hızı önemli ölçüde düşürür. CPU ve GPU için ortak belleği olan bilgisayarlarda (örneğin Apple çipli birçok dizüstü bilgisayar) sınır toplam bellektir.

Satın almadan önce şunları kontrol edin:

  • Hangi modeli gerçekten kullanmak istiyorsunuz ve hangi nicemlemede?
  • Konuşmalar ne kadar uzun olmalı? Uzun bağlamlar daha fazla bellek gerektirir.
  • Yanıt başına ne kadar bekleme süresi sizin için kabul edilebilir?
  • Makine yalnızca sizin için mi çalışıyor yoksa birden fazla kişiye mi hizmet ediyor?

Yapılandırmanız için somut token/saniye değerlerini vermiyoruz. Kendi modelinizle ölçün, çünkü diğer testlerden alınan değerler aktarılamaz.

Önceden nadiren planlanan bakım çabası

Kurulum, programa ve ön bilgiye bağlı olarak genellikle hızlıca tamamlanır. Ardından sürekli işler başlar:

  1. Model seçimi: Sürekli yeni varyasyonlar çıkıyor. Her yeni sürüm test edilmelidir.
  2. Reddetme davranışını kontrol edin: Sansürsüz olarak tanımlanan her model, konularınıza yanıt vermez. Sabit bir test istemi listesi oluşturun ve her yeni varyantı bununla kontrol edin.
  3. Güncellemeler: Çalışma zamanı programları, sürücüler ve model formatları değişir. Bir güncelleme kurulumu bozabilir.
  4. Güvenlik: Modelleri ve programları yalnızca güvendiğiniz kaynaklardan indirin ve dosyaları kontrol edin. Manipüle edilmiş bir indirme gerçek bir risktir.
  5. Başkaları için işletme: Başkalarının modelinize erişmesi gerektiğinde erişim koruması, yeniden başlatmalar ve izleme eklenir.

Bunu yapmak isteyenler bundan keyif alır ve çok şey öğrenir. Yalnızca yanıt arayanlar bunu bir yük olarak görür.

Barındırılan bir API'nin ne zaman daha iyi bir seçim olduğu

Aşağıdaki ifadelerden en az biri doğruysa bir API mantıklıdır:

  • Donanımınız istediğiniz modeli kaldırmaz.
  • Nadir kullanırsınız ve satın almak mantıklı değildir.
  • Bir uygulama veya bot başkaları için güvenilir yanıt vermeli.
  • Bellek yükseltmeden uzun bir bağlam penceresi gerekir.
  • Bakıma zaman harcamak istemiyorsunuz.

API'miz, yetişkinler için yasal kullanıma uygun olarak içerik reddetme davranışı göstermeyen bir yanıt üreten bağımsız bir sağlayıcının tek bir açık ağırlıklı modelini sunar. Bağlam penceresi 100.000 token kapasitesine sahiptir. Arayüz OpenAI ile uyumludur; yerel olarak kullandığınız istemciler, değiştirilmiş Base URL ile genellikle çalışır. Saf metin tabanlıdır.

Kendi donanımınıza göre maliyet karşılaştırması

API, 1M girdi token başına $0,15 ve 1M çıktı token başına $0,50 tutarındadır, abonelik yok. Örnek: Günde 100 istek, 2.500 girdi token ve 500 çıktı token, 30 gün.

  • İstekler: 3.000
  • Girdi: 3.000 × 2.500 = 7,5 Milyon Token × $0,15 = $1,125
  • Çıktı: 3.000 × 500 = 1,5 Milyon Token × $0,50 = $0,75
  • Toplam: $1,875 ayda

Buna karşılık, uygun bir grafik kartı, elektrik ve kendi zamanınız için maliyetinizi hesaplayın. Bu kapsamda yerel donanımın hangi çalışma süresinden itibaren kendini amorti edeceğini kendiniz hesaplayın. Ancak günde milyonlarca istek işlerseniz, hesap farklı çıkar. Adım adım indirimler ve bakiye yükleme ($20 ile $500 arasında, TRC20 üzerinden USDT veya Base üzerinden USDC ile ödeme) Fiyat sayfasında belirtilmiştir. Başarısız istekler için ücret alınmaz ve kredi süresi dolmaz.

Orta yol: yerelde test et, API'yi kullan

Birçok geliştirici çift hatlı ilerler. Yerel model için yazdığınız program genellikle OpenAI uyumlu bir uç nokta da sağlar; kodunuzda sadece base URL'yi değiştirmeniz gerekir. Programınızın hangi adresi kullandığı, ilgili dokümantasyonda yer alır.

from openai import OpenAI

# Wechsel zwischen lokalem Endpunkt und API nur über die Basis-URL
client = OpenAI(
    base_url="https://api.unzensiertesllm.com/v1",
    api_key="DEIN_SCHLUESSEL",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Schreibe zwei Sätze über einen Hafen bei Nacht."}],
)
print(r.choices[0].message.content)

Denemek için, giriş yaptıktan sonra API anahtarı al sayfasından kişi başına bir kez, 7 gün geçerli ve ödeme bilgisi gerektirmeyen $0,50 ücretsiz deneme kredisi alabilirsiniz. Daha fazla seçenek için Sansürsüz AI karşılaştırması sayfasına, teknik detaylar için ise Dokümantasyon sayfasına bakın.

Her iki yolda da bir sınır vardır: Reşit olmayanlarla cinsel içerik içeren içerikler hariç tutulur. İstemleriniz eğitim için kullanılmaz.

Diğer kılavuzlar

Sıkça Sorulan Sorular

7 milyar parametreli bir model ne kadar bellek gerektirir?

Ağırlıkların kendisi 16 bit'te yaklaşık 14 GB, 8 bit'te 7 GB ve 4 bit'te 3,5 GB yer kaplar. Bağlam ve program buna eklenir.

Her yerel model reddetmeden yanıt verir mi?

Hayır. Davranış, ilgili varyanta bağlıdır. Her yeni sürümü kendi test istemlerinizle kontrol edin.

API'nin kendi donanımınıza göre maliyeti nedir?

Günde 100 istek, 2.500 girdi token ve 500 çıktı token ile aylık $1,875 tutarındadır. Donanım maliyetini kendi sayılarınızla siz hesaplamalısınız.

Aynı kodu hem yerel hem de API üzerinden kullanabilir miyim?

Çoğu zaman evet, çünkü her ikisi de OpenAI uyumlu olabilir. Base URL'yi, anahtarı ve model adını değiştirirsiniz.

Anahtarınız bir tıklama uzaktadır

Hesap oluşturun, anahtarı kopyalayın, base URL'yi ayarlayın. Hepsi bu.

API anahtarı alın