ID ▾

LLM lokal tanpa sensor: perangkat keras, perawatan, alternatif

LLM lokal tanpa sensor memberi Anda kontrol penuh, tetapi memerlukan perangkat keras dan perawatan. Di sini Anda dapat membaca cara memperkirakan kebutuhan memori sendiri, apa yang terjadi dalam penggunaan sehari-hari, dan kapan API lebih menguntungkan.

AI tanpa sensor: API LLM vs. Model Lokal vs. Layanan Cloud

Diperbarui

Komputer rumah dengan kartu grafis dan koneksi cepat menjadi server: model lokal atau API ter-host

Poin Penting

  • Kebutuhan memori dapat dihitung secara kasar dari jumlah parameter dan lebar bit bobot.
  • Tambahkan konteks, program runtime, dan sistem operasi, rencanakan cadangan.
  • Upaya perawatan: pembaruan, pergantian model, driver, dan pemeriksaan apakah model benar-benar tidak menolak.
  • Untuk penggunaan jarang atau model besar, API ter-host sering kali merupakan solusi yang lebih sederhana.

Kebutuhan penyimpanan untuk perhitungan sendiri

Siapa pun yang ingin menjalankan LLM lokal tanpa sensor, bertanya terlebih dahulu: Apakah itu muat di komputer saya? Untuk bobot model, ada rumus praktis kasar: jumlah parameter dikali byte per bobot. Nilai di bawah ini adalah perkiraan.

Ukuran model16 bit (2 byte)8 bit (1 byte)4 bit (0,5 byte)
7 miliar parameter14 GB7 GB3,5 GB
13 miliar parameter26 GB13 GB6,5 GB
70 miliar parameter140 GB70 GB35 GB

Ini hanyalah bobotnya. Ditambahkan lagi cache konteks yang tumbuh seiring panjang percakapan, dan overhead program. Oleh karena itu, Anda harus menyiapkan lebih banyak secara nyata daripada yang ditunjukkan tabel. Bit-width yang lebih rendah menghemat ruang, tetapi sering kali mengorbankan kualitas. Seberapa besar dampaknya bergantung pada model, dan kami sengaja tidak memberikan angka untuk hal itu.

Kartu grafis, memori kerja, atau keduanya

Jika model berjalan sepenuhnya di memori grafis, itu akan merespons paling cepat. Jika tidak muat, program dapat memindahkan sebagian ke memori kerja, maka kecepatan turun secara signifikan. Pada komputer dengan memori bersama untuk CPU dan GPU (misalnya banyak laptop dengan chip Apple), batasnya adalah total memori.

Periksa hal berikut sebelum membeli:

  • Model mana yang benar-benar ingin Anda gunakan, dan dalam kuantisasi apa?
  • Seberapa panjang percakapan yang diinginkan? Konteks panjang membutuhkan lebih banyak memori.
  • Berapa banyak waktu tunggu per jawaban yang dapat Anda terima?
  • Apakah mesin hanya untuk Anda atau melayani beberapa orang?

Kami tidak menyebutkan token spesifik per detik untuk konfigurasi Anda. Ukur dengan model Anda sendiri, karena nilai dari pengujian pihak lain tidak dapat diterapkan.

Upaya perawatan yang jarang direncanakan sebelumnya

Instalasi tergantung pada program dan pengetahuan awal sering kali cepat selesai. Setelah itu dimulai pekerjaan berkelanjutan:

  1. Pilihan model: Varian baru terus muncul. Setiap versi baru perlu diuji.
  2. Periksa perilaku penolakan: Tidak setiap model yang digambarkan sebagai tanpa sensor merespons topik Anda. Buat daftar tetap prompt pengujian dan periksa setiap varian baru dengan itu.
  3. Pembaruan: Program runtime, driver, dan format model berubah. Pembaruan dapat merusak pengaturan.
  4. Keamanan: Muat model dan program hanya dari sumber yang Anda percayai, dan periksa file-file tersebut. Unduhan yang dimanipulasi adalah risiko nyata.
  5. Operasi untuk pihak lain: Ketika orang lain mengakses model Anda, perlindungan akses, restart, dan pemantauan ditambahkan.

Mereka yang menyukainya bersenang-senang dan belajar banyak. Mereka yang hanya membutuhkan jawaban menganggapnya sebagai beban.

Kapan API ter-host adalah pilihan yang lebih baik

API masuk akal jika setidaknya salah satu pernyataan berikut benar:

  • Perangkat keras Anda tidak mendukung model yang diinginkan.
  • Anda menggunakannya jarang, dan pembelian tidak menguntungkan.
  • Aplikasi atau bot harus merespons dengan andal untuk sistem lain.
  • Anda membutuhkan jendela konteks yang panjang tanpa perlu meningkatkan memori.
  • Anda tidak ingin menghabiskan waktu untuk perawatan.

API kami menyediakan satu model bobot terbuka dari penyedia independen, yang disesuaikan untuk respons tanpa penolakan konten demi penggunaan sah oleh orang dewasa. Jendela konteks mencakup 100.000 token. Antarmukanya kompatibel dengan OpenAI; klien yang sama yang Anda gunakan secara lokal sering kali berfungsi dengan mengubah URL dasar. Antarmuka ini murni berbasis teks.

Biaya dibandingkan dengan perangkat keras sendiri

API dikenakan biaya $0,15 per 1M token input dan $0,50 per 1M token output, tanpa langganan. Contoh: 100 permintaan per hari, masing-masing 2.500 token input dan 500 token output, selama 30 hari.

  • Permintaan: 3.000
  • Input: 3.000 × 2.500 = 7,5 juta token × $0,15 = $1,125
  • Output: 3.000 × 500 = 1,5 juta token × $0,50 = $0,75
  • Total: $1,875 per bulan

Bandingkan dengan perhitungan Anda untuk kartu grafis yang sesuai, listrik, dan waktu Anda sendiri. Hitung sendiri pada titik waktu mana perangkat keras lokal akan terbayar dengan cakupan ini. Jika Anda memproses jutaan permintaan per hari, perhitungannya akan berbeda. Diskon volume dan pengisian saldo ($20 hingga $500, pembayaran via USDT pada TRC20 atau USDC pada Base) tersedia di halaman Harga. Permintaan yang gagal tidak dihitung, dan saldo tidak kadaluarsa.

Jalan tengah: uji secara lokal, gunakan API

Banyak yang menggunakan kedua jalur. Program untuk model lokal sering kali juga menyediakan endpoint yang kompatibel dengan OpenAI; kode Anda hanya perlu mengubah URL dasar. Alamat yang digunakan program Anda tercantum dalam dokumentasinya.

from openai import OpenAI

# Wechsel zwischen lokalem Endpunkt und API nur über die Basis-URL
client = OpenAI(
    base_url="https://api.unzensiertesllm.com/v1",
    api_key="DEIN_SCHLUESSEL",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Schreibe zwei Sätze über einen Hafen bei Nacht."}],
)
print(r.choices[0].message.content)

Untuk mencoba, Anda bisa mengambil $0,50 saldo uji coba di halaman Dapatkan kunci API setelah masuk: sekali per orang, berlaku 7 hari, tanpa data pembayaran. Opsi lain tersedia di Perbandingan AI tanpa sensor, dan detail teknis ada di Dokumentasi.

Batas berlaku di semua jalur: konten seksual yang melibatkan anak di bawah umur dilarang. Prompt tidak digunakan untuk pelatihan di pihak kami.

Panduan lainnya

Pertanyaan yang Sering Diajukan

Berapa banyak memori yang dibutuhkan model dengan 7 miliar parameter?

Bobot saja menempati sekitar 14 GB pada 16 bit, 7 GB pada 8 bit, dan 3,5 GB pada 4 bit. Konteks dan program ditambahkan.

Apakah setiap model lokal merespons tanpa penolakan?

Tidak. Perilaku bergantung pada varian masing-masing. Uji setiap versi baru dengan prompt pengujian Anda sendiri.

Berapa biaya API dibandingkan perangkat keras sendiri?

Dengan 100 permintaan per hari, 2.500 token input, dan 500 token output, biayanya adalah $1,875 per bulan. Anda harus menyusun perhitungan perangkat keras sendiri dengan angka Anda sendiri.

Bisakah saya menggunakan kode yang sama secara lokal dan melalui API?

Sering kali ya, karena keduanya dapat kompatibel dengan OpenAI. Anda mengubah Base URL, kunci, dan nama model.

Kunci Anda hanya satu klik jauhnya

Buat akun, salin kunci, sesuaikan URL dasar. Selesai.

Dapatkan kunci API