繁中 ▾

本地無審查 LLM:硬體、維護與替代方案

無審查的本地 LLM 讓您擁有完全的控制權,但需要硬體和維護。在此閱讀如何自行評估記憶體需求、日常維護內容,以及何時選擇 API 更划算。

無審查 AI:LLM API 與本地模型與雲端服務

更新於

配備顯示卡和 PCIe 通道的主機:本地模型或託管 API

重點

  • 記憶體需求可根據參數數量和權重位元寬度進行粗略計算。
  • 加上上下文、執行時程式和作業系統,請預留緩衝空間。
  • 維護工作:更新、模型切換、驅動程式以及檢查模型是否真的不會拒絕回答。
  • 對於不常使用或使用大型模型的場景,託管 API 通常是更簡單的解決方案。

可自行計算的記憶體需求

如果你想在本地運行無審查的 LLM,第一個問題是:這能裝進你的電腦嗎?模型權重的粗略估算公式是:參數數量乘以每個權重的位元組數。下方的數值為近似值。

模型大小16 位元(2 位元組)8 位元(1 位元組)4 位元(0.5 位元組)
70 億參數14 GB7 GB3.5 GB
130 億參數26 GB13 GB6.5 GB
700 億參數140 GB70 GB35 GB

這些僅是權重大小。此外還有隨著對話長度增長的上下文快取,以及程式的額外開銷。因此,你預留的空間應明顯多於表格所示。較低的位元寬度可以節省空間,但通常會犧牲一些品質。具體影響取決於模型,我們刻意不給出數字。

顯示卡、記憶體或兩者皆有

當模型完全載入圖形記憶體時,回應速度最快。若無法完全載入,程式會將部分資料移至主記憶體,此時速度會明顯下降。在 CPU 與 GPU 共用記憶體的電腦(例如許多搭載 Apple 晶片的筆記型電腦)上,限制在於總記憶體容量。

購買前請檢查以下事項:

  • 你實際想使用哪個模型,以及使用哪種量化格式?
  • 對話長度要多少?長上下文需要更多記憶體。
  • 你對每次回應的延遲接受度是多少?
  • 這台機器是僅供您使用,還是服務多個人?

我們不提供你配置下的具體每秒 token 數。請使用你的模型進行測量,因為來自其他測試的數值無法直接套用。

通常事先未規劃的維護工作

根據程式和先備知識,安裝通常很快完成。之後開始持續的工作:

  1. 模型選擇: 不斷出現新的變體。每個新版本都需要測試。
  2. 檢查拒絕行為: 並非所有被描述為無審查的模型都會回答您的主題。建立固定的測試提示詞列表,並用其檢查每個新變體。
  3. 更新: 執行時程式、驅動程式和模型格式會變更。更新可能會破壞設置。
  4. 安全性:僅從您信任的來源下載模型和程式,並檢查檔案。下載的檔案被篡改是真實的風險。
  5. 為他人運營: 一旦其他人要訪問您的模型,就需要訪問保護、重啟和監控。

喜歡的人會樂在其中並學到很多。只需要回答的人則會覺得這是負擔。

何時選擇託管 API 是更好的選擇

如果以下至少一項成立,API 是有意義的:

  • 您的硬體無法運行所需的模型。
  • 您很少使用它,購買不划算。
  • 應用程式或機器人需要為其他人可靠地回應。
  • 您需要長上下文視窗,但不想升級記憶體。
  • 您不想在維護上花費時間。

我們的 API 提供單一由獨立供應商提供的開放權重模型,針對合法成人用途進行最佳化,確保不會拒絕回答。上下文視窗涵蓋 100,000 個 token。介面與 OpenAI 相容;您本地使用的相同客戶端,通常只需修改 URL 即可運作。該介面僅支援文字。

與自有硬體的成本比較

API 費用為每 1M 輸入 token $0.15,每 1M 輸出 token $0.50,無訂閱。範例:每天 100 次請求,每次輸入 2,500 token,輸出 500 token,30 天。

  • 請求:3,000
  • 輸入:3,000 × 2,500 = 750 萬 token × $0.15 = $1.125
  • 輸出:3,000 × 500 = 150 萬 token × $0.50 = $0.75
  • 總計:每月 $1.875

請將此與適合的顯示卡、電力以及您自己的時間成本進行比較。自行計算在這種規模下,本地硬體需要運行多久才能攤提成本。如果您每天處理數百萬次請求,計算方式則有所不同。階梯折扣與儲值($20 至 $500,透過 TRC20 上的 USDT 或 Base 上的 USDC 支付)請見 價格頁面。失敗的請求不會計費,且額度不會過期。

折衷方案:本地測試,API 使用

許多人採用雙軌並行模式。本地模型的程式通常也會提供 OpenAI 相容的端點;您的程式碼只需更改 Base URL 即可。您的程式使用的位址請參考其文件說明。

from openai import OpenAI

# Wechsel zwischen lokalem Endpunkt und API nur über die Basis-URL
client = OpenAI(
    base_url="https://api.unzensiertesllm.com/v1",
    api_key="DEIN_SCHLUESSEL",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Schreibe zwei Sätze über einen Hafen bei Nacht."}],
)
print(r.choices[0].message.content)

若要試用,請在取得 API 金鑰頁面登入後領取 $0.50 測試額度:每人限領一次,有效期 7 天,無需提供付款資訊。更多選擇標準請見無審查 AI 比較,技術細節請見文件。

所有途徑均有一項限制:禁止涉及未成年人的性內容。我們的提示詞不會用於模型訓練。

更多指南

常見問題

70 億參數的模型需要多少儲存空間?

僅權重部分在 16 位元下約佔 14 GB,8 位元下約佔 7 GB,4 位元下約佔 3.5 GB。此外還需加上上下文與程式的空間。

每個本地模型都能無拒絕地回答嗎?

並非如此。行為取決於具體的變體版本。請使用您自己的測試提示詞來檢查每個新版本。

API 的成本與自有硬體相比如何?

若每天進行 100 次請求,輸入為 2,500 token,輸出為 500 token,則每月費用為 $1.875。硬體成本請根據您自己的數據進行計算。

我可以同時在本地和 API 上使用相同的程式碼嗎?

通常可以,因為兩者都可能與 OpenAI 相容。您只需更改 Base URL、金鑰和模型名稱。

您的金鑰只需點擊一次即可取得

建立帳戶、複製金鑰、調整 Base URL。完成。

取得 API 金鑰