本地無審查 LLM:硬體、維護與替代方案
無審查的本地 LLM 讓您擁有完全的控制權,但需要硬體和維護。在此閱讀如何自行評估記憶體需求、日常維護內容,以及何時選擇 API 更划算。


重點
- 記憶體需求可根據參數數量和權重位元寬度進行粗略計算。
- 加上上下文、執行時程式和作業系統,請預留緩衝空間。
- 維護工作:更新、模型切換、驅動程式以及檢查模型是否真的不會拒絕回答。
- 對於不常使用或使用大型模型的場景,託管 API 通常是更簡單的解決方案。
可自行計算的記憶體需求
如果你想在本地運行無審查的 LLM,第一個問題是:這能裝進你的電腦嗎?模型權重的粗略估算公式是:參數數量乘以每個權重的位元組數。下方的數值為近似值。
| 模型大小 | 16 位元(2 位元組) | 8 位元(1 位元組) | 4 位元(0.5 位元組) |
|---|---|---|---|
| 70 億參數 | 14 GB | 7 GB | 3.5 GB |
| 130 億參數 | 26 GB | 13 GB | 6.5 GB |
| 700 億參數 | 140 GB | 70 GB | 35 GB |
這些僅是權重大小。此外還有隨著對話長度增長的上下文快取,以及程式的額外開銷。因此,你預留的空間應明顯多於表格所示。較低的位元寬度可以節省空間,但通常會犧牲一些品質。具體影響取決於模型,我們刻意不給出數字。
顯示卡、記憶體或兩者皆有
當模型完全載入圖形記憶體時,回應速度最快。若無法完全載入,程式會將部分資料移至主記憶體,此時速度會明顯下降。在 CPU 與 GPU 共用記憶體的電腦(例如許多搭載 Apple 晶片的筆記型電腦)上,限制在於總記憶體容量。
購買前請檢查以下事項:
- 你實際想使用哪個模型,以及使用哪種量化格式?
- 對話長度要多少?長上下文需要更多記憶體。
- 你對每次回應的延遲接受度是多少?
- 這台機器是僅供您使用,還是服務多個人?
我們不提供你配置下的具體每秒 token 數。請使用你的模型進行測量,因為來自其他測試的數值無法直接套用。
通常事先未規劃的維護工作
根據程式和先備知識,安裝通常很快完成。之後開始持續的工作:
- 模型選擇: 不斷出現新的變體。每個新版本都需要測試。
- 檢查拒絕行為: 並非所有被描述為無審查的模型都會回答您的主題。建立固定的測試提示詞列表,並用其檢查每個新變體。
- 更新: 執行時程式、驅動程式和模型格式會變更。更新可能會破壞設置。
- 安全性:僅從您信任的來源下載模型和程式,並檢查檔案。下載的檔案被篡改是真實的風險。
- 為他人運營: 一旦其他人要訪問您的模型,就需要訪問保護、重啟和監控。
喜歡的人會樂在其中並學到很多。只需要回答的人則會覺得這是負擔。
何時選擇託管 API 是更好的選擇
如果以下至少一項成立,API 是有意義的:
- 您的硬體無法運行所需的模型。
- 您很少使用它,購買不划算。
- 應用程式或機器人需要為其他人可靠地回應。
- 您需要長上下文視窗,但不想升級記憶體。
- 您不想在維護上花費時間。
我們的 API 提供單一由獨立供應商提供的開放權重模型,針對合法成人用途進行最佳化,確保不會拒絕回答。上下文視窗涵蓋 100,000 個 token。介面與 OpenAI 相容;您本地使用的相同客戶端,通常只需修改 URL 即可運作。該介面僅支援文字。
與自有硬體的成本比較
API 費用為每 1M 輸入 token $0.15,每 1M 輸出 token $0.50,無訂閱。範例:每天 100 次請求,每次輸入 2,500 token,輸出 500 token,30 天。
- 請求:3,000
- 輸入:3,000 × 2,500 = 750 萬 token × $0.15 = $1.125
- 輸出:3,000 × 500 = 150 萬 token × $0.50 = $0.75
- 總計:每月 $1.875
請將此與適合的顯示卡、電力以及您自己的時間成本進行比較。自行計算在這種規模下,本地硬體需要運行多久才能攤提成本。如果您每天處理數百萬次請求,計算方式則有所不同。階梯折扣與儲值($20 至 $500,透過 TRC20 上的 USDT 或 Base 上的 USDC 支付)請見 價格頁面。失敗的請求不會計費,且額度不會過期。
折衷方案:本地測試,API 使用
許多人採用雙軌並行模式。本地模型的程式通常也會提供 OpenAI 相容的端點;您的程式碼只需更改 Base URL 即可。您的程式使用的位址請參考其文件說明。
from openai import OpenAI
# Wechsel zwischen lokalem Endpunkt und API nur über die Basis-URL
client = OpenAI(
base_url="https://api.unzensiertesllm.com/v1",
api_key="DEIN_SCHLUESSEL",
)
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Schreibe zwei Sätze über einen Hafen bei Nacht."}],
)
print(r.choices[0].message.content)若要試用,請在取得 API 金鑰頁面登入後領取 $0.50 測試額度:每人限領一次,有效期 7 天,無需提供付款資訊。更多選擇標準請見無審查 AI 比較,技術細節請見文件。
所有途徑均有一項限制:禁止涉及未成年人的性內容。我們的提示詞不會用於模型訓練。
更多指南
常見問題
70 億參數的模型需要多少儲存空間?
僅權重部分在 16 位元下約佔 14 GB,8 位元下約佔 7 GB,4 位元下約佔 3.5 GB。此外還需加上上下文與程式的空間。
每個本地模型都能無拒絕地回答嗎?
並非如此。行為取決於具體的變體版本。請使用您自己的測試提示詞來檢查每個新版本。
API 的成本與自有硬體相比如何?
若每天進行 100 次請求,輸入為 2,500 token,輸出為 500 token,則每月費用為 $1.875。硬體成本請根據您自己的數據進行計算。
我可以同時在本地和 API 上使用相同的程式碼嗎?
通常可以,因為兩者都可能與 OpenAI 相容。您只需更改 Base URL、金鑰和模型名稱。