繁中 ▾

無審查 LLM:選擇本地或 API

您可以自行部署無審查 LLM 或作為託管 API 使用。哪種方式適合取決於五個標準:數據隱私、硬體、品質、可用性與成本。

無審查 AI:LLM API 對比 本地模型 對比 雲端服務

更新於

本地電腦與雲端伺服器之間的平衡:無審查 LLM 的本地或 API 選擇

重點

  • 本地部署在資料主權與離線運作上勝出,API 則在投入成本與模型規模上佔優。
  • 關鍵在於您的使用模式:偶爾、定期或作為面向他人的服務。
  • API 僅按 token 計費:每 1M 輸入 $0.15,每 1M 輸出 $0.50。
  • 混合運行很常見:本地用於實驗,API 用於所有穩定需求。

快速決策

如果您在尋找無審查的 LLM,這是一條經驗法則:當您的硬體能承載一個可用的模型,且資料不希望離開電腦時,請在本地進行實驗。如果您想要更大的模型、為其他使用者提供可靠的回答,或者完全不想維護,請使用 API。

標準本地託管 API
數據保留在您的裝置上經過供應商運行
入門安裝、模型下載金鑰與 Base URL
持續成本電力、硬體磨損每個 token
並行請求受您的硬體限制受供應商限制
維護更新、驅動程式、模型更換由您負責由供應商負責
可離線使用是否

"無審查"的技術含義

語言模型會因為訓練方式而拒絕請求。開放模型有許多變體:基礎模型、經過安全訓練的指令模型,以及經過微調後拒絕較少或完全不拒絕的版本。這個詞並非標準。兩個都被視為無審查的模型,在行為和品質上可能有顯著差異。

因此,請始終檢查行為而非標籤。您日常生活中的十個典型任務比任何描述都更有說服力。這適用於本地與 API。

標準 1 與 2:數據隱私與硬體

數據保護。 本地運行時,提示詞不會離開您的電腦。使用 API 時,文字會傳送至供應商。請檢查其隱私權聲明。我們不會將提示詞用於訓練。對於高度敏感的資料,本地運行仍然是最安全的選項。

硬體。 記憶體需求取決於模型大小和量化程度。我們不給出固定數字,因為它們因模型和程式而異。一般來說:模型越大,所需的圖形記憶體或工作記憶體就越多,而使用較小的模型通常會降低回答品質。該程式的說明文件會列出特定模型的需求。長上下文會進一步增加需求。

標準 3 與 4:品質與可用性

品質。 取決於模型,而非運行方式。API 可以提供您的電腦無法運行的模型。我們的 API 使用來自獨立供應商的單一開放權重模型,針對合法成人用戶的無拒絕回答進行了調整。它不是大型廠商的官方 API,也不是跨供應商的路由器。上下文視窗為 100,000 token(提示詞加回答)。

可用性。 只要您的電腦運行,本地模型就會運行。若要為他人提供服務,您需要帶有運行和監控的伺服器。API 提供以下限制:完整金鑰允許 8 個並行請求和每分鐘 300 個請求。我們不對可用性做出具體承諾。

第 5 項標準:成本,實打實計算

API 按 token 計費:每 1M 輸入 $0.15,每 1M 輸出 $0.50,無訂閱費。三種使用模式:

模式帳單月度成本
偶爾:每天 20 次請求,每次輸入 2,000 token,輸出 500 token600 次請求:1.2 百萬輸入 × $0.15 = $0.18;0.3 百萬輸出 × $0.50 = $0.15$0.33
定期:每天 200 次,每次輸入 3,000 token,輸出 600 token6,000 次請求:1,800 萬個輸入 token × $0.15 = $2.70;360 萬個輸出 token × $0.50 = $1.80$4.50
服務:每日 3,000 次,每次輸入 3,000 token,輸出 600 token90,000 次請求:2.7 億個輸入 token × $0.15 = $40.50;5,400 萬個輸出 token × $0.50 = $27.00$67.50

本地部署則需考慮硬體採購、電費與您的時間成本。請將這些項目納入您的計算;若使用量較低(第一行),API 費用較低;若長期高負載運行,則建議與自有硬體進行比較。所有費率、階梯優惠與最低儲值金額($20 至 $500)請見價格頁面。

兩種方式都試試

API 測試免費:完成登入(使用 Google 或電子郵件與密碼)後,前往獲取 API 金鑰頁面即可一次性領取 $0.50 測試額度,有效期 7 天,無需綁定付款方式。呼叫範例:

from openai import OpenAI

client = OpenAI(base_url="https://api.unzensiertesllm.com/v1", api_key="DEIN_SCHLUESSEL")

aufgaben = [
    "Schreibe die Gedanken eines Schurken in drei Sätzen.",
    "Fasse den Plot einer düsteren Kurzgeschichte zusammen.",
]
for text in aufgaben:
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": text}],
    )
    print(r.choices[0].message.content, "\n---")

讓相同的任務由您的本地模型處理,並比較語氣、長度與拒絕行為。更多背景資訊請見無審查 AI 比較一文,參數說明請見文件。

常見錯誤決策

  • 模型未確定前就購買硬體。 請先透過 API 或小模型測試,確認輸出品質是否足夠,之後再考慮採購。
  • 只看每個 token 的價格。 電費、設定時間與故障風險都屬於本地部署的成本。
  • 不要輕信標籤。 「無審查」的標籤並不保證品質或在您的任務中的良好表現。
  • 低估上下文。 長對話或文件需要大的上下文視窗。本地運行時,記憶體需求會隨上下文增加;使用 API 時,帳單會增加,因為每次都會將整個歷程作為輸入計算。
  • 數據保護只想到一半。 即使是本地模型,也經常將聊天歷程儲存為檔案。請像保護其他敏感檔案一樣備份這些檔案。

若感到不確定,可先從免費測試額度開始,並在一週後根據實際數據而非預期來做出決定。

兩種方式都適用的限制

我們的服務僅提供文字:不含圖片、音訊、Embeddings 或微調(Fine-Tuning)。禁止涉及未成年人的性內容,服務適用於成年人合法用途。付款方式為 TRC20 網路的 USDT 或 Base 網路的 USDC。

更多指南

常見問題

無審查語言模型合法嗎?

模型本身是可取得的,關鍵在於您如何使用。使用必須合法;禁止涉及未成年人的性內容。此非法律建議。

一般電腦足以運行本地模型嗎?

小型模型通常可以,大型模型則否。需求取決於模型大小與量化方式;請檢查該軟體的規格說明。

低使用量下 API 費用多少?

若每日 20 次請求,輸入 2,000 個 token,輸出 500 個 token,每月費用約為 $0.33。

我可以同時使用本地與 API 嗎?

可以。許多使用者會先在本地測試,並使用 API 來處理需要穩定運行或需要更大模型的任務。

您的金鑰只需點擊一次即可取得

建立帳戶、複製金鑰、調整 Base URL。完成。

獲取 API 金鑰