JA ▾

検閲なしのローカルLLM:ハードウェア、保守、代替案

検閲のないローカルLLMは完全な制御を提供しますが、ハードウェアとメンテナンスが必要です。ストレージ要件を自分で見積もる方法、日常の運用コスト、そしてAPIの方が有益となる時期についてはこちらをご覧ください。

検閲なしAI:LLM API vs ローカルモデル vs クラウドサービス

更新日:

GPUとPCIeスロットを備えたPCをサーバーに:ローカルモデルかホスト型APIか

重要ポイント

  • メモリ需要はパラメータ数と重みのビット幅から概算できます。
  • コンテキスト、ランタイム、OSが加算されます。余裕を持って計画してください。
  • 保守負荷:アップデート、モデル変更、ドライバー、そしてモデルが本当に拒否しない(=検閲がない)ことの確認。
  • 使用頻度が低い場合や大規模モデルの場合、ホスト型APIの方が簡単な解決策となることが多いです。

自己計算用のストレージ要件

検閲なしのローカルLLMを運用したい人は、まず「自分のPCに収まるか」を確認します。モデルの重みには大まかな計算式があります:パラメータ数 × 重みあたりのバイト数。以下の数値は概算値です。

モデルサイズ16ビット(2バイト)8ビット(1バイト)4ビット(0.5バイト)
70億パラメータ14 GB7 GB3.5 GB
130億パラメータ26 GB13 GB6.5 GB
700億パラメータ140 GB70 GB35 GB

これらは重みだけの数値です。会話の長さが増えるにつれて増えるコンテキスト用バッファと、プログラムのオーバーヘッドが加算されます。したがって、表に示される数値よりも明らかに多くの容量を計画してください。ビット幅を下げると容量は節約できますが、品質が低下することが多くあります。その程度はモデルに依存するため、あえて数値は示しません。

GPU、RAM、または両方

モデルが完全にVRAMに収まる場合、応答速度は最速になります。収まらない場合、プログラムはRAMに一部をオフロードでき、速度は大幅に低下します。CPUとGPUが共有メモリを持つPC(Appleチップ搭載ラップトップなど)では、総メモリ量が制限となります。

購入前に以下を確認してください:

  • 実際に使用するモデルと、その量子化レベルは何ですか?
  • 会話はどれくらい長くする予定ですか?長いコンテキストにはより多くのメモリが必要です。
  • 1つの応答あたりの許容待ち時間はどのくらいですか?
  • そのマシンはあなた専用の使用ですか、それとも複数人で共用しますか?

構成に応じた具体的なトークン/秒の数値は示しません。独自のモデルで測定してください。他者のテスト値は転用できないためです。

通常は計画されない保守負荷

プログラムや前提知識によってはインストールはすぐに完了することが多いです。その後が継続的な作業となります:

  1. モデル選択: 新しいバリエーションが次々と登場します。新しいバージョンはすべてテストが必要です。
  2. 拒否応答の動作確認: 「検閲なし」と説明されるモデルでも、あなたのトピックに応答するとは限りません。テストプロンプトの固定リストを作成し、それを使って新しいバリエーションごとに確認してください。
  3. アップデート: ランタイム、ドライバー、モデルフォーマットは変化します。アップデートでセットアップが壊れる可能性があります。
  4. セキュリティ: モデルとプログラムは信頼できるソースからのみダウンロードし、ファイルを確認してください。改ざんされたダウンロードは現実的なリスクです。
  5. 他者への運用: 他の人があなたのモデルにアクセスする場合、アクセス制御、再起動、監視が加わります。

これを好む人は楽しめ、多くのことを学べます。応答だけが必要な人は、これを負担と感じます。

ホスト型APIがより良い選択となるタイミング

以下のいずれかに該当する場合、APIが有益です:

  • あなたのハードウェアが希望のモデルをサポートしていない。
  • 使用頻度が低く、購入の価値がない。
  • アプリケーションやボットが他者に対して確実に応答する必要がある。
  • メモリをアップグレードせずに長いコンテキストウィンドウが必要。
  • 保守に時間をかけたくない。

当APIは、成人による合法的な利用に適したコンテンツ拒否のない応答に最適化された、独立系ベンダーの単一オープンウェイトモデルを提供します。コンテキストウィンドウは10万トークンをサポートします。インターフェースはOpenAI互換であり、ローカルで使用するのと同じクライアントが、ベースURLの変更だけで機能することがよくあります。テキストベースのみです。

自前ハードウェアとのコスト比較

API料金は、入力トークン1Mあたり$0.15、出力トークン1Mあたり$0.50で、サブスクリプションはありません。例:1日100リクエスト、入力2,500トークン、出力500トークン、30日間。

  • リクエスト数:3,000
  • 入力: 3,000 × 2,500 = 750万トークン × $0.15 = $1.125
  • 出力: 3,000 × 500 = 150万トークン × $0.50 = $0.75
  • 合計: 月 $1.875

適切なGPU、電力、そしてあなたの時間を費やすコストと比較してください。この規模でローカルハードウェアが元を取るまでの稼働時間を自分で計算してください。一方で、1日あたり数百万件のリクエストを処理する場合は、計算が異なります。階層ボーナスとチャージ($20〜$500、USDTによるTRC20またはUSDCによるBaseでの支払い)は価格ページをご覧ください。失敗したリクエストは課金されず、クレジットは期限切れになりません。

中庸の道:ローカルでテストし、APIを利用する

多くのユーザーは両方を併用しています。ローカルモデル用のプログラムは、多くの場合OpenAI互換のエンドポイントも提供します。コードではベースURLを変更するだけで済みます。プログラムがどのアドレスを使用するかは、それぞれのドキュメントに記載されています。

from openai import OpenAI

# Wechsel zwischen lokalem Endpunkt und API nur über die Basis-URL
client = OpenAI(
    base_url="https://api.unzensiertesllm.com/v1",
    api_key="DEIN_SCHLUESSEL",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Schreibe zwei Sätze über einen Hafen bei Nacht."}],
)
print(r.choices[0].message.content)

試すには、APIキーを取得ページでログイン後に$0.50のテストクレジットを受け取ってください。1回限り、1人あたり、7日間有効、支払い情報不要です。その他の選択基準は無検閲AI比較が提供し、技術的な詳細はドキュメントが提供しています。

制限は常に適用されます:未成年者との性的なコンテンツは禁止されています。プロンプトはトレーニングには使用されません。

その他のガイド

よくある質問

70億パラメータのモデルにはどのくらいのストレージが必要ですか?

重みだけでも、16ビットで約14GB、8ビットで7GB、4ビットで3.5GBを占めます。コンテキストとプログラムが加算されます。

すべてのローカルモデルは拒否応答なしで応答しますか?

いいえ。動作は各バリエーションに依存します。新しいバージョンは独自のテストプロンプトで確認してください。

APIは独自ハードウェアと比較してどのくらいコストがかかりますか?

1日100リクエスト、入力2,500トークン、出力500トークンの場合、月額は$1.875です。ハードウェアのコスト計算は、あなた自身の数字で行ってください。

同じコードをローカルとAPIの両方で使用できますか?

多くの場合可能です。両方がOpenAI互換であるためです。ベースURL、キー、モデル名を変更します。

キーはワンクリックで入手可能

アカウント作成、キーのコピー、ベースURLの変更。これだけです。

APIキーを取得