中文 ▾

本地无审查 LLM:硬件、维护与替代方案

本地无审查 LLM 让您拥有完全控制权,但需要硬件和维护。在此了解如何自行估算存储需求、日常产生的工作以及何时 API 更划算。

无审查 AI:LLM API 对比 本地模型 对比 云服务

更新于

带显卡和 PCIe 的家用电脑作为服务器:本地模型还是托管 API

要点

  • 存储需求可根据参数量和权重位宽粗略计算。
  • 加上上下文、运行时程序和操作系统,请预留余量。
  • 维护工作:更新、模型切换、驱动程序以及验证模型是否真的不拒绝。
  • 对于低频使用或大型模型,托管 API 通常是更简单的解决方案。

自行计算所需的存储需求

运行本地无审查 LLM 的用户首先会问:我的电脑能装下吗?模型权重的粗略估算公式为:参数量乘以每个权重的字节数。以下数值为近似值。

模型大小16 位(2 字节)8 位(1 字节)4 位(0.5 字节)
70 亿参数14 GB7 GB3.5 GB
130 亿参数26 GB13 GB6.5 GB
700 亿参数140 GB70 GB35 GB

这只是权重。加上随对话长度增长的上下文缓存以及程序开销。因此,预留空间应明显多于表格所示。较低的位宽节省空间,但通常会损失一些质量。具体影响取决于模型,我们故意未提供具体数值。

显卡、内存或两者兼有

如果模型完全在显存中运行,响应速度最快。如果放不下,程序可以将部分数据卸载到内存,速度会明显下降。在 CPU 和 GPU 共享内存的电脑(如许多配备 Apple 芯片的笔记本电脑)上,限制在于总内存。

购买前请检查以下内容:

  • 您实际想使用哪个模型,以及哪种量化格式?
  • 对话需要多长?长上下文需要更多内存。
  • 您对每次回答的等待时间接受度是多少?
  • 这台机器是仅供您使用,还是供多人使用?

我们不提供针对您配置的具体每秒 token 数。请使用您的模型进行测量,因为来自其他测试的数据无法直接迁移。

通常事前很少计划好的维护工作

根据程序和已有知识,安装通常很快完成。之后开始持续工作:

  1. 模型选择: 新变体不断出现。每个新版本都需要测试。
  2. 检查拒绝行为: 并非所有描述为无审查的模型都会回答您的主题。建立固定的测试提示词列表,并用其验证每个新变体。
  3. 更新: 运行时程序、驱动程序和模型格式会发生变化。更新可能会破坏配置。
  4. 安全性: 仅从您信任的来源下载模型和程序,并检查文件。篡改的下载是一个真实的风险。
  5. 为他人运营: 一旦其他人要访问您的模型,就需要增加访问保护、重启和监控。

喜欢这样做的人乐在其中并学到很多。只需要回答的人则将其视为负担。

托管 API 何时是更好的选择

如果至少满足以下一条,API 是有意义的:

  • 您的硬件无法承载所需的模型。
  • 您很少使用它,购买硬件不划算。
  • 应用程序或机器人需要为其他人可靠地响应。
  • 您需要长上下文窗口,但不想升级显存。
  • 您不想在维护上花费时间。

我们的 API 提供来自独立供应商的单个开放权重模型,针对合法成人使用进行了优化,确保不进行内容拒绝。上下文窗口为 100,000 token。接口兼容 OpenAI;您本地使用的客户端在更改 Base URL 后通常也能工作。它仅支持文本。

与自有硬件的成本对比

API 费用为每 1M 输入 token $0.15,每 1M 输出 token $0.50,无订阅费。示例:每天 100 次请求,每次输入 2,500 token,输出 500 token,30 天。

  • 请求数:3,000
  • 输入:3,000 × 2,500 = 750 万 token × $0.15 = $1.125
  • 输出:3,000 × 500 = 150 万 token × $0.50 = $0.75
  • 总计:每月 $1.875

将其与您的显卡、电力和人工成本进行对比。自行计算在何种使用时长下,本地硬件能收回成本。如果您每天处理数百万次请求,计算方式则不同。阶梯优惠和充值($20 至 $500,支持通过 TRC20 支付 USDT 或在 Base 链上支付 USDC)详见价格页面。失败的请求不计费,且额度不会过期。

折中方案:本地测试,API 使用

许多人采用双轨制。本地模型的程序通常也提供 OpenAI 兼容的接口;您的代码只需更改 Base URL 即可。您的程序使用哪个地址,请参阅其文档。

from openai import OpenAI

# Wechsel zwischen lokalem Endpunkt und API nur über die Basis-URL
client = OpenAI(
    base_url="https://api.unzensiertesllm.com/v1",
    api_key="DEIN_SCHLUESSEL",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Schreibe zwei Sätze über einen Hafen bei Nacht."}],
)
print(r.choices[0].message.content)

要试用,请在获取 API 密钥页面,登录后领取 $0.50 免费试用额度:每人限领一次,有效期 7 天,无需支付信息。更多选择标准请参阅无审查 AI 对比,技术细节见文档。

所有路径均有一条限制:禁止涉及未成年人的性内容。我们的提示词不用于训练。

更多指南

常见问题

拥有 70 亿参数的模型需要多少存储?

仅权重在 16 位时占用约 14 GB,8 位时占用 7 GB,4 位时占用 3.5 GB。还需加上上下文和程序占用的空间。

每个本地模型都不会拒绝回答吗?

不会。行为取决于具体变体。请使用您自己的测试提示词检查每个新版本。

API 的成本与自有硬件相比如何?

每天 100 次请求,输入 2.500 token,输出 500 token,每月费用为 $1.875。您需要用自己的数据来计算硬件成本。

我可以在本地和通过 API 使用相同的代码吗?

通常可以,因为两者都可能是 OpenAI 兼容的。您只需更改 Base URL、密钥和模型名称。

你的密钥只需点击一下即可获得

创建账户,复制密钥,调整 Base URL。就这样。

获取 API 密钥