无审查 LLM:本地部署还是 API 调用
你可以自行部署无审查 LLM 或作为托管 API 使用。选择哪种方式取决于五个标准:隐私、硬件、质量、可用性和成本。


要点
- 本地在数据主权和离线运行方面占优,API 在管理成本和模型规模方面占优。
- 关键在于你的使用模式:偶尔、定期或为他人提供服务。
- 使用 API 你只需为 token 付费:每 1M 输入 $0.15,每 1M 输出 $0.50。
- 混合运行很常见:本地用于实验,API 用于所有可靠任务。
快速决策
如果您寻找无审查的 LLM,可以参考以下经验法则:一旦您的硬件能够运行可用的模型且数据不应离开计算机,请尝试本地运行。如果您需要更大的模型、为其他用户提供可靠的回答或完全无需维护,请使用 API。
| 标准 | 本地 | 托管 API |
|---|---|---|
| 数据 | 保留在你的设备上 | 通过提供商运行 |
| 入门 | 安装,模型下载 | 密钥和 Base URL |
| 持续成本 | 电力,硬件磨损 | 按 token |
| 并发 | 受您的硬件限制 | 受提供商限制 |
| 维护 | 更新、驱动程序、模型更换由你负责 | 由提供商负责 |
| 可离线使用 | 是 | 否 |
"无审查"的技术含义
语言模型因训练方式而拒绝请求。开放权重模型有许多变体:基础模型、经过安全训练的指令模型以及经过后期调整、拒绝较少或完全不拒绝的版本。该术语并非标准。两个都被视为无审查的模型在行为和质量上可能有显著差异。
因此,不要只看标签,而要用您自己的提示词测试行为。日常生活中的十个典型任务比任何描述都更有说服力。这既适用于本地,也适用于 API。
标准 1 和 2:隐私和硬件
隐私。 本地运行时,提示词不会离开您的计算机。使用 API 时,文本会发送给提供商。请查看其隐私声明。在我们这里,提示词不会用于训练。对于高度敏感的数据,本地运行仍然是最安全的选项。
硬件。 存储需求取决于模型大小和量化方式。我们不提供固定数字,因为它们因模型和程序而异。经验法则是:模型越大,需要的图形或内存越多,而较小的模型通常会导致回答质量下降。具体程序的安装指南会列出特定模型的要求。长上下文会进一步增加需求。
标准 3 和 4:质量和可用性
质量。 它取决于模型,而不是运行方式。但 API 可以提供在您的计算机上无法运行的模型。我们的 API 使用独立提供商的单个开放权重模型,针对合法用途下由成年人使用时的不拒绝内容回答进行了调整。它既不是大厂的官方 API,也不是经过多个提供商的路由器。上下文窗口包含 100,000 个 token(提示词加回答)。
可用性。 本地模型在您的计算机运行时运行。如果要为其他人提供服务,则需要具有运维和监控的服务器。API 为此提供了限制:使用完整密钥时,支持 8 个并发请求和每分钟 300 个请求。我们在此不提供具体的可用性保证。
标准 5:成本,诚实计算
API 按 token 计费:输入每 1M $0.15,输出每 1M $0.50,无订阅费。三种使用模式:
| 模式 | 账单 | 月度成本 |
|---|---|---|
| 偶尔:每天 20 次请求,每次输入 2,000 token,输出 500 token | 600 次请求:120 万输入 × $0.15 = $0.18;30 万输出 × $0.50 = $0.15 | $0.33 |
| 定期:每天 200 次,每次输入 3,000 token,输出 600 token | 6,000 次请求:1,800 万输入 × $0.15 = $2.70;360 万输出 × $0.50 = $1.80 | $4.50 |
| 服务:每天 3,000 次,每次输入 3,000 token,输出 600 token | 90,000 次请求:2.7 亿输入 token × $0.15 = $40.50;5400 万输出 token × $0.50 = $27.00 | $67.50 |
本地运行需要购买设备、电力以及您的时间。将这些项目计入您自己的账单;使用量低时(第一行),API 账单较少,高负载时则值得与自有硬件进行比较。所有费率、阶梯奖励和最低充值金额($20 至 $500)请参阅价格页面。
尝试两种方案
API 测试免费:登录后(使用 Google 或带密码的电子邮件),在获取 API 密钥页面一次性领取 $0.50 测试额度,有效期 7 天,无需支付信息。调用:
from openai import OpenAI
client = OpenAI(base_url="https://api.unzensiertesllm.com/v1", api_key="DEIN_SCHLUESSEL")
aufgaben = [
"Schreibe die Gedanken eines Schurken in drei Sätzen.",
"Fasse den Plot einer düsteren Kurzgeschichte zusammen.",
]
for text in aufgaben:
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": text}],
)
print(r.choices[0].message.content, "\n---")让相同的任务通过您的本地模型运行,并比较语气、长度和拒绝回答的情况。更多背景信息请参阅无审查 AI 对比文章,参数说明见文档。
典型错误决策
- 在模型确定前购买硬件。 请先通过 API 或小模型测试,确认回答质量是否达标。只有在此基础上,采购才值得。
- 仅关注 token 单价。 电费、设置时间和停机时间属于本地方式的成本。
- 不要轻信标签。 “无审查”的标签并不能保证质量或您在任务中的良好表现。
- 低估上下文窗口。 长对话或文档需要更大的上下文窗口。本地部署时,内存需求随上下文窗口增长;API 方面,由于每次请求都将历史记录作为输入,账单会相应增加。
- 隐私保护考虑不周。 本地模型通常也会将聊天记录保存到文件中。请像对待其他敏感文件一样对其进行备份。
如果您不确定,可以从免费测试额度开始,一周后根据实际数据而非预期做出决定。
适用于所有方案的限制
我们的服务仅提供文本:无图像、无音频、无嵌入向量、无微调。一律禁止涉及未成年人的性内容,专为成年人合法用途设计。支付方式为 TRC20 网络上的 USDT 或 Base 网络上的 USDC。
更多指南
常见问题
无审查语言模型合法吗?
模型本身是可用的,关键在于您如何使用它们。使用必须合法;禁止涉及未成年人的性内容。这不构成法律建议。
普通电脑能运行本地模型吗?
对于小模型通常可以,对于大模型则不行。需求取决于模型大小和量化方式;请查看相应软件的具体说明。
低使用量下 API 费用是多少?
每天 20 次请求,输入 2,000 token,输出 500 token,每月费用约为 $0.33。
我可以同时使用本地和 API 吗?
可以。许多用户本地测试,并使用 API 处理需要可靠运行或需要更大模型的任务。