中文 ▾

无审查 LLM:本地部署还是 API 调用

你可以自行部署无审查 LLM 或作为托管 API 使用。选择哪种方式取决于五个标准:隐私、硬件、质量、可用性和成本。

无审查 AI:LLM API 与本地模型与云服务

更新于

本地计算机与云端服务器之间的平衡:本地运行或通过 API 使用无审查的 LLM

要点

  • 本地在数据主权和离线运行方面占优,API 在管理成本和模型规模方面占优。
  • 关键在于你的使用模式:偶尔、定期或为他人提供服务。
  • 使用 API 你只需为 token 付费:每 1M 输入 $0.15,每 1M 输出 $0.50。
  • 混合运行很常见:本地用于实验,API 用于所有可靠任务。

快速决策

如果您寻找无审查的 LLM,可以参考以下经验法则:一旦您的硬件能够运行可用的模型且数据不应离开计算机,请尝试本地运行。如果您需要更大的模型、为其他用户提供可靠的回答或完全无需维护,请使用 API。

标准本地托管 API
数据保留在你的设备上通过提供商运行
入门安装,模型下载密钥和 Base URL
持续成本电力,硬件磨损按 token
并发受您的硬件限制受提供商限制
维护更新、驱动程序、模型更换由你负责由提供商负责
可离线使用是否

"无审查"的技术含义

语言模型因训练方式而拒绝请求。开放权重模型有许多变体:基础模型、经过安全训练的指令模型以及经过后期调整、拒绝较少或完全不拒绝的版本。该术语并非标准。两个都被视为无审查的模型在行为和质量上可能有显著差异。

因此,不要只看标签,而要用您自己的提示词测试行为。日常生活中的十个典型任务比任何描述都更有说服力。这既适用于本地,也适用于 API。

标准 1 和 2:隐私和硬件

隐私。 本地运行时,提示词不会离开您的计算机。使用 API 时,文本会发送给提供商。请查看其隐私声明。在我们这里,提示词不会用于训练。对于高度敏感的数据,本地运行仍然是最安全的选项。

硬件。 存储需求取决于模型大小和量化方式。我们不提供固定数字,因为它们因模型和程序而异。经验法则是:模型越大,需要的图形或内存越多,而较小的模型通常会导致回答质量下降。具体程序的安装指南会列出特定模型的要求。长上下文会进一步增加需求。

标准 3 和 4:质量和可用性

质量。 它取决于模型,而不是运行方式。但 API 可以提供在您的计算机上无法运行的模型。我们的 API 使用独立提供商的单个开放权重模型,针对合法用途下由成年人使用时的不拒绝内容回答进行了调整。它既不是大厂的官方 API,也不是经过多个提供商的路由器。上下文窗口包含 100,000 个 token(提示词加回答)。

可用性。 本地模型在您的计算机运行时运行。如果要为其他人提供服务,则需要具有运维和监控的服务器。API 为此提供了限制:使用完整密钥时,支持 8 个并发请求和每分钟 300 个请求。我们在此不提供具体的可用性保证。

标准 5:成本,诚实计算

API 按 token 计费:输入每 1M $0.15,输出每 1M $0.50,无订阅费。三种使用模式:

模式账单月度成本
偶尔:每天 20 次请求,每次输入 2,000 token,输出 500 token600 次请求:120 万输入 × $0.15 = $0.18;30 万输出 × $0.50 = $0.15$0.33
定期:每天 200 次,每次输入 3,000 token,输出 600 token6,000 次请求:1,800 万输入 × $0.15 = $2.70;360 万输出 × $0.50 = $1.80$4.50
服务:每天 3,000 次,每次输入 3,000 token,输出 600 token90,000 次请求:2.7 亿输入 token × $0.15 = $40.50;5400 万输出 token × $0.50 = $27.00$67.50

本地运行需要购买设备、电力以及您的时间。将这些项目计入您自己的账单;使用量低时(第一行),API 账单较少,高负载时则值得与自有硬件进行比较。所有费率、阶梯奖励和最低充值金额($20 至 $500)请参阅价格页面。

尝试两种方案

API 测试免费:登录后(使用 Google 或带密码的电子邮件),在获取 API 密钥页面一次性领取 $0.50 测试额度,有效期 7 天,无需支付信息。调用:

from openai import OpenAI

client = OpenAI(base_url="https://api.unzensiertesllm.com/v1", api_key="DEIN_SCHLUESSEL")

aufgaben = [
    "Schreibe die Gedanken eines Schurken in drei Sätzen.",
    "Fasse den Plot einer düsteren Kurzgeschichte zusammen.",
]
for text in aufgaben:
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": text}],
    )
    print(r.choices[0].message.content, "\n---")

让相同的任务通过您的本地模型运行,并比较语气、长度和拒绝回答的情况。更多背景信息请参阅无审查 AI 对比文章,参数说明见文档。

典型错误决策

  • 在模型确定前购买硬件。 请先通过 API 或小模型测试,确认回答质量是否达标。只有在此基础上,采购才值得。
  • 仅关注 token 单价。 电费、设置时间和停机时间属于本地方式的成本。
  • 不要轻信标签。 “无审查”的标签并不能保证质量或您在任务中的良好表现。
  • 低估上下文窗口。 长对话或文档需要更大的上下文窗口。本地部署时,内存需求随上下文窗口增长;API 方面,由于每次请求都将历史记录作为输入,账单会相应增加。
  • 隐私保护考虑不周。 本地模型通常也会将聊天记录保存到文件中。请像对待其他敏感文件一样对其进行备份。

如果您不确定,可以从免费测试额度开始,一周后根据实际数据而非预期做出决定。

适用于所有方案的限制

我们的服务仅提供文本:无图像、无音频、无嵌入向量、无微调。一律禁止涉及未成年人的性内容,专为成年人合法用途设计。支付方式为 TRC20 网络上的 USDT 或 Base 网络上的 USDC。

更多指南

常见问题

无审查语言模型合法吗?

模型本身是可用的,关键在于您如何使用它们。使用必须合法;禁止涉及未成年人的性内容。这不构成法律建议。

普通电脑能运行本地模型吗?

对于小模型通常可以,对于大模型则不行。需求取决于模型大小和量化方式;请查看相应软件的具体说明。

低使用量下 API 费用是多少?

每天 20 次请求,输入 2,000 token,输出 500 token,每月费用约为 $0.33。

我可以同时使用本地和 API 吗?

可以。许多用户本地测试,并使用 API 处理需要可靠运行或需要更大模型的任务。

您的密钥只需点击一下即可获取

创建账户,复制密钥,调整 Base URL。完成。

获取 API 密钥