RU ▾

Локальная LLM без цензуры: железо, обслуживание, альтернатива

Локальная LLM без цензуры дает вам полный контроль, но требует оборудования и обслуживания. Здесь вы узнаете, как самостоятельно оценить потребность в памяти, какие задачи возникают в повседневной работе и когда API становится более выгодным.

ИИ без цензуры: LLM API против локальных моделей и облачных сервисов

Обновлено

Домашний компьютер с видеокартой и быстрым каналом связи как сервер: локальная модель или хостинг API

Ключевые моменты

  • Потребность в памяти можно грубо оценить по количеству параметров и разрядности весов.
  • К ним добавляются контекст, runtime и операционная система; предусмотрите запас.
  • Затраты на обслуживание: обновления, смена моделей, драйверы и проверка того, действительно ли модель не отказывает.
  • При редком использовании или для больших моделей хостинг API часто является более простым решением.

Расчет потребности в памяти

Тем, кто хочет запустить локальную модель без цензуры, первым делом интересно: влезет ли она в мой компьютер? Для весов модели есть грубая формула: количество параметров умножить на количество байт на вес. Приведённые ниже значения — приблизительные.

Размер модели16 бит (2 байта)8 бит (1 байт)4 бита (0,5 байта)
7 млрд параметров14 ГБ7 ГБ3,5 ГБ
13 млрд параметров26 ГБ13 ГБ6,5 ГБ
70 млрд параметров140 ГБ70 ГБ35 ГБ

Это только веса. К ним добавляется кэш контекста, который растет вместе с длиной диалога, и накладные расходы программы. Поэтому закладывайте заметно больше места, чем показывает таблица. Меньшая разрядность экономит место, но часто стоит немного качества. Насколько сильно — зависит от модели, и мы сознательно не приводим цифры.

Видеокарта, оперативная память или то и другое

Если модель полностью работает в видеопамяти, она отвечает быстрее всего. Если она не помещается, программы могут выгружать части в оперативную память, тогда скорость значительно падает. На компьютерах с общей памятью для CPU и GPU (например, многие ноутбуки с чипами Apple) лимитом является общая память.

Проверьте следующее перед покупкой:

  • Какую модель вы действительно хотите использовать и в какой квантизации?
  • Насколько длинными должны быть диалоги? Длинные контексты требуют больше памяти.
  • Какое время ожидания ответа для вас приемлемо?
  • Машина работает только для вас или обслуживает нескольких пользователей?

Конкретное количество токенов в секунду для вашей конфигурации мы не указываем. Измерьте это с помощью вашей модели, так как значения из чужих тестов не являются переносимыми.

Затраты на обслуживание, которые редко планируют заранее

Установка в зависимости от программы и опыта часто занимает мало времени. После этого начинается постоянная работа:

  1. Выбор модели: Постоянно появляются новые версии. Каждую новую версию нужно тестировать.
  2. Проверка поведения отказов: Не каждая модель, описанная как «без цензуры», отвечает на ваши темы. Составьте фиксированный список тестовых промптов и проверяйте каждую новую версию с их помощью.
  3. Обновления: runtime, драйверы и форматы моделей меняются. Обновление может сломать настройку.
  4. Безопасность: Скачивайте модели и программы только из проверенных источников и проверяйте файлы. Подменённый файл — реальная угроза.
  5. Эксплуатация для других: Как только доступ к вашей модели получит кто-то еще, добавляются защита доступа, перезагрузки и мониторинг.

Тем, кому это нравится, это приносит удовольствие и они многому учатся. Тем, кому нужны только ответы, это кажется обузой.

Когда стоит выбрать размещённый API

API имеет смысл, если верно хотя бы одно из утверждений:

  • Ваше оборудование не тянет нужную модель.
  • Вы используете ее редко, и покупка оборудования не окупается.
  • Приложение или бот должен надежно отвечать для других пользователей.
  • Вам нужно длинное контекстное окно без апгрейда памяти.
  • Вы не хотите тратить время на обслуживание.

Наш API предоставляет единственную модель с открытыми весами от независимого поставщика, настроенную на ответы без отказов по содержанию для законного использования взрослыми. Контекстное окно составляет 100 000 токенов. Интерфейс совместим с OpenAI; те же клиенты, которые вы используете локально, часто работают с изменённым Base URL. Он работает только с текстом.

Стоимость по сравнению с собственным оборудованием

API стоит $0,15 за 1M входных токенов и $0,50 за 1M выходных токенов, без подписки. Пример: 100 запросов в день, по 2 500 токенов ввода и 500 токенов вывода, 30 дней.

  • Запросов: 3 000
  • Ввод: 3 000 × 2 500 = 7,5 млн токенов × $0,15 = $1,125
  • Вывод: 3 000 × 500 = 1,5 млн токенов × $0,50 = $0,75
  • Итого: $1,875 в месяц

Сопоставьте это со стоимостью подходящей видеокарты, электроэнергии и вашего времени. Посчитайте самостоятельно, при каком сроке эксплуатации локальное оборудование окупится именно при таком объёме нагрузки. Если же вы обрабатываете миллионы запросов в день, расклад будет иным. Скидка за объем и пополнение ($20–$500, оплата USDT в сети TRC20 или USDC в сети Base) указаны на странице с ценами. За неудачные запросы не берут плату, а баланс не сгорает.

Золотая середина: тестирование локально, использование API

Многие работают в двух режимах. Программа для локальной модели часто предоставляет совместимый с OpenAI эндпоинт; вашему коду нужно лишь изменить базовый URL. Какой адрес использует ваша программа, указано в её документации.

from openai import OpenAI

# Wechsel zwischen lokalem Endpunkt und API nur über die Basis-URL
client = OpenAI(
    base_url="https://api.unzensiertesllm.com/v1",
    api_key="DEIN_SCHLUESSEL",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Schreibe zwei Sätze über einen Hafen bei Nacht."}],
)
print(r.choices[0].message.content)

Для тестирования после входа на странице получения API-ключа вы получаете $0,50 тестового баланса: одноразово на человека, действует 7 дней, без указания платёжных данных. Другие критерии выбора см. в сравнении ИИ без цензуры, технические детали — в документации.

Ограничение действует во всех режимах: исключается контент сексуального характера с участием несовершеннолетних. Промпты не используются для обучения моделей.

Дополнительные руководства

Часто задаваемые вопросы

Сколько памяти требуется модели на 7 миллиардов параметров?

Сами веса занимают около 14 ГБ при 16 битах, 7 ГБ при 8 битах и 3,5 ГБ при 4 битах. Сюда добавляются контекст и программа.

Отвечает ли каждая локальная модель без отказов?

Нет. Поведение зависит от конкретной версии. Проверяйте каждую новую версию собственными тестовыми промптами.

Сколько стоит API по сравнению с собственным оборудованием?

При 100 запросах в день, 2 500 токенах ввода и 500 токенах вывода получается $1,875 в месяц. Расчёт оборудования вы должны провести с вашими собственными цифрами.

Могу ли я использовать один и тот же код локально и через API?

Часто да, так как оба варианта могут быть совместимы с OpenAI. Вы меняете базовый URL, ключ и название модели.

Ваш ключ в одном клике

Создайте аккаунт, скопируйте ключ, измените базовый URL. Вот и всё.

Получение API-ключа