Локальная LLM без цензуры: железо, обслуживание, альтернатива
Локальная LLM без цензуры дает вам полный контроль, но требует оборудования и обслуживания. Здесь вы узнаете, как самостоятельно оценить потребность в памяти, какие задачи возникают в повседневной работе и когда API становится более выгодным.


Ключевые моменты
- Потребность в памяти можно грубо оценить по количеству параметров и разрядности весов.
- К ним добавляются контекст, runtime и операционная система; предусмотрите запас.
- Затраты на обслуживание: обновления, смена моделей, драйверы и проверка того, действительно ли модель не отказывает.
- При редком использовании или для больших моделей хостинг API часто является более простым решением.
Расчет потребности в памяти
Тем, кто хочет запустить локальную модель без цензуры, первым делом интересно: влезет ли она в мой компьютер? Для весов модели есть грубая формула: количество параметров умножить на количество байт на вес. Приведённые ниже значения — приблизительные.
| Размер модели | 16 бит (2 байта) | 8 бит (1 байт) | 4 бита (0,5 байта) |
|---|---|---|---|
| 7 млрд параметров | 14 ГБ | 7 ГБ | 3,5 ГБ |
| 13 млрд параметров | 26 ГБ | 13 ГБ | 6,5 ГБ |
| 70 млрд параметров | 140 ГБ | 70 ГБ | 35 ГБ |
Это только веса. К ним добавляется кэш контекста, который растет вместе с длиной диалога, и накладные расходы программы. Поэтому закладывайте заметно больше места, чем показывает таблица. Меньшая разрядность экономит место, но часто стоит немного качества. Насколько сильно — зависит от модели, и мы сознательно не приводим цифры.
Видеокарта, оперативная память или то и другое
Если модель полностью работает в видеопамяти, она отвечает быстрее всего. Если она не помещается, программы могут выгружать части в оперативную память, тогда скорость значительно падает. На компьютерах с общей памятью для CPU и GPU (например, многие ноутбуки с чипами Apple) лимитом является общая память.
Проверьте следующее перед покупкой:
- Какую модель вы действительно хотите использовать и в какой квантизации?
- Насколько длинными должны быть диалоги? Длинные контексты требуют больше памяти.
- Какое время ожидания ответа для вас приемлемо?
- Машина работает только для вас или обслуживает нескольких пользователей?
Конкретное количество токенов в секунду для вашей конфигурации мы не указываем. Измерьте это с помощью вашей модели, так как значения из чужих тестов не являются переносимыми.
Затраты на обслуживание, которые редко планируют заранее
Установка в зависимости от программы и опыта часто занимает мало времени. После этого начинается постоянная работа:
- Выбор модели: Постоянно появляются новые версии. Каждую новую версию нужно тестировать.
- Проверка поведения отказов: Не каждая модель, описанная как «без цензуры», отвечает на ваши темы. Составьте фиксированный список тестовых промптов и проверяйте каждую новую версию с их помощью.
- Обновления: runtime, драйверы и форматы моделей меняются. Обновление может сломать настройку.
- Безопасность: Скачивайте модели и программы только из проверенных источников и проверяйте файлы. Подменённый файл — реальная угроза.
- Эксплуатация для других: Как только доступ к вашей модели получит кто-то еще, добавляются защита доступа, перезагрузки и мониторинг.
Тем, кому это нравится, это приносит удовольствие и они многому учатся. Тем, кому нужны только ответы, это кажется обузой.
Когда стоит выбрать размещённый API
API имеет смысл, если верно хотя бы одно из утверждений:
- Ваше оборудование не тянет нужную модель.
- Вы используете ее редко, и покупка оборудования не окупается.
- Приложение или бот должен надежно отвечать для других пользователей.
- Вам нужно длинное контекстное окно без апгрейда памяти.
- Вы не хотите тратить время на обслуживание.
Наш API предоставляет единственную модель с открытыми весами от независимого поставщика, настроенную на ответы без отказов по содержанию для законного использования взрослыми. Контекстное окно составляет 100 000 токенов. Интерфейс совместим с OpenAI; те же клиенты, которые вы используете локально, часто работают с изменённым Base URL. Он работает только с текстом.
Стоимость по сравнению с собственным оборудованием
API стоит $0,15 за 1M входных токенов и $0,50 за 1M выходных токенов, без подписки. Пример: 100 запросов в день, по 2 500 токенов ввода и 500 токенов вывода, 30 дней.
- Запросов: 3 000
- Ввод: 3 000 × 2 500 = 7,5 млн токенов × $0,15 = $1,125
- Вывод: 3 000 × 500 = 1,5 млн токенов × $0,50 = $0,75
- Итого: $1,875 в месяц
Сопоставьте это со стоимостью подходящей видеокарты, электроэнергии и вашего времени. Посчитайте самостоятельно, при каком сроке эксплуатации локальное оборудование окупится именно при таком объёме нагрузки. Если же вы обрабатываете миллионы запросов в день, расклад будет иным. Скидка за объем и пополнение ($20–$500, оплата USDT в сети TRC20 или USDC в сети Base) указаны на странице с ценами. За неудачные запросы не берут плату, а баланс не сгорает.
Золотая середина: тестирование локально, использование API
Многие работают в двух режимах. Программа для локальной модели часто предоставляет совместимый с OpenAI эндпоинт; вашему коду нужно лишь изменить базовый URL. Какой адрес использует ваша программа, указано в её документации.
from openai import OpenAI
# Wechsel zwischen lokalem Endpunkt und API nur über die Basis-URL
client = OpenAI(
base_url="https://api.unzensiertesllm.com/v1",
api_key="DEIN_SCHLUESSEL",
)
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Schreibe zwei Sätze über einen Hafen bei Nacht."}],
)
print(r.choices[0].message.content)Для тестирования после входа на странице получения API-ключа вы получаете $0,50 тестового баланса: одноразово на человека, действует 7 дней, без указания платёжных данных. Другие критерии выбора см. в сравнении ИИ без цензуры, технические детали — в документации.
Ограничение действует во всех режимах: исключается контент сексуального характера с участием несовершеннолетних. Промпты не используются для обучения моделей.
Дополнительные руководства
Часто задаваемые вопросы
Сколько памяти требуется модели на 7 миллиардов параметров?
Сами веса занимают около 14 ГБ при 16 битах, 7 ГБ при 8 битах и 3,5 ГБ при 4 битах. Сюда добавляются контекст и программа.
Отвечает ли каждая локальная модель без отказов?
Нет. Поведение зависит от конкретной версии. Проверяйте каждую новую версию собственными тестовыми промптами.
Сколько стоит API по сравнению с собственным оборудованием?
При 100 запросах в день, 2 500 токенах ввода и 500 токенах вывода получается $1,875 в месяц. Расчёт оборудования вы должны провести с вашими собственными цифрами.
Могу ли я использовать один и тот же код локально и через API?
Часто да, так как оба варианта могут быть совместимы с OpenAI. Вы меняете базовый URL, ключ и название модели.
Ваш ключ в одном клике
Создайте аккаунт, скопируйте ключ, измените базовый URL. Вот и всё.
Получение API-ключа