PT ▾

LLM local sem censura: hardware, manutenção, alternativa

Um LLM local sem censura oferece controle total, mas exige hardware e manutenção. Leia aqui como estimar a necessidade de memória, o que envolve o dia a dia e quando uma API vale mais a pena.

IA sem censura: API LLM vs. Modelos Locais vs. Serviços em Nuvem

Atualizado

Computador doméstico com placa de vídeo e PCIe para um servidor: modelo local ou API hospedada

Pontos importantes

  • A necessidade de memória pode ser estimada grosseiramente pela quantidade de parâmetros e largura de bits dos pesos.
  • Contexto, programa de execução e sistema operacional são adicionados; planeje uma margem de reserva.
  • Esforço de manutenção: atualizações, troca de modelo, drivers e verificação se o modelo realmente não recusa.
  • Para uso raro ou modelos grandes, uma API hospedada é frequentemente a solução mais simples.

Necessidade de memória para cálculo próprio

Quem quer operar um LLM local sem censura pergunta primeiro: cabe no meu computador? Para os pesos do modelo, existe uma regra prática: quantidade de parâmetros vezes bytes por peso. Os valores abaixo são aproximações.

Tamanho do modelo16 bits (2 bytes)8 bits (1 byte)4 bits (0,5 byte)
7 bilhões de parâmetros14 GB7 GB3,5 GB
13 bilhões de parâmetros26 GB13 GB6,5 GB
70 bilhões de parâmetros140 GB70 GB35 GB

Isso são apenas os pesos. Adicione o buffer de contexto, que cresce com o tamanho da conversa, e a sobrecarga do programa. Planeje significativamente mais do que a tabela mostra. Larguras de bits menores economizam espaço, mas custam um pouco de qualidade. O quanto depende do modelo, e não damos números específicos para isso.

Placa de vídeo, memória RAM ou ambos

Se um modelo roda totalmente na VRAM, ele responde mais rápido. Se não couber, programas podem mover partes para a memória RAM, reduzindo a velocidade significativamente. Em computadores com memória compartilhada CPU/GPU (como muitos laptops com chips Apple), o limite é a memória total.

Verifique o seguinte antes de comprar:

  • Qual modelo você realmente quer usar e em qual quantização?
  • Quão longas devem ser as conversas? Contextos longos precisam de mais memória.
  • Quanto tempo de espera por resposta é aceitável para você?
  • A máquina é usada apenas por você ou atende várias pessoas?

Não informamos tokens por segundo exatos para sua configuração. Meça com seu modelo, pois valores de testes de terceiros não são transferíveis.

O esforço de manutenção raramente planejado

A instalação é rápida dependendo do programa e conhecimento prévio. Depois começa o trabalho contínuo:

  1. Seleção de modelo: Novas variantes surgem constantemente. Cada nova versão precisa ser testada.
  2. Verificar comportamento de recusa: Nem todo modelo descrito como sem censura responde aos seus tópicos. Crie uma lista fixa de prompts de teste e verifique cada nova variante com ela.
  3. Atualizações: Programas de execução, drivers e formatos de modelo mudam. Uma atualização pode quebrar a configuração.
  4. Segurança: Baixe modelos e programas apenas de fontes confiáveis e verifique os arquivos. Um download manipulado é um risco real.
  5. Operação para outros: Quando outros acessarem seu modelo, adicione proteção de acesso, reinícios e monitoramento.

Quem gosta disso se diverte e aprende muito. Quem só precisa de respostas acha isso um fardo.

Quando uma API hospedada é a escolha melhor

Uma API faz sentido se pelo menos uma destas afirmações for verdadeira:

  • O hardware não carrega o modelo desejado.
  • Você usa raramente e a compra não vale a pena.
  • Uma aplicação ou bot deve responder de forma confiável para outros.
  • Você precisa de uma janela de contexto longa, sem atualizar o hardware de memória.
  • Você não quer gastar tempo com manutenção.

Nossa API oferece um único modelo de pesos abertos de um fornecedor independente, ajustado para respostas sem recusa de conteúdo para uso legítimo por adultos. A janela de contexto abrange 100.000 tokens. A interface é compatível com OpenAI; os mesmos clientes que você usa localmente geralmente funcionam com o Base URL alterado. É puramente baseada em texto.

Custos comparados ao hardware próprio

A API custa $0.15 por 1M de tokens de entrada e $0.50 por 1M de tokens de saída, sem assinatura. Um exemplo: 100 requisições por dia, 2.500 tokens de entrada e 500 tokens de saída, 30 dias.

  • Requisições: 3.000
  • Entrada: 3.000 × 2.500 = 7,5 milhões de tokens × $0,15 = $1,125
  • Saída: 3.000 × 500 = 1,5 milhão de tokens × $0,50 = $0,75
  • Total: $1.875 por mês

Compare isso à sua conta para uma placa de vídeo adequada, energia e seu próprio tempo. Calcule você mesmo a partir de quanto tempo de execução o hardware local se pagaria com essa escala. Se você processar milhões de solicitações por dia, a conta é diferente. Bônus por faixa e recarga ($20 a $500, pagamento via USDT em TRC20 ou USDC em Base) estão na página de preços. Solicitações falhas não são cobradas e o crédito nunca expira.

O meio-termo: teste localmente, use a API

Muitos usam ambas as vias. O programa para o modelo local geralmente também oferece um endpoint compatível com OpenAI; seu código só precisa trocar a Base URL. Qual endereço seu programa usa está na documentação dele.

from openai import OpenAI

# Wechsel zwischen lokalem Endpunkt und API nur über die Basis-URL
client = OpenAI(
    base_url="https://api.unzensiertesllm.com/v1",
    api_key="DEIN_SCHLUESSEL",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Schreibe zwei Sätze über einen Hafen bei Nacht."}],
)
print(r.choices[0].message.content)

Para experimentar, você obtém $0,50 de crédito de teste grátis na página obter chave de API após entrar: único por pessoa, válido por 7 dias, sem necessidade de dados de pagamento. Para mais critérios de comparação, consulte o comparação de IA sem censura, e para detalhes técnicos, a Documentação.

Uma restrição vale em qualquer caso: conteúdo com relação sexual a menores de idade é excluído. Prompts não são usados para treinamento conosco.

Mais tutoriais

Perguntas frequentes

Quanto espaço de armazenamento um modelo com 7 bilhões de parâmetros precisa?

Os pesos sozinhos ocupam cerca de 14 GB em 16 bits, 7 GB em 8 bits e 3,5 GB em 4 bits. O contexto e o programa são adicionados.

Todo modelo local responde sem recusas?

Não. O comportamento depende da variante específica. Teste cada nova versão com seus próprios prompts.

Quanto custa a API em comparação com hardware próprio?

Com 100 requisições por dia, 2.500 tokens de entrada e 500 tokens de saída, o custo é $1.875 por mês. A conta de hardware você faz com seus próprios números.

Posso usar o mesmo código localmente e via API?

Muitas vezes sim, pois ambos podem ser compatíveis com OpenAI. Você altera o Base URL, a chave e o nome do modelo.

Sua chave está a um clique de distância

Crie uma conta, copie a chave, ajuste o Base URL. Pronto.

Obter chave de API