무검열 LLM: 로컬 또는 API 선택
무검열 LLM은 직접 운영하거나 호스팅된 API로 사용할 수 있습니다. 데이터 보호, 하드웨어, 품질, 가용성, 비용의 다섯 가지 기준에 따라 선택하세요.


중요 포인트
- 데이터 주권과 오프라인 운영에서는 로컬이, 작업 부하와 모델 크기에서는 API가 유리합니다.
- 중요한 것은 사용 프로필입니다: 가끔, 정기적 또는 타인을 위한 서비스 제공.
- API에서는 토큰만 지불합니다: 입력 1M당 $0.15, 출력 1M당 $0.50.
- 혼합 운영은 일반적입니다: 실험용 로컬, 안정적 작업용 API.
빠른 결정
무검열 LLM이 필요할 때 이 규칙을 따르세요: 하드웨어가 사용 가능한 모델을 실행할 수 있고 데이터가 기기를 벗어나지 않아야 할 때 로컬로 실험하세요. 더 큰 모델, 다른 사용자를 위한 안정적인 응답 또는 유지보수 없음이 필요하면 API를 선택하세요.
| 기준 | 로컬 | 호스팅 API |
|---|---|---|
| 데이터 | 장치에 남음 | 제공자를 통해 전송됨 |
| 시작 | 설치, 모델 다운로드 | 키와 Base URL |
| 지속 비용 | 전기, 하드웨어 마모 | 토큰당 |
| 병렬성 | 하드웨어에 의해 제한됨 | 공급자의 제한으로 인해 |
| 유지보수 | 업데이트, 드라이버, 모델 교체는 사용자 책임 | 공급자 측 |
| 오프라인 사용 가능 | 예 | 아니요 |
"무검열"의 기술적 의미
언어 모델은 학습 방식으로 인해 요청을 거부할 수 있습니다. 오픈 웨이트 모델은 다양한 버전으로 제공됩니다: 기본 모델, 안전성 훈련이 포함된 지시 모델, 덜 또는 전혀 거부하지 않도록 조정된 버전. 이 용어는 표준이 아닙니다. 두 모델이 모두 무검열로 간주되더라도 동작과 품질에서 현저한 차이가 있을 수 있습니다.
따라서 라벨이 아닌 프롬프트로 모델을 테스트하세요. 일상적인 10가지 작업은 어떤 설명보다 더 많은 것을 알려줍니다. 이는 로컬과 API 모두에 적용됩니다.
기준 1 및 2: 데이터 보호 및 하드웨어
데이터 보호. 로컬에서는 프롬프트가 기기를 벗어나지 않습니다. API의 경우 텍스트가 공급자에게 전송됩니다. 데이터 보호 정책을 확인하세요. 저희는 프롬프트를 학습에 사용하지 않습니다. 매우 민감한 데이터의 경우 로컬 운영이 여전히 가장 안전한 옵션입니다.
하드웨어. 메모리 필요량은 모델 크기와 양자화에 따라 달라집니다. 모델과 프로그램에 따라 크게 다르므로 고정 수치를 명시하지 않습니다. 대략적인 규칙은 다음과 같습니다: 모델이 클수록 그래픽 또는 작업 메모리가 더 필요하며, 작은 모델은 종종 응답 품질이 낮아집니다. 해당 프로그램의 가이드는 특정 모델의 요구 사항을 명시합니다. 긴 컨텍스트는 필요량을 추가로 증가시킵니다.
기준 3 및 4: 품질 및 가용성
품질. 모델에 따라 달라지며, 운영 방식에 따라 달라지지 않습니다. API는 로컬에서 실행되지 않을 수 있는 모델을 제공할 수 있습니다. 저희 API는 독립적인 공급자의 단일 오픈 웨이트 모델을 사용하며, 성인의 합법적 사용을 위한 내용 거부 없는 응답에 맞춰져 있습니다. 대형 제조사의 공식 API가 아니며 여러 공급자를 라우팅하지도 않습니다. 컨텍스트 창은 100,000 토큰(프롬프트와 응답 합산)을 지원합니다.
가용성. 로컬 모델은 기기가 실행될 때 실행됩니다. 타인을 위한 서비스의 경우 운영 및 모니터링이 필요한 서버가 필요합니다. API는 이를 위해 제한을 제공합니다: 전체 키로 동시 요청 8개 및 분당 300개. 가용성에 대한 구체적인 약속은 하지 않습니다.
기준 5: 비용, 정직한 계산
API는 토큰 기준으로 계산됩니다: 입력 1M당 $0.15, 출력 1M당 $0.50, 구독 없음. 세 가지 사용 프로필:
| 프로필 | 계산 | 월 비용 |
|---|---|---|
| 가끔: 하루 20개 요청, 입력 2,000 토큰, 출력 500 토큰 | 600 요청: 120만 In × $0.15 = $0.18; 30만 Out × $0.50 = $0.15 | $0.33 |
| 정기적: 하루 200개, 입력 3,000, 출력 600 | 6,000 요청: 18M 입력 × $0.15 = $2.70; 3.6M 출력 × $0.50 = $1.80 | $4.50 |
| 서비스: 일일 3,000개, 입력 3,000개, 출력 600개 | 90,000 요청: 270M 입력 × $0.15 = $40.50; 54M 출력 × $0.50 = $27.00 | $67.50 |
로컬 운영에는 구매 비용, 전력 및 시간이 필요합니다. 이 항목들을 자체 계산에 포함하세요. 사용량이 적을 때(첫 줄) API 비용은 적게 나오며, 높은 부하가 지속될 때는 자체 하드웨어와 비교해 보는 것이 좋습니다. 모든 요금, 할인가 및 최소 충전 금액($20~$500)은 가격 페이지에서 확인하세요.
두 방법 모두 시도
API 테스트는 무료입니다: 로그인(구글 또는 이메일과 비밀번호) 후 API 키 받기 페이지에서 $0.50의 테스트 크레딧을 한 번에 받을 수 있으며, 7일 동안 유효하고 결제 수단이 필요하지 않습니다. 호출:
from openai import OpenAI
client = OpenAI(base_url="https://api.unzensiertesllm.com/v1", api_key="DEIN_SCHLUESSEL")
aufgaben = [
"Schreibe die Gedanken eines Schurken in drei Sätzen.",
"Fasse den Plot einer düsteren Kurzgeschichte zusammen.",
]
for text in aufgaben:
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": text}],
)
print(r.choices[0].message.content, "\n---")같은 작업을 로컬 모델로 실행하고 톤, 길이 및 거부 여부를 비교하세요. 더 많은 배경 지식은 무검열 AI 비교 기사를 참고하고, 파라미터는 문서에서 설명합니다.
일반적인 잘못된 선택
- 모델이 확정되기 전에 하드웨어를 구매하는 것. 먼저 API나 작은 모델로 테스트하여 답변 품질이 충분한지 확인하세요. 그 후에 구매하는 것이 이익입니다.
- 토큰당 가격만 보는 것. 전력 비용, 설정 시간 및 다운타임은 로컬 방식의 비용에 포함됩니다.
- 모든 라벨을 믿는 것. 무검열이라는 표기는 작업에서 품질이나 좋은 성능을 보장하지 않습니다.
- 컨텍스트 창을 과소평가하지 마십시오. 긴 대화나 문서는 큰 컨텍스트 창이 필요합니다. 로컬에서는 컨텍스트가 커질수록 메모리 사용량이 증가하지만, API에서는 매번 입력으로 계산되기 때문에 요금이 증가합니다.
- 데이터 보호를 반만 생각하지 마십시오. 로컬 모델도 채팅 기록을 파일로 저장하는 경우가 많습니다. 이 파일을 다른 민감한 파일처럼 백업하십시오.
불확실한 경우 무료 테스트 크레딧으로 시작하고, 일주일 후 자신의 데이터에 기반해 기대치가 아닌 실제 수치로 결정하세요.
모든 경로에 적용되는 제한 사항
저희 서비스는 텍스트만 제공합니다: 이미지, 오디오, 임베딩, 파인튜닝 없음. 미성년자를 포함한 성적 콘텐츠는 예외 없이 제외되며, 성인은 합법적인 목적으로 사용합니다. USDT(TRC20) 또는 USDC(Base)로 결제합니다.
추가 안내
자주 묻는 질문
무검열 언어 모델은 합법입니까?
모델 자체는 사용 가능하지만, 중요한 것은 이를 어떻게 사용하느냐입니다. 사용은 합법적이어야 하며, 미성년자 관련 콘텐츠는 제외됩니다. 이는 법률 자문이 아닙니다.
일반 PC로 로컬 모델을 실행할 수 있습니까?
작은 모델의 경우 종종 가능하지만, 큰 모델의 경우 불가능합니다. 필요량은 모델 크기와 양자화에 따라 다르며, 해당 프로그램의 수치를 확인하세요.
사용량이 적을 때 API 비용은 얼마인가요?
하루 20개의 요청, 2,000개의 입력 토큰 및 500개의 출력 토큰의 경우 월 약 $0.33입니다.
로컬과 API를 결합할 수 있습니까?
네. 많은 사용자가 로컬에서 테스트한 후, 안정적으로 실행되거나 더 큰 모델을 사용해야 하는 작업에 API를 사용합니다.