VI ▾

Cài đặt API SillyTavern: Thiết lập API tương thích OpenAI

Bạn có thể nhanh chóng thiết lập các cài đặt API SillyTavern khi đã có sẵn bốn giá trị: nguồn, URL cơ sở, khóa và tên mô hình. Phần này hướng dẫn bạn nhập những giá trị nào, cách chọn độ dài ngữ cảnh và phản hồi, cũng như cách xử lý khi gặp lỗi.

AI không kiểm duyệt: API LLM so với mô hình cục bộ so với dịch vụ đám mây

Cập nhật

Sân khấu nhà hát với mặt nạ và bong thoại phát sáng dẫn đến một phích cắm: kết nối SillyTavern với API

Các điểm quan trọng

  • Bạn cần nhập một nguồn tương thích OpenAI, URL cơ sở, khóa API và tên mô hình uncensored.
  • Kích thước ngữ cảnh trong ứng dụng khách nên phù hợp với cửa sổ 100.000 token của API và ngân sách của bạn.
  • Các nguồn lỗi thường gặp là URL cơ sở sai hoặc lỗi chính tả trong khóa.
  • Nhập vai tốn một phần nhỏ của một cent cho mỗi tin nhắn vì lịch sử được gửi lại mỗi lần.

Bốn giá trị bạn cần

SillyTavern là giao diện người dùng cho trò chuyện và nhập vai với thẻ nhân vật. Nó có thể kết nối với nhiều nguồn văn bản khác nhau, bao gồm các endpoint hỗ trợ định dạng OpenAI. Để kết nối, bạn cần chính xác bốn thông tin sau:

  • Nguồn: một nguồn tương thích OpenAI hoặc tùy chỉnh cho Chat Completion
  • URL cơ sở: https://api.unzensiertesllm.com/v1
  • Khóa API: khóa của bạn từ trang Nhận khóa API
  • Tên mô hình: uncensored

Tên các menu và trường có thể khác nhau giữa các phiên bản SillyTavern. Hãy dựa vào các thuật ngữ ở trên và đọc tài liệu của SillyTavern nếu có sự khác biệt.

Kết nối từng bước

  1. Bạn hãy đăng nhập (bằng Google hoặc email kèm mật khẩu) và tạo khóa. Sau khi đăng nhập, bạn có thể nhận $0,50 tín dụng dùng thử chỉ bằng một cú nhấp chuột: một lần mỗi người, có hiệu lực trong 7 ngày, không cần thông tin thanh toán.
  2. Trong SillyTavern, hãy mở phần kết nối API.
  3. Chọn loại API là Chat-Completion và chọn nguồn là mục tùy chỉnh, tương thích OpenAI (tên chính xác phụ thuộc vào phiên bản của bạn).
  4. Nhập URL cơ sở với phần bổ sung /v1.
  5. Dán khóa mà không có khoảng trắng ở đầu hoặc cuối.
  6. Nhập uncensored làm mô hình hoặc chọn nó từ danh sách nếu ứng dụng khách truy vấn các mô hình.
  7. Kết nối và gửi một tin nhắn kiểm thử ngắn.

Nếu ứng dụng khách hiển thị danh sách mô hình, nó sẽ gọi GET /v1/models. Nếu uncensored xuất hiện trong danh sách đó, địa chỉ và khóa đều đúng.

Kiểm tra kết nối trước khi vào SillyTavern

Nếu có sự cố, hãy kiểm tra địa chỉ và khóa riêng biệt với ứng dụng khách. Điều này giúp tránh đoán mò.

curl https://api.unzensiertesllm.com/v1/models \
  -H "Authorization: Bearer DEIN_SCHLUESSEL"

curl https://api.unzensiertesllm.com/v1/chat/completions \
  -H "Authorization: Bearer DEIN_SCHLUESSEL" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Sag kurz Hallo."}], "max_tokens": 30}'

Nếu curl trả về kết quả, vấn đề nằm ở ứng dụng khách. Nếu curl không trả về kết quả, vấn đề nằm ở khóa, địa chỉ hoặc mạng. Số dư còn lại của bạn có thể xem trong tiêu đề phản hồi X-Balance-USD.

Chọn đúng kích thước ngữ cảnh và độ dài phản hồi

Hai bộ điều khiển xác định lượng dữ liệu gửi đi và tạo ra cho mỗi tin nhắn:

  • Kích thước ngữ cảnh (Context Size): Số lượng token cho lịch sử, mô tả nhân vật và thông tin thế giới được tính tổng hợp. API cho phép tối đa 100.000 token cho prompt và phản hồi cộng lại. Bạn không cần phải tận dụng giới hạn này. Đối với nhiều trò chơi nhập vai, chỉ vài nghìn token là đủ, và mỗi token ngữ cảnh sẽ được tính phí riêng cho mỗi tin nhắn.
  • Độ dài phản hồi (Response Length): Tương ứng với max_tokens. Trường này là tùy chọn trong API; bạn nên đặt nó trong client để tránh phản hồi quá dài.

Một quy tắc chung: Hãy chọn kích thước ngữ cảnh sao cho thẻ nhân vật, các ghi chú quan trọng và khoảng chục tin nhắn gần nhất vừa khít. Những tin nhắn cũ hơn có thể bị ứng dụng khách loại bỏ hoặc bạn có thể tóm tắt chúng.

Giá trị Sampler

API truyền lại temperature, top_p, stop, seed và các tham số penalty. Hãy bắt đầu với các giá trị vừa phải, ví dụ nhiệt độ khoảng 0,8, và chỉ thay đổi một cài đặt tại một thời điểm. Các bộ tạo mẫu khác mà SillyTavern cung cấp cho một số nguồn nhất định có thể không được hỗ trợ bởi giao diện này; chúng sẽ không có tác dụng. Hãy kiểm tra trong tài liệu.

Chi phí một phiên nhập vai

Giá: $0,15 cho mỗi 1M token đầu vào, $0,50 cho mỗi 1M token đầu ra. Giả sử mỗi tin nhắn gửi 8.000 token ngữ cảnh và nhận được 350 token phản hồi:

  • Đầu vào: 8.000 / 1.000.000 × $0,15 = $0,0012
  • Đầu ra: 350 / 1.000.000 × $0,50 = $0,000175
  • Tổng cộng: $0,001375 mỗi tin nhắn

Một phiên với 200 tin nhắn như vậy tốn $0,275. Tín dụng dùng thử $0,50 đủ cho khoảng 363 tin nhắn như vậy (0,50 / 0,001375 ≈ 363,6). Nếu bạn nhân đôi ngữ cảnh lên 16.000 token, chi phí đầu vào tăng lên $0,0024 và tổng chi phí tin nhắn là $0,002575.

Bạn có thể nạp bất kỳ khoản tiền nguyên nào từ $20 đến $500 bằng USDT trên TRC20 hoặc USDC trên Base. Từ $50 trở lên được +5% bonus, từ $100 trở lên +10%, từ $200 trở lên +15%. Tín dụng không hết hạn. Gói này có trên trang giá.

Các lỗi điển hình và cách khắc phục

Thông báo hoặc triệu chứngNguyên nhânGiải pháp
Lỗi 401 hoặc lỗi xác thựcKhóa sai, bị cắt cụt hoặc có khoảng trắngDán lại khóa mới, kiểm tra lại bằng curl
404 hoặc không tìm thấy mô hình/v1 bị thiếu hoặc tên mô hình saiNhập Base URL với /v1, mô hình uncensored
429 với concurrencyQuá nhiều yêu cầu đồng thời (khóa thử nghiệm: 2, khóa đầy đủ: 8)Trò chuyện nhóm tuần tự thay vì song song, đóng các tab truyền phát
429 với rate_limitedQuá nhiều yêu cầu mỗi phút (60 hoặc 300)Không kích hoạt tạo lại phản hồi quá thường xuyên
429 với Retry-After: 5Quá tải tạm thờiChờ 5 giây và gửi lại
Câu trả lời bị ngắt giữa chừngĐộ dài câu trả lời ở client quá nhỏTăng độ dài phản hồi
Lỗi do ngữ cảnh quá dàiLịch sử trò chuyện không vừa với cửa sổ ngữ cảnh 100.000 token (phản hồi bị giới hạn ở khoảng trống còn lại)Giảm kích thước ngữ cảnh ở client, rút ngắn các tin nhắn cũ

Một yêu cầu truyền phát chiếm vị trí trong giới hạn yêu cầu đồng thời cho đến khi stream kết thúc. Điều này giải thích một số thông báo 429 bất ngờ khi bạn có nhiều phiên chat/tabs đang mở.

Lưu ý về nội dung và quyền riêng tư

Mô hình được tinh chỉnh để hỗ trợ các tình huống hư cấu, nhập vai và tình huống người bạn đồng hành cho người trưởng thành mà không từ chối nội dung. Đây là một mô hình trọng số mở từ một nhà cung cấp độc lập, không phải là API chính thức từ một nhà sản xuất lớn. Nội dung tình dục liên quan đến người chưa thành niên bị loại trừ hoàn toàn. API chỉ cung cấp văn bản, không tạo ra hình ảnh hay giọng nói. Các prompt không được sử dụng để huấn luyện.

Tìm hiểu thêm về cách chọn mô hình không kiểm duyệt tại so sánh AI không kiểm duyệt.

Hướng dẫn khác

Câu hỏi thường gặp

Tôi nên nhập Base URL nào vào SillyTavern?

https://api.unzensiertesllm.com/v1, với phần đuôi /v1. Đặt mô hình là uncensored.

Kích thước ngữ cảnh hợp lý là bao nhiêu?

API cho phép tối đa 100.000 token cho prompt và phản hồi. Đối với nhập vai, vài nghìn token thường đủ; giá trị lớn hơn làm tăng chi phí mỗi tin nhắn.

Tại sao tôi nhận lỗi 429?

Mã lỗi cho biết nguyên nhân: rate_limited nghĩa là quá nhiều yêu cầu mỗi phút, concurrency nghĩa là quá nhiều yêu cầu đồng thời. Với khóa API dùng thử, giới hạn là 60 mỗi phút và 2 đồng thời.

Một phiên với 200 tin nhắn tốn bao nhiêu?

Với 8.000 token ngữ cảnh và 350 token phản hồi là khoảng $0,275. Giá tăng khi ngữ cảnh lớn hơn.

Khóa API của bạn chỉ cách một cú nhấp chuột

Tạo tài khoản, sao chép khóa, điều chỉnh URL cơ sở. Thế là xong.

Nhận khóa API