VI ▾

LLM không kiểm duyệt: chọn chạy local hay qua API

Bạn có thể tự vận hành LLM không kiểm duyệt hoặc sử dụng dưới dạng API được lưu trữ. Con đường phù hợp nhất phụ thuộc vào năm tiêu chí: quyền riêng tư dữ liệu, phần cứng, chất lượng, khả dụng và chi phí.

AI không kiểm duyệt: API LLM so với Mô hình Local so với Dịch vụ Đám mây

Cập nhật

Cân bằng giữa máy tính local và máy chủ đám mây: local hay API cho LLM không kiểm duyệt

Các điểm quan trọng

  • Local thắng thế về quyền sở hữu dữ liệu và hoạt động ngoại tuyến; API thắng thế về độ phức tạp và kích thước mô hình.
  • Điều quan trọng là hồ sơ sử dụng của bạn: thỉnh thoảng, thường xuyên hoặc như một dịch vụ cho người khác.
  • Khi dùng API, bạn chỉ trả tiền cho token: $0,15 cho mỗi 1M token đầu vào, $0,50 cho mỗi 1M token đầu ra.
  • Chế độ hỗn hợp khá phổ biến: local để thử nghiệm, API cho mọi tác vụ đáng tin cậy.

Quyết định nhanh

Nếu bạn đang tìm LLM không kiểm duyệt, nguyên tắc chung này sẽ hữu ích: Hãy thử nghiệm local khi phần cứng của bạn có thể chạy một mô hình khả dụng và dữ liệu không muốn rời khỏi máy. Hãy dùng API nếu bạn muốn mô hình lớn hơn, câu trả lời đáng tin cậy cho người dùng khác hoặc không muốn bảo trì.

Tiêu chíCục bộAPI được lưu trữ
Dữ liệuvẫn ở lại trên thiết bị của bạnchạy qua nhà cung cấp
Bắt đầuCài đặt, tải mô hìnhKhóa và URL cơ sở
Chi phí vận hànhĐiện, hao mòn phần cứngmỗi token
Độ song songgiới hạn bởi phần cứng của bạntheo giới hạn của nhà cung cấp
Bảo trìCập nhật, trình điều khiển, thay đổi mô hình do bạn thực hiệndo nhà cung cấp thực hiện
Có thể sử dụng ngoại tuyếncókhông

Ý nghĩa kỹ thuật của "không kiểm duyệt"

Một mô hình ngôn ngữ từ chối yêu cầu vì nó được huấn luyện theo cách đó. Các mô hình mã nguồn mở có nhiều biến thể: mô hình cơ sở, mô hình hướng dẫn có huấn luyện an toàn và các phiên bản được tinh chỉnh sau này, ít hoặc không từ chối. Thuật ngữ này không phải là tiêu chuẩn. Hai mô hình đều được coi là không kiểm duyệt có thể khác biệt đáng kể về hành vi và chất lượng.

Do đó, bạn không nên chỉ kiểm tra nhãn mà hãy kiểm tra hành vi với các prompt của chính bạn. Mười tác vụ điển hình từ công việc hàng ngày của bạn nói lên nhiều điều hơn bất kỳ mô tả nào. Điều này đúng cho cả chế độ cục bộ và API.

Tiêu chí 1 và 2: Quyền riêng tư dữ liệu và Phần cứng

Quyền riêng tư. Chế độ cục bộ không gửi prompt ra khỏi máy tính của bạn. Với API, văn bản sẽ được gửi đến nhà cung cấp. Bạn hãy kiểm tra chính sách bảo mật của họ. Với chúng tôi, prompt không được dùng để huấn luyện. Đối với dữ liệu rất nhạy cảm, việc chạy cục bộ vẫn là tùy chọn an toàn nhất.

Phần cứng. Nhu cầu bộ nhớ phụ thuộc vào kích thước mô hình và mức lượng hóa. Chúng tôi không đưa ra con số cố định vì chúng dao động mạnh tùy theo mô hình và phần mềm. Quy tắc ngón tay cái là: mô hình càng lớn, bạn càng cần nhiều bộ nhớ đồ họa hoặc RAM hơn, và với các mô hình nhỏ hơn, chất lượng câu trả lời thường giảm. Hướng dẫn của phần mềm tương ứng sẽ nêu yêu cầu cho một mô hình cụ thể. Ngữ cảnh dài sẽ làm tăng thêm nhu cầu này.

Tiêu chí 3 và 4: Chất lượng và Khả năng sẵn có

Chất lượng. Nó phụ thuộc vào mô hình, không phụ thuộc vào cách vận hành. Tuy nhiên, API có thể cung cấp các mô hình không thể chạy trên máy của bạn. API của chúng tôi sử dụng một mô hình trọng số mở duy nhất từ một nhà cung cấp độc lập, được tinh chỉnh để đưa ra câu trả lời không từ chối về mặt nội dung cho việc sử dụng hợp pháp của người lớn. Đây không phải là API chính thức của một nhà sản xuất lớn cũng không phải là bộ định tuyến qua nhiều nhà cung cấp. Cửa sổ ngữ cảnh bao gồm 100.000 token (prompt cộng với câu trả lời).

Khả năng sẵn có. Một mô hình local sẽ chạy khi máy của bạn chạy. Đối với một dịch vụ trả lời cho người khác, bạn cần một máy chủ có vận hành và giám sát. API cung cấp các giới hạn cho mục đích này: với khóa đầy đủ là 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Chúng tôi không đưa ra cam kết cụ thể về khả năng sẵn có ở đây.

Tiêu chí 5: Chi phí, tính toán trung thực

API tính phí theo token: $0,15 cho mỗi 1M token đầu vào, $0,50 cho mỗi 1M token đầu ra, không cần đăng ký gói. Ba hồ sơ sử dụng:

Hồ sơHóa đơnChi phí hàng tháng
Thỉnh thoảng: 20 yêu cầu mỗi ngày, mỗi yêu cầu 2.000 token đầu vào, 500 token đầu ra600 yêu cầu: 1,2 triệu In × $0,15 = $0,18; 0,3 triệu Out × $0,50 = $0,15$0,33
Thường xuyên: 200 yêu cầu mỗi ngày, mỗi yêu cầu 3.000 token đầu vào, 600 token đầu ra6.000 yêu cầu: 18 triệu In × $0,15 = $2,70; 3,6 triệu Out × $0,50 = $1,80$4,50
Dịch vụ: 3.000 mỗi ngày, 3.000 đầu vào, 600 đầu ra90.000 yêu cầu: 270 triệu In × $0,15 = $40,50; 54 triệu Out × $0,50 = $27,00$67,50

Khi tự vận hành, bạn phải đối mặt với chi phí mua sắm, điện năng và thời gian của bạn. Hãy tính các mục này vào chi phí của riêng bạn; với mức sử dụng thấp (dòng đầu tiên), hóa đơn API sẽ nhỏ, còn với tải trọng cao liên tục thì việc so sánh với phần cứng riêng sẽ có lợi. Tất cả các mức giá, ưu đãi theo bậc và mức nạp tối thiểu ($20 đến $500) có trên trang giá.

Thử cả hai cách

Kiểm tra API không tốn phí: Sau khi đăng nhập (Google hoặc email kèm mật khẩu), bạn nhận được $0,50 tín dụng dùng thử một lần trên trang nhận khóa API, có hiệu lực trong 7 ngày và không cần thông tin thanh toán. Lệnh gọi:

from openai import OpenAI

client = OpenAI(base_url="https://api.unzensiertesllm.com/v1", api_key="DEIN_SCHLUESSEL")

aufgaben = [
    "Schreibe die Gedanken eines Schurken in drei Sätzen.",
    "Fasse den Plot einer düsteren Kurzgeschichte zusammen.",
]
for text in aufgaben:
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": text}],
    )
    print(r.choices[0].message.content, "\n---")

Hãy để các tác vụ tương tự chạy qua mô hình cục bộ của bạn và so sánh giọng điệu, độ dài và các lệnh từ chối. Bài viết so sánh AI không kiểm duyệt cung cấp thêm bối cảnh, các tham số được mô tả trong tài liệu.

Các quyết định sai lầm điển hình

  • Mua phần cứng trước khi mô hình được xác định. Hãy kiểm tra trước qua API hoặc với các mô hình nhỏ xem chất lượng câu trả lời có đủ không. Chỉ sau đó thì việc mua sắm mới đáng giá.
  • Chỉ nhìn vào giá trên mỗi token. Chi phí điện, thời gian thiết lập và thời gian ngừng hoạt động là một phần của chi phí cho cách cục bộ.
  • Tin vào mọi nhãn mác. Danh hiệu không kiểm duyệt không đảm bảo chất lượng hay hành vi tốt cho các tác vụ của bạn.
  • Đánh giá thấp ngữ cảnh. Các cuộc hội thoại hoặc tài liệu dài yêu cầu cửa sổ ngữ cảnh lớn. Khi chạy cục bộ, nhu cầu bộ nhớ tăng theo ngữ cảnh; khi dùng API, hóa đơn tăng vì lịch sử được tính là đầu vào mỗi lần.
  • Chỉ nghĩ nửa vời về quyền riêng tư. Ngay cả các mô hình cục bộ thường lưu trữ lịch sử trò chuyện trong các tệp. Hãy sao lưu chúng như bất kỳ tệp nhạy cảm nào khác.

Ai còn phân vân thì nên bắt đầu với tín dụng dùng thử miễn phí và đưa ra quyết định sau một tuần dựa trên số liệu thực tế, không phải dựa trên kỳ vọng.

Các giới hạn áp dụng cho mọi cách

Sản phẩm của chúng tôi chỉ cung cấp văn bản: không có hình ảnh, không có âm thanh, không có embedding, không có tinh chỉnh. Nội dung tình dục với người chưa thành niên bị loại trừ hoàn toàn; sản phẩm dành cho mục đích hợp pháp của người trưởng thành. Thanh toán bằng USDT trên TRC20 hoặc USDC trên Base.

Hướng dẫn khác

Câu hỏi thường gặp

Mô hình ngôn ngữ không kiểm duyệt có hợp pháp không?

Các mô hình đều có sẵn, điều quan trọng là bạn sử dụng chúng vào mục đích gì. Việc sử dụng phải hợp pháp; nội dung liên quan đến người chưa thành niên bị loại trừ. Đây không phải là tư vấn pháp lý.

Máy tính thông thường có đủ cho mô hình cục bộ không?

Đối với các mô hình nhỏ thì thường là có, nhưng đối với các mô hình lớn thì không. Nhu cầu phụ thuộc vào kích thước mô hình và mức độ lượng hóa; bạn hãy kiểm tra thông số của chương trình tương ứng.

API tốn bao nhiêu khi sử dụng thấp?

Với 20 yêu cầu mỗi ngày, 2.000 token đầu vào và 500 token đầu ra, chi phí khoảng $0,33 mỗi tháng.

Tôi có thể kết hợp chạy cục bộ và API không?

Có. Nhiều người dùng thử local và sử dụng API cho mọi thứ cần chạy ổn định hoặc cần mô hình lớn hơn.

Khóa của bạn chỉ cách một cú nhấp chuột

Tạo tài khoản, sao chép khóa, điều chỉnh Base URL. Thế là xong.

Nhận khóa API