VI ▾

LLM cục bộ không kiểm duyệt: Phần cứng, bảo trì, giải pháp thay thế

LLM cục bộ không kiểm duyệt cho bạn quyền kiểm soát hoàn toàn nhưng đòi hỏi phần cứng và công sức bảo trì. Tại đây, bạn sẽ tìm hiểu cách tự ước lượng nhu cầu bộ nhớ, các công việc phát sinh hàng ngày và khi nào API mang lại giá trị tốt hơn.

AI không kiểm duyệt: API LLM vs. Mô hình cục bộ vs. Dịch đám mây

Cập nhật

Máy tính cá nhân có card đồ họa và LightBridge kết nối thành máy chủ: mô hình chạy cục bộ hoặc API được lưu trữ

Điểm quan trọng

  • Nhu cầu bộ nhớ có thể được ước lượng sơ bộ dựa trên số lượng tham số và độ rộng bit của trọng số.
  • Cộng thêm ngữ cảnh, môi trường chạy và hệ điều hành; hãy dự phòng dung lượng.
  • Công sức bảo trì: Cập nhật, thay đổi mô hình, trình điều khiển và kiểm tra xem mô hình có thực sự không từ chối hay không.
  • Với việc sử dụng hiếm hoặc các mô hình lớn, API lưu trữ thường là giải pháp đơn giản hơn.

Bộ nhớ cần thiết để tự tính toán

Ai muốn vận hành LLM cục bộ không kiểm duyệt đều hỏi trước: Mô hình có vừa với máy tính của tôi không? Đối với trọng số của mô hình, có một công thức gần đúng: Số tham số nhân với số byte trên mỗi trọng số. Các giá trị dưới đây là các ước tính gần đúng.

Kích thước mô hình16 bit (2 byte)8 bit (1 byte)4 bit (0,5 byte)
7 tỷ tham số14 GB7 GB3,5 GB
13 tỷ tham số26 GB13 GB6,5 GB
70 tỷ tham số140 GB70 GB35 GB

Đây chỉ là các trọng lượng mô hình. Bạn còn cần bộ nhớ đệm cho ngữ cảnh, tăng theo độ dài cuộc hội thoại, cùng với phần mã chương trình. Vì vậy, bạn nên dự trù dung lượng lớn hơn đáng kể so với bảng hiển thị. Độ rộng bit thấp hơn giúp tiết kiệm dung lượng nhưng thường làm giảm chất lượng một chút. Mức độ giảm phụ thuộc vào mô hình, và chúng tôi cố tình không đưa ra các con số cụ thể cho việc này.

Card đồ họa, bộ nhớ RAM hoặc cả hai

Mô hình chạy hoàn toàn trên bộ nhớ đồ họa sẽ phản hồi nhanh nhất. Nếu không vừa, chương trình có thể chuyển một phần sang bộ nhớ, khi đó tốc độ giảm đáng kể. Trên các máy tính dùng bộ nhớ chung cho CPU và GPU (như nhiều laptop chip Apple), giới hạn là tổng dung lượng bộ nhớ.

Hãy kiểm tra những điều sau trước khi mua:

  • Bạn thực sự muốn sử dụng mô hình nào, và ở mức lượng hóa nào?
  • Cuộc hội thoại cần dài bao nhiêu? Ngữ cảnh dài cần nhiều bộ nhớ hơn.
  • Thời gian chờ mỗi phản hồi chấp nhận được đối với bạn là bao nhiêu?
  • Máy có chỉ dành cho bạn hay phục vụ nhiều người?

Chúng tôi không đưa ra số token cụ thể trên giây cho cấu hình của bạn. Hãy đo bằng mô hình của bạn, vì giá trị từ các bài kiểm tra bên ngoài không thể so sánh trực tiếp.

Công sức bảo trì thường ít được lên kế hoạch trước

Quá trình cài đặt thường nhanh chóng tùy thuộc vào chương trình và kinh nghiệm của bạn. Sau đó là công việc duy trì liên tục:

  1. Lựa chọn mô hình: Các biến thể mới liên tục xuất hiện. Mỗi phiên bản mới đều cần được kiểm tra.
  2. Kiểm tra hành vi từ chối: Không phải mọi mô hình được mô tả là không kiểm duyệt đều trả lời cho các chủ đề của bạn. Hãy xây dựng một danh sách cố định các prompt thử nghiệm và kiểm tra mọi biến thể mới bằng danh sách đó.
  3. Cập nhật: Chương trình thời gian chạy, trình điều khiển và định dạng mô hình thay đổi. Một bản cập nhật có thể làm hỏng quá trình thiết lập.
  4. Bảo mật: Chỉ tải mô hình và ứng dụng từ nguồn tin cậy, kiểm tra tệp. Tải về bị giả mạo là rủi ro thực tế.
  5. Vận hành cho người khác: Khi người khác truy cập mô hình của bạn, cần thêm bảo mật, khởi động lại và giám sát.

Ai thích việc này sẽ thấy vui và học được nhiều. Ai chỉ cần câu trả lời sẽ cảm thấy đây là gánh nặng.

Khi nào API được lưu trữ là lựa chọn tốt hơn

Sử dụng API có ý nghĩa nếu ít nhất một trong các phát biểu sau đúng:

  • Phần cứng của bạn không hỗ trợ mô hình mong muốn.
  • Bạn sử dụng hiếm và việc mua mới không đáng giá.
  • Một ứng dụng hoặc bot cần phản hồi đáng tin cậy cho người khác.
  • Bạn cần cửa sổ ngữ cảnh dài mà không muốn nâng cấp bộ nhớ.
  • Bạn không muốn dành thời gian cho công việc bảo trì.

API của chúng tôi cung cấp một mô hình trọng số mở từ nhà cung cấp độc lập, được tinh chỉnh để trả lời mà không từ chối nội dung cho việc sử dụng hợp pháp của người lớn. Cửa sổ ngữ cảnh bao gồm 100.000 token. Giao diện tương thích OpenAI; các client bạn dùng cục bộ thường hoạt động với Base URL thay đổi. API chỉ hỗ trợ văn bản.

Chi phí so với phần cứng tự vận hành

API có giá $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra, không cần đăng ký. Ví dụ: 100 yêu cầu mỗi ngày, mỗi yêu cầu 2.500 token đầu vào và 500 token đầu ra, trong 30 ngày.

  • Yêu cầu: 3.000
  • Đầu vào: 3.000 × 2.500 = 7,5 triệu token × $0,15 = $1,125
  • Đầu ra: 3.000 × 500 = 1,5 triệu token × $0,50 = $0,75
  • Tổng cộng: $1,875 mỗi tháng

Hãy đối chiếu điều này với chi phí cho card đồ họa phù hợp, điện và thời gian của bạn. Hãy tự tính toán xem thiết bị tại chỗ sẽ hoàn vốn sau bao lâu với khối lượng này. Ngược lại, nếu bạn xử lý hàng triệu yêu cầu mỗi ngày, bài toán sẽ khác. Giảm giá theo gói và nạp tiền ($20 đến $500, thanh toán bằng USDT trên TRC20 hoặc USDC trên Base) có trên trang giá. Các yêu cầu thất bại không bị tính phí và tín dụng không hết hạn.

Giải pháp trung gian: kiểm tra tại chỗ, sử dụng API

Nhiều người dùng cả hai. Chương trình cho mô hình tại chỗ thường cũng cung cấp một endpoint tương thích OpenAI; mã của bạn chỉ cần thay đổi base URL. Địa chỉ mà chương trình của bạn sử dụng được nêu trong tài liệu của nó.

from openai import OpenAI

# Wechsel zwischen lokalem Endpunkt und API nur über die Basis-URL
client = OpenAI(
    base_url="https://api.unzensiertesllm.com/v1",
    api_key="DEIN_SCHLUESSEL",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Schreibe zwei Sätze über einen Hafen bei Nacht."}],
)
print(r.choices[0].message.content)

Để thử nghiệm, bạn nhận $0,50 tín dụng dùng thử miễn phí tại trang lấy khóa API sau khi đăng nhập: một lần mỗi người, có hiệu lực 7 ngày, không cần thông tin thanh toán. Các lựa chọn khác được so sánh tại bảng so sánh AI không kiểm duyệt, chi tiết kỹ thuật có trong tài liệu.

Một giới hạn áp dụng cho mọi cách: nội dung liên quan đến tình dục với người chưa thành niên bị loại trừ. Các prompt không được dùng để huấn luyện.

Hướng dẫn khác

Câu hỏi thường gặp

Mô hình 7 tỷ tham số cần bao nhiêu bộ nhớ?

Các trọng số chiếm khoảng 14 GB ở 16 bit, 7 GB ở 8 bit và 3,5 GB ở 4 bit. Ngữ cảnh và mã chương trình sẽ cộng thêm.

Mọi mô hình tại chỗ đều phản hồi mà không từ chối?

Không. Hành vi phụ thuộc vào từng phiên bản cụ thể. Hãy kiểm tra mọi phiên bản mới bằng các prompt thử nghiệm của riêng bạn.

Chi phí API so với phần cứng tự sở hữu là bao nhiêu?

Với 100 yêu cầu mỗi ngày, 2.500 token đầu vào và 500 token đầu ra, chi phí là $1,875 mỗi tháng. Bạn phải tự tính toán chi phí phần cứng bằng các con số của riêng mình.

Tôi có thể dùng cùng mã nguồn cho cả tại chỗ và qua API không?

Thường là có, vì cả hai đều có thể tương thích OpenAI. Bạn chỉ cần thay đổi base URL, khóa và tên mô hình.

Khóa của bạn chỉ cách một cú nhấp chuột

Tạo tài khoản, sao chép khóa, điều chỉnh base URL. Thế là xong.

Nhận khóa API