TH ▾

LLM ท้องถิ่นแบบไม่เซ็นเซอร์: ฮาร์ดแวร์ การดูแลรักษา และทางเลือก

LLM แบบโลคอลแบบไม่เซ็นเซอร์ให้คุณควบคุมได้เต็มที่ แต่ต้องการฮาร์ดแวร์และการดูแลรักษา ที่นี่คุณจะได้เรียนรู้วิธีประเมินความต้องการพื้นที่จัดเก็บเอง สิ่งที่ต้องเกิดขึ้นในชีวิตประจำวัน และเมื่อไหร่ที่การใช้ API จะคุ้มค่ากว่า

AI แบบไม่เซ็นเซอร์: LLM API เทียบกับโมเดลท้องถิ่น เทียบกับบริการคลาวด์

อัปเดต

คอมพิวเตอร์ในบ้านพร้อมการ์ดจอและ Light Bridge กลายเป็นเซิร์ฟเวอร์: โมเดลท้องถิ่นหรือ API แบบโฮสต์

จุดสำคัญ

  • ความต้องการหน่วยความจำสามารถคำนวณโดยประมาณจากจำนวนพารามิเตอร์และความกว้างของบิตในน้ำหนักโมเดล
  • นอกจากนี้ยังต้องรวมบริบท โปรแกรมรันไทม์ และระบบปฏิบัติการ ควรเผื่อพื้นที่สำรองไว้
  • ความพยายามในการดูแล: การอัปเดต การเปลี่ยนโมเดล ไดรเวอร์ และการตรวจสอบว่าโมเดลไม่ปฏิเสธจริงหรือไม่
  • สำหรับการใช้งานไม่บ่อยหรือโมเดลขนาดใหญ่ การใช้ API แบบโฮสต์มักเป็นวิธีที่ง่ายกว่า

ความต้องการหน่วยความจำสำหรับการคำนวณเอง

ใครที่ต้องการรัน LLM แบบโลคอลแบบไม่เซ็นเซอร์ คำถามแรกมักคือ: มันจะลงเครื่องคอมพิวเตอร์ของฉันได้ไหม? สำหรับน้ำหนักของโมเดล มีสูตรประมาณการแบบง่ายคือ: จำนวนพารามิเตอร์คูณด้วยไบต์ต่อน้ำหนักหนึ่งหน่วย ค่าด้านล่างเป็นค่าประมาณ

ขนาดโมเดล16 บิต (2 ไบต์)8 บิต (1 ไบต์)4 บิต (0,5 ไบต์)
พารามิเตอร์ 7 พันล้าน14 GB7 GB3,5 จิกะไบต์
พารามิเตอร์ 13 พันล้าน26 GB13 GB6,5 จิกะไบต์
พารามิเตอร์ 70 พันล้าน140 GB70 GB35 GB

นี่คือน้ำหนักโมเดลเท่านั้น ยังต้องรวมพื้นที่ชั่วคราวสำหรับหน้าต่างบริบทที่ขยายตามความยาวของการสนทนา และโอเวอร์เฮดของโปรแกรม ดังนั้นควรเผื่อพื้นที่มากกว่าที่ตารางแสดงอย่างชัดเจน ความกว้างของบิตที่ต่ำกว่าช่วยประหยัดพื้นที่แต่มักเสียคุณภาพไปบ้าง ระดับความสูญเสียขึ้นอยู่กับโมเดล และเราตั้งใจไม่ระบุตัวเลขเฉพาะ

การ์ดจอ แรม หรือทั้งสองอย่าง

หากโมเดลทำงานในหน่วยความจำกราฟิกได้ทั้งหมด มันจะตอบได้เร็วที่สุด หากไม่พอดี โปรแกรมสามารถย้ายส่วนหนึ่งไปเก็บในแรมได้ ซึ่งทำให้ความเร็วลดลงอย่างมาก บนคอมพิวเตอร์ที่ใช้หน่วยความจำรวมระหว่าง CPU และ GPU (เช่น แล็ปท็อปจำนวนมากที่ใช้ชิป Apple) ขีดจำกัดคือหน่วยความจำรวมทั้งหมด

ตรวจสอบสิ่งต่อไปนี้ก่อนซื้อ:

  • คุณต้องการใช้โมเดลใดจริง ๆ และใช้การควอนไทซ์ระดับใด
  • การสนทนาควรยาวแค่ไหน? บริบทที่ยาวต้องการพื้นที่มากขึ้น
  • ระยะเวลาการรอต่อคำตอบที่ยอมรับได้สำหรับคุณคือเท่าใด
  • เครื่องทำงานเพื่อคุณคนเดียวหรือให้บริการหลายบุคคล

เราไม่ระบุจำนวนโทเคนต่อวินาทีที่แน่นอนสำหรับการกำหนดค่าของคุณ วัดด้วยโมเดลของคุณเอง เพราะค่าจากแหล่งทดสอบอื่นไม่สามารถนำไปใช้กับระบบของคุณได้

ภาระงานในการดูแลรักษาซึ่งมักไม่ได้วางแผนไว้ล่วงหน้า

การติดตั้งมักเสร็จสิ้นอย่างรวดเร็วขึ้นอยู่กับโปรแกรมและความรู้เดิม หลังจากนั้นจะเริ่มงานประจำ:

  1. การเลือกโมเดล: มีรูปแบบใหม่ๆ ปรากฏขึ้นอย่างต่อเนื่อง ทุกเวอร์ชันใหม่ต้องผ่านการทดสอบ
  2. ตรวจสอบพฤติกรรมการปฏิเสธ: ไม่ใช่ทุกโมเดลที่อธิบายว่าไม่เซ็นเซอร์จะตอบกลับหัวข้อของคุณ สร้างรายการพรอมต์ทดสอบที่ตายตัวและใช้รายการนี้ตรวจสอบทุกรูปแบบใหม่
  3. การอัปเดต: Runtime ไดรเวอร์ และรูปแบบโมเดลมีการเปลี่ยนแปลง การอัปเดตอาจทำให้การตั้งค่าเสียได้
  4. ความปลอดภัย: ดาวน์โหลดโมเดลและโปรแกรมเฉพาะจากแหล่งที่คุณเชื่อถือและตรวจสอบไฟล์ การดาวน์โหลดที่ถูกแก้ไขเป็นความเสี่ยงที่แท้จริง
  5. การใช้งานสำหรับผู้อื่น: เมื่อมีบุคคลอื่นต้องการเข้าถึงโมเดลของคุณ จะมีการเพิ่มการป้องกันสิทธิ์การเข้าถึง การรีสตาร์ท และการตรวจสอบ

ผู้ที่ชอบทำสิ่งนี้จะสนุกและเรียนรู้ได้มาก ผู้ที่ต้องการเพียงคำตอบอาจรู้สึกว่าเป็นภาระ

เมื่อไหร่ที่ API แบบโฮสต์เป็นทางเลือกที่ดีกว่า

API มีประโยชน์หากอย่างน้อยหนึ่งข้อกล่าวเหล่านี้เป็นจริง:

  • ฮาร์ดแวร์ของคุณไม่สามารถรองรับโมเดลที่ต้องการได้
  • คุณใช้งานไม่บ่อย และการซื้อหาไม่คุ้มค่า
  • แอปพลิเคชันหรือบอทต้องตอบได้อย่างน่าเชื่อถือสำหรับผู้อื่น
  • คุณต้องการหน้าต่างบริบทที่ยาวขึ้นโดยไม่ต้องอัปเกรดหน่วยความจำ
  • คุณไม่ต้องการใช้เวลาในการดูแลรักษา

API ของเราให้บริการโมเดลแบบเปิดน้ำหนักจากผู้ผลิตอิสระ ซึ่งปรับแต่งมาเพื่อตอบคำถามโดยไม่มีการปฏิเสธเนื้อหา สำหรับการใช้งานที่ถูกต้องตามกฎหมายโดยผู้ใหญ่ หน้าต่างบริทครอบคลุม 100.000 โทเคน อินเทอร์เฟซเข้ากันได้กับ OpenAI; ไคลเอนต์ที่คุณใช้แบบโลคัลมักทำงานได้ด้วยการเปลี่ยน Base URL เป็น API ของเราซึ่งเป็นแบบข้อความล้วน

ค่าใช้จ่ายเมื่อเทียบกับฮาร์ดแวร์ของคุณเอง

API คิดราคา $0.15 ต่อ 1M Input-Tokens และ $0.50 ต่อ 1M Output-Tokens ไม่มีค่าสมาชิก ตัวอย่าง: 100 คำขอต่อวัน แต่ละคำขอมี Input 2,500 โทเคน และ Output 500 โทเคน เป็นเวลา 30 วัน

  • คำขอ: 3.000
  • Input: 3,000 × 2,500 = 7,5 ล้านโทเคน × $0.15 = $1.125
  • Output: 3,000 × 500 = 1,5 ล้านโทเคน × $0.50 = $0.75
  • รวม: $1.875 ต่อเดือน

นำค่านี้ไปเปรียบเทียบกับค่าใช้จ่ายสำหรับการ์ดจอที่เหมาะสม ไฟฟ้า และเวลาของคุณเอง คำนวณเองว่าระยะเวลาการใช้งานเท่าใดที่ฮาร์ดแวร์แบบโลคอลจะเริ่มคุ้มทุน แต่ถ้าคุณประมวลผลคำขอเป็นล้านต่อวัน ค่าใช้จ่ายจะแตกต่างกัน ส่วนลดตามปริมาณและการเติมเงิน ($20 ถึง $500 ชำระด้วย USDT บน TRC20 หรือ USDC บน Base) ดูได้ที่ หน้าราคา คำขอที่ล้มเหลวจะไม่ถูกคิดเงิน และเครดิตไม่หมดอายุ

ทางสายกลาง: ทดสอบแบบโลคอล ใช้ API

หลายคนทำงานแบบคู่ขนาน โปรแกรมสำหรับโมเดลในเครื่องมักมีเอนด์พอยต์ที่เข้ากันได้กับ OpenAI ให้ด้วย; โค้ดของคุณจึงเปลี่ยนแค่ Base URL ที่โปรแกรมใช้ ซึ่งระบุไว้ในเอกสารของโปรแกรมนั้น

from openai import OpenAI

# Wechsel zwischen lokalem Endpunkt und API nur über die Basis-URL
client = OpenAI(
    base_url="https://api.unzensiertesllm.com/v1",
    api_key="DEIN_SCHLUESSEL",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Schreibe zwei Sätze über einen Hafen bei Nacht."}],
)
print(r.choices[0].message.content)

เพื่อลองใช้ หลังจากเข้าสู่ระบบแล้ว คุณสามารถรับเครดิตทดลองใช้ $0.50 ได้ที่หน้า รับคีย์ API: ให้ครั้งเดียวต่อบุคคล ใช้ได้ 7 วัน ไม่ต้องใส่ข้อมูลการชำระเงิน เกณฑ์การเลือกเพิ่มเติมมีใน การเปรียบเทียบ AI แบบไม่เซ็นเซอร์ และรายละเอียดทางเทคนิคอยู่ใน เอกสาร

ข้อจำกัดหนึ่งที่ใช้กับทุกเส้นทาง: เนื้อหาที่มีลักษณะทางเพศกับผู้เยาว์จะถูกตัดออก พรอมต์ของคุณจะไม่ถูกนำไปใช้ในการฝึกโมเดล

คู่มือเพิ่มเติม

คำถามที่พบบ่อย

โมเดลที่มีพารามิเตอร์ 7 พันล้านต้องการพื้นที่จัดเก็บเท่าไร?

เฉพาะน้ำหนักโมเดลใช้พื้นที่ประมาณ 14 GB ที่ 16 บิต 7 GB ที่ 8 บิต และ 3.5 GB ที่ 4 บิต ยังต้องบวกพื้นที่สำหรับหน้าต่างบริบทและโค้ดโปรแกรม

โมเดลในเครื่องทุกตัวตอบกลับโดยไม่ปฏิเสธหรือไม่?

ไม่ พฤติกรรมขึ้นอยู่กับเวอร์ชันเฉพาะ ให้ทดสอบเวอร์ชันใหม่ด้วยพรอมต์ของคุณเอง

API มีค่าใช้จ่ายเมื่อเทียบกับฮาร์ดแวร์ของคุณเองเท่าไร?

เมื่อใช้งาน 100 คำขอต่อวัน ด้วย input 2,500 โทเคนและ output 500 โทเคน จะคิดเงิน $1.875 ต่อเดือน คุณต้องคำนวณต้นทุนฮาร์ดแวร์ด้วยตัวเลขของคุณเอง

สามารถใช้โค้ดเดียวกันทั้งแบบ local และผ่าน API ได้หรือไม่?

มักจะเป็นเช่นนั้น เพราะทั้งสองอย่างสามารถเข้ากันได้กับ OpenAI คุณเพียงเปลี่ยน Base URL, คีย์ API และชื่อโมเดล

คีย์ API ของคุณอยู่ห่างออกไปเพียงคลิกเดียว

สร้างบัญชี, คัดลอกคีย์, ปรับ Base URL เสร็จแล้ว

รับคีย์ API