نموذج LLM محلي بدون رقابة: الأجهزة، الصيانة، البديل
يوفر لك نموذج LLM محلي بدون رقابة تحكماً كاملاً، لكنه يتطلب أجهزة وصيانة. اقرأ هنا كيفية تقدير احتياجاتك من المساحة، وما الذي يتطلبه الأمر في الاستخدام اليومي، ومتى تكون واجهة برمجة التطبيقات أكثر جدوى.


نقاط رئيسية
- يمكن حساب متطلبات الذاكرة تقريبياً من خلال عدد المعلمات وعرض البت للأوزان.
- إلى ذلك يضاف السياق وبرنامج التشغيل ونظام التشغيل، لذا خصص هامشاً من الاحتياطي.
- جهد الصيانة: التحديثات، تغيير النموذج، برامج التشغيل، والتحقق من أن النموذج لا يرفض حقاً.
- في حال الاستخدام النادر أو النماذج الكبيرة، غالباً ما تكون واجهة برمجة التطبيقات المستضافة الحل الأسهل.
حساب متطلبات الذاكرة بنفسك
من يريد تشغيل نموذج LLM محلي بدون رقابة، يسأل أولاً: هل يتسع لجهازي؟ بالنسبة لأوزان النموذج، توجد قاعدة تقريبية: عدد المعلمات مضروبة في البايتات لكل وزن. القيم أدناه هي تقريبات.
| حجم النموذج | 16 بت (2 بايت) | 8 بت (1 بايت) | 4 بت (0.5 بايت) |
|---|---|---|---|
| 7 مليارات معلمة | 14 GB | 7 GB | 3.5 جيجابايت |
| 13 مليار معلمة | 26 GB | 13 جيجابايت | 6.5 جيجابايت |
| 70 مليار معلمة | 140 GB | 70 GB | 35 GB |
هذه هي الأوزان فقط. يضاف إليها مخزن مؤقت للسياق، الذي ينمو مع طول المحادثة، والنفقات العامة للبرنامج. لذلك خصص مساحة أكبر مما تظهره الجدولة. توفر دقة البايت المنخفضة مساحة، لكنها غالباً ما تكلف بعض الجودة. يعتمد مدى ذلك على النموذج، ونحن نذكر ذلك عمداً دون أرقام.
بطاقة رسوميات، ذاكرة وصول عشوائي، أو كليهما
عندما يعمل النموذج بالكامل في ذاكرة العرض (VRAM)، فإنه يجيب بأسرع سرعة. وإذا لم يتسع، يمكن للبرامج نقل أجزاء إلى ذاكرة الوصول العشوائي (RAM)، مما يقلل السرعة بشكل ملحوظ. في الحواسيب ذات الذاكرة المشتركة بين وحدة المعالجة المركزية ووحدة معالجة الرسومات (مثل العديد من أجهزة الكمبيوتر المحمولة ذات شريحة Apple)، يكون الحد الأقصى هو الذاكرة الإجمالية.
تحقق من التالي قبل الشراء:
- أي نموذج تريد استخدامه فعلياً، وبأي تكميم؟
- كم يجب أن تكون المحادثات؟ تتطلب السياقات الطويلة ذاكرة أكبر.
- ما مقدار وقت الانتظار لكل إجابة الذي يعتبر مقبولاً بالنسبة لك؟
- هل تعمل الآلة لك فقط، أم تخدم عدة أشخاص؟
لا نذكر الرموز المحددة لكل ثانية لإعدادتك. قسّها باستخدام النموذج الخاص بك، إذ لا يمكن نقل القيم من الاختبارات الخارجية.
جهد الصيانة الذي نادراً ما يُخطط له مسبقاً
غالباً ما تكون التركيبات سريعة الإنجاز حسب البرنامج والخبرة المسبقة. بعدها تبدأ العمل المستمر:
- اختيار النموذج: تظهر باستمرار إصدارات جديدة. كل إصدار جديد يحتاج إلى الاختبار.
- فحص سلوك الرفض: ليس كل نموذج يُوصف بأنه بدون رقابة يجيب على مواضيعك. أنشئ قائمة ثابتة من الموجّهات للاختبار وفحص كل متغير جديد بها.
- التحديثات: تتغير برامج وقت التشغيل، برامج التشغيل وتنسيقات النماذج. قد يؤدي التحديث إلى تعطيل الإعداد.
- الأمان: حمّل النماذج والبرامج فقط من مصادر تثق بها، وافحص الملفات. يعد التحميل المعدّل خطرًا حقيقيًا.
- التشغيل للآخرين: بمجرد أن يحتاج شخص آخر إلى الوصول إلى النموذج الخاص بك، ستظهر حماية الوصول، وإعادة التشغيل، والمراقبة.
من يحب ذلك يجد متعة فيه ويتعلم الكثير. ومن يحتاج فقط إلى الإجابات يعتبره عبئاً.
متى تكون الـ API المستضافة الخيار الأفضل
تكون الـ API مفيدة إذا تحققت واحدة على الأقل من العبارات التالية:
- لا تدعم عتادك النموذج المطلوب.
- أنت تستخدمه نادراً، ولا يستحق الشراء.
- تريد تطبيقاً أو روبوتاً أن يجيب بشكل موثوق للآخرين.
- تحتاج إلى نافذة سياق طويلة دون ترقية الذاكرة.
- لا تريد إنفاق الوقت في الصيانة.
توفر الـ API الخاصة بنا نموذجاً مفتوح الأوزان من مورد مستقل، ومضبوطاً للإجابات بدون رفض المحتوى للاستخدام القانوني من قبل البالغين. تشمل نافذة السياق 100.000 رمز. الواجهة متوافقة مع OpenAI؛ نفس العملاء الذين تستخدمهم محلياً يعملون غالباً بتغيير Base URL. وهي تعتمد على النص فقط.
التكلفة مقارنة بعتادك الخاص
تكلفة الـ API هي $0.15 لكل مليون رمز إدخال و $0.50 لكل مليون رمز إخراج، بدون اشتراك. مثال: 100 طلب يومياً، كل منها 2.500 رمز إدخال و 500 رمز إخراج، لمدة 30 يوماً.
- الطلبات: 3,000
- الإدخال: 3,000 × 2,500 = 7.5 مليون رمز × $0.15 = $1.125
- الإخراج: 3,000 × 500 = 1.5 مليون رمز × $0.50 = $0.75
- المجموع: $1.875 شهرياً
قارن ذلك بحساب تكلفة بطاقة الرسومات المناسبة، والكهرباء، ووقتك الخاص. احسب بنفسك متى تبدأ الأجهزة المحلية في تحقيق العائد على الاستثمار بهذا الحجم. إذا كنت تعالج ملايين الطلبات يوميًا، فإن الحساب يختلف. خصم الكمية وشحن الرصيد ($20 إلى $500، الدفع عبر USDT على TRC20 أو USDC على Base) متاحان في صفحة الأسعار. الطلبات الفاشلة لا تُحسب، ولا ينتهي الرصيد.
الطريق الوسطى: الاختبار محلياً، واستخدام الـ API
كثيرون يعملون على مسارين متوازيين. غالباً ما يوفر برنامج النموذج المحلي نقطة نهاية متوافقة مع OpenAI؛ ما عليك حينها سوى تغيير Base URL. العنوان الذي يستخدمه برنامجك مذكور في وثائقه.
from openai import OpenAI
# Wechsel zwischen lokalem Endpunkt und API nur über die Basis-URL
client = OpenAI(
base_url="https://api.unzensiertesllm.com/v1",
api_key="DEIN_SCHLUESSEL",
)
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Schreibe zwei Sätze über einen Hafen bei Nacht."}],
)
print(r.choices[0].message.content)لتجربة الخدمة، احصل على $0.50 رصيد تجريبي من صفحة الحصول على مفتاح API بعد تسجيل الدخول: لمرة واحدة لكل شخص، صالح لمدة 7 أيام، دون بيانات الدفع. يوفر مقارنة النماذج الذكية بدون رقابة معايير اختيار إضافية، بينما توفر الوثائق التفاصيل التقنية.
تنطبق حدود على كل الطرق: استُبعدت المحتويات ذات الطابع الجنسي المتعلقة بالقاصرين. لا تُستخدم الموجّهات لدينا لتدريب النماذج.
مزيد من الأدلة
الأسئلة الشائعة
كم تحتاج ذاكرة نموذج بـ 7 مليارات معلمة؟
تحتل الأوزان وحدها حوالي 14 جيجابايت عند 16 بت، و7 جيجابايت عند 8 بت، و3,5 جيجابايت عند 4 بت. ويضاف إليها السياق والبرنامج.
هل يستجيب كل نموذج محلي بدون رفض؟
لا. يعتمد السلوك على المتغير المحدد. اختبر كل إصدار جديد بموجهات اختبار خاصة بك.
كم تكلفة API مقارنة بأجهزتك الخاصة؟
عند 100 طلب في اليوم مع 2.500 رمز إدخال و500 رمز إخراج، يصبح الأمر $1.875 في الشهر. يجب أن تحسب تكلفة العتاد باستخدام أرقامك الخاصة.
هل يمكنني استخدام نفس الكود محليًا و عبر API؟
غالبًا نعم، لأن كليهما يمكن أن يكونا متوافقين مع OpenAI. تقوم بتغيير عنوان URL الأساسي، والمفتاح، واسم النموذج.
مفتاح API الخاص بك على بعد نقرة واحدة
أنشئ حسابًا، انسخ المفتاح، عدّل عنوان URL الأساسي. هذا كل شيء.
احصل على مفتاح API