HI ▾

स्थानीय LLM बिना सेंसर के: हार्डवेयर, रखरखाव, विकल्प

एक बिना सेंसर वाला स्थानीय LLM आपको पूर्ण नियंत्रण देता है, लेकिन हार्डवेयर और रखरखाव की मांग करता है। यहाँ पढ़ें कि आप मेमोरी की आवश्यकता का आकलन कैसे करें, दैनिक जीवन में क्या खर्च आता है और कब API अधिक लाभदायक है।

बिना सेंसर AI: LLM-API बनाम स्थानीय मॉडल बनाम क्लाउड सेवाएँ

अपडेट किया गया

डेस्कटॉप GPU और LightBridge के साथ सर्वर में बदलें: लोकल मॉडल या होस्टेड API

महत्वपूर्ण बिंदु

  • स्टोरेज की आवश्यकता का अनुमान पैरामीटर की संख्या और वजन की बिट चौड़ाई से लगाया जा सकता है।
  • इसमें कॉन्टेक्स्ट, रनटाइम प्रोग्राम और ऑपरेटिंग सिस्टम भी शामिल हैं, इसलिए आप एक रिजर्व (बफर) निर्धारित करें।
  • रखरखाव का प्रयास: अपडेट, मॉडल बदलना, ड्राइवर और जाँच कि क्या मॉडल वास्तव में अस्वीकार नहीं करता।
  • कम उपयोग या बड़े मॉडलों के लिए, होस्टेड API अक्सर आसान समाधान होती है।

स्वयं गणना के लिए मेमोरी की आवश्यकता

जो बिना सेंसर स्थानीय LLM चलाना चाहते हैं, वे सबसे पहले पूछते हैं: क्या यह मेरे कंप्यूटर पर फिट होगा? मॉडल के वजन के लिए एक अनुमानित सूत्र है: पैरामीटर की संख्या × प्रति वजन बाइट। नीचे दिए गए मान अनुमान हैं।

मॉडल आकार16 बिट (2 बाइट)8 बिट (1 बाइट)4 बिट (0,5 बाइट)
7 अरब पैरामीटर14 GB7 GB3,5 जीबी
13 अरब पैरामीटर26 GB13 जीबी6,5 जीबी
70 अरब पैरामीटर140 GB70 GB35 GB

ये केवल वजन हैं। इसमें कॉन्टेक्स्ट विंडो के लिए कैश जुड़ता है, जो बातचीत की लंबाई के साथ बढ़ता है, और प्रोग्राम का ओवरहेड। इसलिए तालिका से दिखाए गए से काफी अधिक की योजना बनाएं। कम बिट चौड़ाई जगह बचाती है, लेकिन अक्सर गुणवत्ता कम होती है। यह कितना प्रभावित करता है, यह मॉडल पर निर्भर करता है, और हम इसके लिए जानबूझकर कोई संख्या नहीं देते।

ग्राफ़िक कार्ड, मेमोरी या दोनों

यदि मॉडल पूरी तरह से वीडियो मेमोरी (VRAM) में चलता है, तो यह सबसे तेज उत्तर देता है। यदि यह फिट नहीं होता, तो प्रोग्राम हिस्से RAM में शिफ्ट कर सकते हैं, जिससे गति काफी कम हो जाती है। CPU और GPU के लिए साझा मेमोरी वाले कंप्यूटर पर (जैसे Apple चिप्स वाले लैपटॉप), सीमा कुल मेमोरी होती है।

खरीदने से पहले निम्नलिखित जाँचें:

  • आप वास्तव में किस मॉडल का उपयोग करना चाहते हैं, और किस क्वांटीज़ेशन में?
  • बातचीत कितनी लंबी होनी चाहिए? लंबे कॉन्टेक्स्ट को अधिक स्टोरेज की आवश्यकता होती है।
  • प्रत्येक उत्तर के लिए आपके लिए स्वीकार्य प्रतीक्षा समय कितना है?
  • क्या मशीन केवल आपके लिए चल रही है या यह कई लोगों की सेवा कर रही है?

आपकी कॉन्फ़िगरेशन के लिए प्रति सेकंड विशिष्ट टोकन की संख्या हम नहीं बताते। इसे अपने मॉडल से मापें, क्योंकि अन्य परीक्षणों के मानों को स्थानांतरित नहीं किया जा सकता।

वह रखरखाव, जिसकी योजना पहले कम ही लगाई जाती है

प्रोग्राम और पूर्व ज्ञान के आधार पर इंस्टॉलेशन अक्सर जल्दी पूरा हो जाता है। इसके बाद निरंतर कार्य शुरू होता है:

  1. मॉडल चयन: लगातार नए विकल्प आते रहते हैं। हर नए संस्करण का परीक्षण करना आवश्यक है।
  2. अस्वीकरण व्यवहार जांचें: ज़रूरी नहीं कि बिना सेंसर के रूप में वर्णित हर मॉडल आपके विषयों पर जवाब दे। टेस्ट प्रॉम्प्ट्स की एक स्थिर सूची बनाएं और हर नए वेरिएंट की जांच उससे करें।
  3. अपडेट: रनटाइम प्रोग्राम, ड्राइवर और मॉडल फॉर्मेट बदलते हैं। एक अपडेट सेटअप खराब कर सकता है।
  4. सुरक्षा: मॉडल और प्रोग्राम केवल उन स्रोतों से डाउनलोड करें जिन पर आप भरोसा करते हैं, और फ़ाइलों की जाँच करें। एक संशोधित डाउनलोड एक वास्तविक जोखिम है।
  5. अन्य उपयोगकर्ताओं के लिए संचालन: जैसे ही कोई अन्य आपके मॉडल तक पहुँचना चाहता है, एक्सेस सुरक्षा, रीस्टार्ट और मॉनिटरिंग जुड़ते हैं।

जो लोग इसे करना पसंद करते हैं, उन्हें इसमें मज़ा आता है और वे बहुत कुछ सीखते हैं। जो लोग केवल जवाब चाहते हैं, उन्हें इसे एक बोझ समझते हैं।

कब होस्टेड API बेहतर विकल्प है

API तभी उचित है जब कम से कम एक निम्नलिखित कथन सत्य हो:

  • आपका हार्डवेयर वांछित मॉडल को सपोर्ट नहीं करता।
  • आप इसे कम उपयोग करते हैं, और खरीदना लाभदायक नहीं है।
  • एक एप्लिकेशन या बॉट को अन्य लोगों के लिए विश्वसनीय रूप से जवाब देना है।
  • आपको मेमोरी अपग्रेड किए बिना लंबा कॉन्टेक्स्ट विंडो चाहिए।
  • आप रखरखाव में समय नहीं लगाना चाहते।

हमारी API एक स्वतंत्र प्रदाता के एक ओपन-वेट मॉडल को प्रदान करती है, जो वयस्कों के कानूनी उपयोग के लिए सामग्री अस्वीकार के बिना जवाबों के लिए अनुकूलित है। कॉन्टेक्स्ट विंडो 100,000 टोकन तक है। इंटरफ़ेस OpenAI-कम्पैटिबल है; वही क्लाइंट जो आप स्थानीय रूप से उपयोग करते हैं, अक्सर बदली गई बेस URL के साथ काम करते हैं। यह केवल टेक्स्ट-आधारित है।

अपने हार्डवेयर की तुलना में लागत

API की लागत 1M इनपुट टोकन के लिए $0.15 और 1M आउटपुट टोकन के लिए $0.50 है, बिना सब्सक्रिप्शन के। एक उदाहरण: प्रतिदिन 100 अनुरोध, प्रत्येक 2,500 इनपुट टोकन और 500 आउटपुट टोकन, 30 दिन।

  • अनुरोध: 3,000
  • इनपुट: 3,000 × 2,500 = 7.5 मिलियन टोकन × $0.15 = $1.125
  • आउटपुट: 3,000 × 500 = 1.5 मिलियन टोकन × $0.50 = $0.75
  • कुल: $1.875 प्रति माह

इसके विपरीत एक उपयुक्त GPU, बिजली और अपनी समय लागत की गणना करें। स्वयं की गणना करें कि इस स्कोप के साथ स्थानीय हार्डवेयर किस रनटाइम पर लागत पुनर्प्राप्त करेगा। यदि आप प्रतिदिन लाखों अनुरोध प्रोसेस करते हैं, तो गणना अलग होगी। स्तरीय बोनस और टॉप-अप ($20 से $500, USDT via TRC20 या USDC via Base पर भुगतान) मूल्य पृष्ठ पर उपलब्ध हैं। विफल अनुरोधों के लिए चार्ज नहीं किया जाता, और क्रेडिट नहीं बर्बाद होता।

मध्यमार्ग: स्थानीय रूप से परीक्षण करें, API का उपयोग करें

बहुत से लोग दोहरे रास्ते अपनाते हैं। स्थानीय मॉडल के लिए प्रोग्राम अक्सर एक OpenAI-कम्पैटिबल एंडपॉइंट भी प्रदान करता है; आपको केवल बेस-URL बदलने की आवश्यकता होती है। आपका प्रोग्राम कौन-सी एड्रेस उपयोग करता है, यह उसकी दस्तावेज़ीकरण में लिखा है।

from openai import OpenAI

# Wechsel zwischen lokalem Endpunkt und API nur über die Basis-URL
client = OpenAI(
    base_url="https://api.unzensiertesllm.com/v1",
    api_key="DEIN_SCHLUESSEL",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Schreibe zwei Sätze über einen Hafen bei Nacht."}],
)
print(r.choices[0].message.content)

प्रयोग करने के लिए, साइन इन करने के बाद API कुंजी प्राप्त करें पृष्ठ से $0.50 परीक्षण क्रेडिट प्राप्त करें: प्रति व्यक्ति एक बार, 7 दिनों के लिए मान्य, बिना भुगतान विवरण के। बिना सेंसर AI की तुलना अतिरिक्त चयन मानदंड प्रदान करती है, और तकनीकी विवरण दस्तावेज़ीकरण में उपलब्ध हैं।

हर रास्ते पर एक सीमा लागू होती है: नाबालिगों से संबंधित यौन सामग्री प्रतिबंधित है। प्रॉम्प्ट को प्रशिक्षण के लिए उपयोग नहीं किया जाता है।

अधिक निर्देश

अक्सर पूछे जाने वाले प्रश्न

7 बिलियन पैरामीटर वाले मॉडल को कितनी स्टोरेज चाहिए?

वजन अकेले ही 16-बिट पर लगभग 14 GB, 8-बिट पर 7 GB और 4-बिट पर 3.5 GB जगह लेते हैं। इसमें कॉन्टेक्स्ट और प्रोग्राम भी जुड़ते हैं।

क्या हर स्थानीय मॉडल बिना अस्वीकृति के जवाब देता है?

नहीं। व्यवहार विशिष्ट संस्करण पर निर्भर करता है। प्रत्येक नए संस्करण को अपने परीक्षण प्रॉम्प्ट से जांचें।

API की लागत अपने हार्डवेयर की तुलना में कितनी है?

दिन में 100 अनुरोध, 2,500 इनपुट टोकन और 500 आउटपुट टोकन के साथ, यह महीने में $1.875 होता है। हार्डवेयर की गणना आप अपने आंकड़ों से स्वयं करें।

क्या मैं उसी कोड को स्थानीय रूप से और API के माध्यम से उपयोग कर सकता हूँ?

अक्सर हाँ, क्योंकि दोनों OpenAI-संगत हो सकते हैं। आप Base URL, कुंजी और मॉडल नाम बदलते हैं।

आपकी API कुंजी केवल एक क्लिक की दूरी पर है

खाता बनाएं, कुंजी कॉपी करें, Base URL अनुकूलित करें। बस इतना ही।

API कुंजी प्राप्त करें