नौसिखियों के लिए AI
01टोकन क्या है?
टोकन वह छोटा टेक्स्ट खंड होता है जिसके साथ एक AI काम करता है – आमतौर पर एक छोटा शब्द या शब्द का कोई हिस्सा। “House” आमतौर पर एक ही टोकन होता है, जबकि “internationalisation” जैसे लंबे शब्दों में कई टोकन होते हैं। एक सामान्य नियम के अनुसार: 1,000 टोकन लगभग 750 अंग्रेजी शब्दों के बराबर होते हैं, जो लगभग डेढ़ पृष्ठ के बराबर है।
आपको प्रत्येक टोकन के लिए भुगतान करना होता है – इनपुट में भेजी गई जानकारी के लिए एक बार और आउटपुट रूप में प्राप्त उत्तर के लिए एक बार। इसी कारण एक छोटे ईमेल की लागत एक सेंट के एक छोटे हिस्से के बराबर होती है, जबकि पूरी किताब का सारांश तैयार करने में काफी अधिक खर्च आता है।
02कंटेक्स्ट विंडो क्या है?
कंटेक्स्ट विंडो, किसी मॉडल की “अल्पकालिक स्मृति” होती है – यह बताती है कि वह एक साथ कितना टेक्स्ट देख सकता है, जैसे आपका प्रश्न, संलग्न दस्तावेज़ एवं अब तक हुई बातचीत, ये सब मिलाकर। इसको टोकनों में मापा जाता है।
उदाहरण के लिए, 32,000-टोकन की कंटेक्स्ट क्षमता वाला मॉडल एक बार में लगभग 40–50 पृष्ठ पढ़ सकता है। यदि आपका दस्तावेज़ इससे लंबा है, तो उसे विभाजित करना होगा – या आपको बड़ी कंटेक्स्ट विंडो वाला मॉडल चाहिए। हालाँकि, बड़ी क्षमता हमेशा बेहतर नहीं होती: लंबे इनपुट के लिए अधिक लागत आती है, एवं कुछ मॉडल बहुत लंबे पाठों में विवरणों को छोड़ देते हैं।
03पैरामीटर्स की संख्या का क्या अर्थ है?
पैरामीटर्स वे “समायोजन नॉब” होते हैं जिन्हें कोई मॉडल प्रशिक्षण के दौरान सीखता है। एक “70B” मॉडल में ऐसे 70 अरब पैरामीटर्स होते हैं। अधिक पैरामीटर्स आमतौर पर अधिक ज्ञान का संकेत देते हैं – लेकिन इसके लिए अधिक कंप्यूटिंग शक्ति एवं महंगा हार्डवेयर भी आवश्यक होता है।
अकेले इस संख्या से गुणवत्ता के बारे में बहुत कम जानकारी मिलती है: अक्सर प्रशिक्षण डेटा एवं प्रशिक्षण विधियाँ ही अधिक महत्वपूर्ण होती हैं। अच्छी तरह प्रशिक्षित छोटा मॉडल खराब तरीके से प्रशिक्षित बड़े मॉडल से बेहतर प्रदर्शन कर सकता है – ठीक वैसे ही जैसे मोटी विश्वकोश पुस्तकें स्वचालित रूप से एक अच्छी पतली पुस्तक से बेहतर जानकारी नहीं दे पातीं। कई प्रदाता तो यह संख्या ही प्रकाशित नहीं करते।
04आपको मॉडल को स्थानीय रूप से चलाने हेतु कौन सा हार्डवेयर चाहिए?
सबसे महत्वपूर्ण बात आपके ग्राफिक्स कार्ड की मेमोरी (VRAM) है। मॉडल को इसमें ही फिट होना चाहिए, वरना कार्य करने की गति बहुत धीमी हो जाती है। सामान्य संपीड़ित संस्करण के लिए एक सामान्य नियम यह है: प्रति एक अरब पैरामीटर लगभग 0.6 GB, साथ ही 1–2 GB अतिरिक्त मेमोरी।
उदाहरण के लिए 7B मॉडल को लगभग 6 GB मेमोरी चाहिए, इसलिए यह 8 GB वाले RTX 4060 पर चल सकता है। 70B मॉडल को 40 GB से अधिक मेमोरी चाहिए – कोई भी सामान्य ग्राफिक्स कार्ड इतनी मेमोरी नहीं रखता। M-सीरीज़ चिप वाले मैक में मुख्य मेमोरी GPU के साथ साझा होती है, इसलिए वे अक्सर बड़े मॉडलों को संभाल सकते हैं। यह ग्राफिक्स कार्ड के बिना भी काम करता है, लेकिन बहुत धीरे। विंडोज़ में आप टास्क मैनेजर → परफॉर्मेंस → GPU में अपनी GPU मेमोरी देख सकते हैं।