Question 1

q4 या q3 पर मॉडल कितना छोटा हो जाता है?

Accepted Answer

क्वांटाइज़ेशन मॉडल के वेट्स की प्रिसिज़न घटाता है, इसलिए मेमोरी का इस्तेमाल तेजी से गिरता है। q4 बिल्ड उसी मॉडल के 16-बिट वेट्स के लगभग एक-चौथाई आकार की होती है, इसीलिए 70B मॉडल जिसे पूरी प्रिसिज़न पर मल्टी-GPU सर्वर चाहिए, एक ही लैपटॉप GPU पर समा जाता है। q3 और भी मेमोरी बचाता है पर एक्युरेसी ज्यादा घटती है, इसलिए आप अपनी पसंद के ट्रेड-ऑफ के हिसाब से हर मॉडल के लिए लेवल चुनते हैं।

Question 2

क्या मॉडल को क्वांटाइज़ करने से उसकी गुणवत्ता घटती है?

Accepted Answer

कुछ हद तक, हां। क्वांटाइज़ेशन एक ट्रेड-ऑफ है: q4 काफी मेमोरी बचाते हुए मॉडल की अधिकांश गुणवत्ता बनाए रखता है, जबकि q3 ज्यादा मेमोरी बचाता है और ज्यादा एक्युरेसी खोता है। osFoundry आपको हर मॉडल के लिए लेवल चुनने और ओरिजिनल को क्वांटाइज़्ड कॉपी के साथ रखने देता है, ताकि आप आंख मूंदकर तय करने के बजाय तुलना करके देख सकें कि आपके काम के लिए क्या स्वीकार्य है।

Question 3

क्वांटाइज़ेशन कहां चलता है, और क्या मेरा मॉडल मेरी मशीन से बाहर जाता है?

Accepted Answer

यह लोकल चलता है। osFoundry एक लोकल-फर्स्ट, अपनी-चाबी-लाओ डेस्कटॉप वर्कस्पेस है, इसलिए क्वांटाइज़ेशन आपके डिवाइस पर होता है और क्वांटाइज़्ड मॉडल वहीं रहता है जब तक आप उसे हटाने का चुनाव न करें। न कोई अनिवार्य क्लाउड अपलोड है, न आपके और मॉडल के बीच कोई रीसेलर—यही इसे प्राइवेट या ऑफलाइन काम के लिए उपयुक्त बनाता है।