DeepSeek ने DeepInfer जारी किया है, जो उसके V4.1 Flash मॉडल को ऑफलाइन इन्फरेंस जॉब में चलाने का कोड है। प्रकाशित तरीका खास तौर पर विशिष्ट है: Linux, हाल का कंपाइलर और Python संस्करण, तथा NVIDIA SM100 GPU या Huawei Ascend 950 NPU। यह मार्गदर्शिका इंजीनियर को यह तय करने, कोड बिल्ड करने और रिपॉज़िटरी के उदाहरण के आउटपुट की जाँच करने में मदद करती है कि आवश्यकताएँ पूरी होती हैं या नहीं। BIG CHANGE ने दस्तावेज़ और स्रोत फ़ाइलों की समीक्षा कमिट 774ce244 पर की; हमने DeepInfer को बिल्ड या रन नहीं किया।

बड़ा बदलाव

  • क्या बदला: DeepSeek अब होस्ट किए गए मॉडल और API के साथ V4.1 Flash के लिए लोकल इन्फरेंस का तरीका भी दस्तावेज़ों में देता है। समर्थित एक्सेलरेटर वाली टीम इस मॉडल के लिए केवल रिमोट अनुरोध पर निर्भर रहने के बजाय प्रकाशित इंजन कोड को जाँच और चला सकती है।
  • यह क्यों मायने रखता है: इससे इन्फ्रास्ट्रक्चर टीमों को मॉडल के रन, उसके चेकपॉइंट और आसपास के वातावरण पर नियंत्रण का आकलन करने का ठोस तरीका मिलता है। प्रकाशित बिल्ड और उदाहरण मूल्यांकन की शुरुआत हैं; DeepSeek पूरी इन्फरेंस सेवा के लिए आवश्यक अतिरिक्त घटकों की स्पष्ट सूची देता है।
  • किन बातों पर नज़र रखें: वास्तविक वर्कलोड की सेवा देने का निर्णय अब भी KV कैश सिस्टम, विजुअल एन्कोडिंग, प्रीफिल और डिकोड को अलग करने तथा डेटा-पैरेलल प्रतिकृतियों के बीच लोड बैलेंसिंग पर निर्भर है। DeepInfer का ऑफलाइन उदाहरण इन एकीकरण विकल्पों या सेवा की संचालन लागत का फैसला नहीं करता।

पहले मशीन और मॉडल जाँचें

यह ऐसे इंजीनियर के लिए है जिसके पास समर्थित एक्सेलरेटर क्लस्टर का एक्सेस, स्रोत कोड और डिपेंडेंसी इंस्टॉल करने का अधिकार हो और जिसे DeepSeek-V4.1-Flash-1017 चेकपॉइंट प्राप्त करने की अनुमति हो। रिपॉज़िटरी केवल DeepSeek-V4.1-Flash परिवार को समर्थित बताती है। इसमें NVIDIA SM100 GPU और Huawei Ascend 950 NPU के साथ Linux, GCC 13 या नया संस्करण और Python 3.12 बताए गए हैं। NVIDIA बिल्ड के लिए CUDA 13 चाहिए; Ascend बिल्ड के लिए CANN 9.2। ये DeepSeek की बताई हुई पूर्वशर्तें हैं, हमारी प्रयोगशाला से मिला संगतता-परीक्षण का नतीजा नहीं।

एक्सेलरेटर हार्डवेयर, चेकपॉइंट के लिए पर्याप्त क्षमता और उसे चलाने की लागत की योजना बनाएँ। README में ऑफलाइन उदाहरण के लिए सामान्य मेमोरी आकार या डॉलर में लागत का अनुमान नहीं है। उसका प्रदर्शन अनुभाग चार्ट और अलग-अलग कॉन्फ़िगरेशन जाँचने वाली स्क्रिप्ट की ओर संकेत करता है, लेकिन खरीद के अनुमान के लिए प्रीफिल/डिकोड की संख्यात्मक तालिका नहीं देता। हार्डवेयर खरीदने या क्लाउड संसाधन आवंटन की प्रतिबद्धता करने से पहले अपने वातावरण की क्षमता और कीमतें जाँचें।

डिफ़ॉल्ट रूप से पहली बार चलाने पर चेकपॉइंट Hugging Face कैश में डाउनलोड होता है। इसके बदले पहले से तैयार लोकल Hugging Face मॉडल डायरेक्टरी इस्तेमाल की जा सकती है, जिसमें config.json और safetensors फ़ाइलें हों। DeepSeek के अनुसार, लोकल डायरेक्टरी वाला तरीका मॉडल प्राप्त करने के लिए नेटवर्क एक्सेस के बिना चलता है। इससे यह स्थापित नहीं होता कि शुरुआती बिल्ड, डिपेंडेंसी इंस्टॉलेशन या चेकपॉइंट की तैयारी ऑफलाइन होती है।

प्रकाशित उदाहरण बिल्ड करें और चलाएँ

नीचे दिए गए कमांड DeepSeek के शुरुआती README और उदाहरणों की मार्गदर्शिका पर आधारित हैं। ये दस्तावेज़-आधारित निर्देश हैं, BIG CHANGE के परखे हुए कदम नहीं।

  1. वातावरण की पुष्टि करें। Linux पर एक्सेलरेटर मॉडल, GCC संस्करण और Python संस्करण को ऊपर दी गई सूची से मिलाएँ। नया और खाली Python 3.12 वातावरण बनाएँ और DeepInfer इंस्टॉल करने से पहले उसे सक्रिय करें। NVIDIA पर CUDA 13 या Ascend पर CANN 9.2 की पुष्टि करें। मशीन दस्तावेज़ों में दी गई समर्थन सूची से बाहर हो तो यहीं रुक जाएँ; रिपॉज़िटरी किसी दूसरे प्लेटफ़ॉर्म का तरीका स्थापित नहीं करती।
  2. स्रोत कोड लें और एक्सेलरेटर चुनें। विश्वसनीय स्रोत से प्राप्त DeepInfer रिपॉज़िटरी की कॉपी में काम करें। NVIDIA वाले तरीके के लिए बिल्ड और रन, दोनों में इस्तेमाल होने वाले शेल में एक्सेलरेटर का चयन एक्सपोर्ट करके रखें:
Terminal
   export DEEPINFER_ACCELERATOR=nvidia
   ./build.sh

समर्थित Ascend हार्डवेयर पर ascend का इस्तेमाल nvidia की जगह करें। बिल्ड स्क्रिप्ट एक्सेलरेटर के लिए विशिष्ट Python आवश्यकताएँ इंस्टॉल करती है, साथ दी गई डिपेंडेंसी बिल्ड करती है और फिर DeepInfer बिल्ड करती है। NVIDIA वाला तरीका स्क्रिप्ट में बताए NCCL पैकेज के संस्करण को दोबारा इंस्टॉल भी करता है। चलाने से पहले अपनी सॉफ्टवेयर नीति के अनुसार उस स्क्रिप्ट और उसकी डिपेंडेंसी सूचियों की समीक्षा करें।

  1. चेकपॉइंट का स्रोत चुनें। कोई अलग विकल्प न देने पर उदाहरण पहली बार deepseek-ai/DeepSeek-V4.1-Flash-1017 को Hugging Face कैश में लाता है। तैयार लोकल कॉपी के लिए DEEPINFER_HF_MODEL_DIR को उस डायरेक्टरी पर सेट करें। उदाहरणों की मार्गदर्शिका के अनुसार, स्पष्ट रूप से दिया गया --model_name इस वातावरण चर से प्राथमिकता पाता है; वह मॉडल ID या लोकल Hugging Face चेकपॉइंट डायरेक्टरी स्वीकार करता है। रन शुरू करने से पहले डायरेक्टरी और चेकपॉइंट की अनुमतियाँ जाँचें।
  2. रिपॉज़िटरी की रूट डायरेक्टरी से उदाहरण चलाएँ। DeepSeek के मुख्य README में यह कमांड है:
Terminal
   python examples/offline_inference.py

इस उदाहरण का स्रोत कोड डिफ़ॉल्ट रूप से --ep 8 का उपयोग करता है और पैरेलल लेआउट के लिए --ep, --dp और --cp विकल्प देता है। उदाहरणों की मार्गदर्शिका नमूना लेआउट दिखाती है और पाठकों को --help देखने को कहती है। इन सेटिंग को वास्तव में आवंटित डिवाइसों से मिलाएँ; यह न मानें कि डिफ़ॉल्ट छोटी मशीन के लिए उचित है।

  1. जाँचें कि उदाहरण ने क्या बनाया। स्क्रिप्ट असर्शन के जरिए जाँचती है कि हर उदाहरण परिमित लॉग-प्रायिकताओं वाले जनरेट किए गए टोकन लौटाता है। यह हर डेटा-पैरेलल रैंक का इनपुट विवरण, डिकोड किया गया आउटपुट, आउटपुट टोकन की संख्या, ड्राफ़्ट टोकन स्वीकार होने की दर और decode_ppl प्रिंट करती है। इन रिकॉर्ड के साथ प्रक्रिया का सफलतापूर्वक समाप्त होना पुष्टि करता है कि यह विशेष उदाहरण आपके वातावरण में चला। किसी निर्णय में इस्तेमाल करने से पहले सामग्री को अलग से जाँचें: स्क्रिप्ट की जाँचें उत्तर की सटीकता, सेवा की विश्वसनीयता या बेंचमार्क प्रदर्शन को प्रमाणित नहीं करतीं। वैकल्पिक --check_structured_output उदाहरण के आउटपुट के बाद रिपॉज़िटरी की regex, JSON और EBNF जाँचें चलाता है।

विफल रन से उबरें

बिल्ड विफल हो तो पहले प्लेटफ़ॉर्म, कंपाइलर, Python संस्करण और CUDA या CANN संस्करण को रिपॉज़िटरी की पूर्वशर्तों से मिलाएँ। जाँचें कि इंस्टॉलेशन से पहले Python वातावरण खाली था और DEEPINFER_ACCELERATOR शेल में सेट रहा। बिल्ड स्क्रिप्ट में NVIDIA और Ascend के लिए अलग डिपेंडेंसी रास्ते हैं; गलत एक्सेलरेटर के लिए बनाया गया बिल्ड मॉडल की असंगतता का प्रमाण नहीं है।

स्टार्टअप को वेट्स न मिलें या वह अनपेक्षित रूप से डाउनलोड की कोशिश करे तो जाँचें कि --model_name मॉडल ID या लोकल डायरेक्टरी की ओर संकेत करता है और DEEPINFER_HF_MODEL_DIR पूरे लोकल चेकपॉइंट की ओर संकेत करता है या नहीं। उदाहरणों की मार्गदर्शिका लोकल डायरेक्टरी में config.json और safetensors माँगती है। उदाहरण शुरू हो लेकिन कोई असर्शन विफल हो जाए तो जाँच के लिए कमांड, वातावरण के संस्करण और त्रुटि का पाठ सहेजें। आंशिक आउटपुट को सफल इन्फरेंस रन न मानें।

मूल्यांकन के लिए गैर-संवेदनशील नमूना इनपुट इस्तेमाल करें। चेकपॉइंट, प्रॉम्प्ट, आउटपुट और लॉग अपने संगठन की अनुमति वाले एक्सेस दायरे में रखें और चलाने से पहले डाउनलोड की गई डिपेंडेंसी और मॉडल फ़ाइलें जाँचें। लोकल मॉडल पाथ उदाहरण द्वारा मॉडल प्राप्त करने को सीमित करता है; अपने आप में यह नेटवर्क एक्सेस का ऑडिट नहीं करता, इनपुट सुरक्षित नहीं बनाता और कोड को निजी प्रोडक्शन सेवा में नहीं बदलता।

उदाहरण ऑपरेटर के लिए क्या छोड़ता है

DeepSeek, DeepInfer को अपनी बड़े पैमाने की सेवा के पीछे का फ्रेमवर्क बताता है, जबकि सार्वजनिक रिलीज़ को ऑफलाइन इन्फरेंस कहता है। उसका README स्पष्ट कहता है कि पूरी सेवा के लिए अब भी KV कैश सिस्टम, विजुअल एन्कोडर/प्रीफिल/डिकोड का अलगाव और प्रीफिल तथा डिकोड के लिए डेटा-पैरेलल प्रतिकृतियों के बीच लोड बैलेंसिंग चाहिए। इंजन में इस कार्यक्षमता का कुछ हिस्सा हो सकता है, लेकिन यह रिपॉज़िटरी तैयार होस्टेड एंडपॉइंट नहीं देती। उदाहरण का आउटपुट बिल्ड और इन्फरेंस की उपयोगी जाँच है, DeepSeek की सेवा के पैमाने पर थ्रूपुट या उपलब्धता का प्रमाण नहीं।

यह मार्गदर्शिका हमारी V4.1 Flash अपडेट और Search तथा Fetch API पर रिपोर्ट को आगे बढ़ाती है। वे API पहुँच के अलग सवाल का उत्तर देती हैं। DeepInfer तकनीकी रूप से सक्षम ऑपरेटर को मॉडल के ऑफलाइन निष्पादन का मूल्यांकन करने का दस्तावेज़ी तरीका देता है। इनमें से चुनने के लिए ऑपरेटर को अपने हार्डवेयर, एकीकरण, गोपनीयता और लागत का आकलन करना होगा।

स्रोत और आगे पढ़ें