DeepSeek ने Huawei च्या 950 मालिकेतील NPU वर काम करणाऱ्या विकासकांसाठी DeepGEMM कर्नल लायब्ररीची Ascend आवृत्ती प्रसिद्ध केली आहे. रेपॉझिटरीच्या README नुसार पहिली आवृत्ती 30 सप्टेंबर 2026 रोजी आली; Python पॅकेजवर आवृत्ती 0.1.0 नमूद आहे. त्या हार्डवेअरवर मॅट्रिक्स गुणाकार आणि मॉडेलशी संबंधित इतर क्रिया करण्यासाठी ती संघांना मुक्त-स्रोत प्रारंभबिंदू देते. आतापर्यंतचे कामगिरीचे आकडे DeepSeek च्या स्वतःच्या चाचण्यांमधून आले आहेत.

Ascend सॉफ्टवेअर स्टॅकचे मूल्यमापन करणाऱ्या अभियंत्यांसाठी हे प्रकाशन महत्त्वाचे आहे: यात कर्नलचा स्रोत कोड, परिचित DeepGEMM एंट्री पॉइंट्स आणि एक्स्टेन्शन तयार करण्याची दस्तऐवजीकृत पद्धत उपलब्ध आहे. संपूर्ण मॉडेलची कामगिरी आणि चालवण्याचा खर्च जाणून घेण्यासाठी नियोजित प्रणालीवर कामाच्या प्रत्यक्ष स्वरूपानुसार चाचणी आवश्यक आहे.

या प्रकाशनात काय आहे

DeepGEMM ही AI मॉडेलमध्ये वारंवार वापरल्या जाणाऱ्या मॅट्रिक्स क्रियांसाठीची लायब्ररी आहे. Ascend README मध्ये BF16, FP8 आणि FP4 GEMM कर्नल, mixture-of-experts मॉडेलसाठी गटबद्ध क्रिया, MQA logits, एकत्रित MegaMoE क्रिया आणि mHC prenorm कर्नल दिले आहेत. Python पॅकेजमधील निर्यात घटकांमध्ये dense आणि grouped GEMM फंक्शन्स, MQA फंक्शन्स, स्केलिंग फॅक्टर मांडणी सहाय्यक आणि JIT संकलन व AI core वापराची नियंत्रणे आहेत. रेपॉझिटरी MIT परवान्याखाली आहे.

DeepSeek च्या मते Ascend पोर्ट त्याच्या मूळ DeepGEMMशी API पातळीवर पूर्णपणे सुसंगत आहे. समान deep_gemm पॅकेज नाव आणि बहुतांश सार्वजनिक इंटरफेसमुळे कोड स्थलांतर सोपे होऊ शकते; मात्र README मध्ये डेटाच्या मांडणीतील महत्त्वाचा फरक नमूद आहे: Ascend, K अक्षावर असलेल्या प्रत्येक UE8M0 स्केलिंग फॅक्टरच्या जोडीला 16-बिट मूल्यामध्ये पॅक करते int16 आणि पॅक केलेली मूल्ये MN-major क्रमाने साठवते. आवश्यक मांडणीत स्केलिंग फॅक्टर रूपांतरित करण्यासाठी पॅकेज फंक्शन्स निर्यात करते. quantized इनपुट वापरणाऱ्या अॅप्लिकेशनने तरीही योग्य डेटा द्यावा आणि स्वतःचे परिणाम पडताळावेत; सुसंगततेचा दावा देखभालकर्त्यांचा आहे, BIG CHANGE ने केलेल्या स्थलांतर चाचणीचा नाही.

विकासकाला हे वापरून पाहण्यासाठी काय लागेल

दस्तऐवजीकृत आवश्यकता म्हणजे Ascend NPU, CANN 9.20 सोबत bisheng आणि ld.lld साधने, torch_npu, Python 3.10 किंवा नवी आवृत्ती आणि C++20 समर्थित करणारे कंपायलर व मानक लायब्ररी <format>. देखभालकर्त्यांच्या मते विकास आणि पडताळणी Ascend 950 मालिकेवर झाली. tilelang हे HC prenorm कर्नलसाठी पॅकेज अवलंबित्व म्हणून नमूद आहे; tree-sitter आणि tree-sitter-cpp आवश्यक आहेत. स्रोतामधून तयार करताना प्रकारांचे स्टब निर्माण करण्यासाठी ते वापरले जातात. README मध्ये torch_npu ची आवृत्ती निश्चित केलेली नाही किंवा इतर Ascend उपकरणांवरील पडताळणीचा दावा नाही.

REAME नुसार उपमॉड्यूलसह रेपॉझिटरी क्लोन करून C++ एक्स्टेन्शन develop.shद्वारे तयार करावे, किंवा डाउनलोड केलेल्या स्रोतावरून pip install . --no-build-isolation वापरून स्थापित करावे. त्याची बिल्ड कॉन्फिगरेशन आयात करते torch आणि torch_npu आयात करते, ASCEND_HOME_PATH किंवा ASCEND_TOOLKIT_HOME यांच्या मदतीने Ascend टूलकिट शोधते आणि Ascend व Torch NPU लायब्ररींशी लिंक करते. त्यामुळे कर्नलचे मूल्यमापन करण्यासाठी योग्य हार्डवेअर आणि टूलचेन आवश्यक आहे. रेपॉझिटरीत ऑपरेशन चाचण्याही आहेत. BIG CHANGE ने दस्तऐवज आणि कोड पाहिले; बिल्ड किंवा कर्नल चालवले नाहीत.

बेंचमार्कची व्याप्ती किती आहे

DeepSeek ने CANN 9.20 असलेल्या Ascend 950DT वर bench_msprof आणि थंड L2 कॅशसह मोजमाप नोंदवले. dense BF16 मॅट्रिक्स गुणाकाराच्या M=4096, N=7168 आणि K=16384 या आकारासाठी कामगिरी तक्त्यात 2,229.9 मायक्रोसेकंद, 431 TFLOPS आणि त्या तक्त्यात नमूद हार्डवेअर मर्यादेच्या 99.8% कामगिरी दिली आहे. याच आकारात FP8×FP8 साठी 1,117.6 मायक्रोसेकंद आणि 861 TFLOPS नोंदवले आहेत. हे निर्दिष्ट डेटा प्रकार आणि आकारांवरील कर्नल मोजमाप आहेत; मॉडेल थ्रूपुटचे मोजमाप नाहीत. तक्त्यात स्वतंत्र कॉन्फिगरेशनमधील grouped GEMM, MQA, MegaMoE आणि prenorm निकालही आहेत; MegaMoE आकडे आठ ranks, आठचा expert parallelism, सहाचा top-k routing आणि एका shared expertसह घेतलेली सरासरी आहे.

त्या चाचणी कोड GEMM आउटपुट तयार केलेल्या संदर्भांशी तपासतो आणि समर्थित dense प्रकरणांत ACLNN cross-check वापरतो. काही आकार आणि recipe साठी ही पूरक ACLNN तुलना तो स्पष्टपणे वगळतो. प्रकाशित कोड व चाचण्या दावे तपासण्याजोगे करतात, पण BIG CHANGE ने README मधील आकडे स्वतंत्रपणे पुन्हा मिळवलेले नाहीत. अन्य accelerator stack शी समान अटींवरील बेंचमार्क, खर्चाची तुलना किंवा end-to-end सेवा निकाल या प्रकाशनात नाही.

मुख्य बदल

DeepSeek ने Ascend 950 मालिकेसाठी DeepGEMM Ascend कर्नल कोड प्रसिद्ध केला आहे.

विकासक त्या हार्डवेअरवर परिचित GEMM आणि संबंधित मॉडेल क्रिया तपासू व तयार करू शकतात. या प्रकाशनात CANN 9.20 आणि Ascend-विशिष्ट स्केलिंग फॅक्टर मांडणी दस्तऐवजीकृत आहे.

Ascend 950 वापरणाऱ्या संघांना आता स्वतःच्या मॉडेल आकारांवर तपासण्यासाठी कर्नल कोड मिळाला आहे. एका Ascend 950DT चाचणी मांडणीत हार्डवेअर मर्यादेजवळचे निकाल मिळाल्याचे DeepSeek सांगते; BIG CHANGE ने कर्नल चालवलेले नाहीत.

संपूर्ण अॅप्लिकेशनची कामगिरी, इतर Ascend उपकरणांसाठीचे समर्थन आणि चालवण्याचा खर्च अद्याप निश्चित झालेला नाही.

स्रोत आणि पुढील वाचन

  • DeepGEMM Ascend रेपॉझिटरी आणि README: 30 सप्टेंबरची प्रकाशन नोंद, पूर्वअटी, इंटरफेसविषयक दावे आणि प्रकल्पाने तयार केलेले बेंचमार्क तक्ते. README हा प्रकल्पाच्या देखभालकर्त्यांचा प्राथमिक स्रोत आहे; स्वतंत्र पडताळणी नाही.
  • पॅकेज निर्यात आणि बिल्ड कॉन्फिगरेशन: सुरुवातीच्या commit मधील आवृत्ती, सार्वजनिक Python फंक्शन्स, अवलंबित्वाची नोंद आणि स्रोत-बिल्ड जोडणी.
  • GEMM चाचणी संच: रेपॉझिटरी आउटपुट कसे तपासते आणि profiler कसा चालवते, तसेच ACLNN तुलना कोणत्या अटींवर वगळली जाते. या फाइल्स प्रकाशित आकडे स्वतंत्रपणे पुन्हा सिद्ध करत नाहीत.