DeepSeek DeepGEMM కెర్నల్ లైబ్రరీ Ascend సంచికను Huawei 950 సిరీస్ NPUలపై పనిచేసే డెవలపర్ల కోసం విడుదల చేసింది. రిపాజిటరీ README తొలి విడుదల తేదీని 2026 సెప్టెంబర్ 30గా పేర్కొంటుంది; Python ప్యాకేజీ వెర్షన్ 0.1.0గా ఉంది. ఆ హార్డ్‌వేర్‌పై మ్యాట్రిక్స్ గుణకారం, మోడల్‌కు సంబంధించిన ఇతర కార్యకలాపాలకు బృందాలకు ఓపెన్ సోర్స్ ప్రారంభ వనరును ఇది అందిస్తుంది. ఇప్పటివరకు ప్రచురించిన పనితీరు గణాంకాలు DeepSeek స్వంత పరీక్షల నుంచే వచ్చాయి.

Ascend సాఫ్ట్‌వేర్ స్టాక్‌ను అంచనా వేసే ఇంజినీర్లకు ఈ విడుదల ఉపయోగపడుతుంది: ఇందులో కెర్నల్ సోర్స్ కోడ్, పరిచితమైన DeepGEMM ఎంట్రీ పాయింట్లు, ఎక్స్‌టెన్షన్‌ను నిర్మించే డాక్యుమెంట్ చేసిన విధానం ఉన్నాయి. పూర్తి మోడల్ పనితీరు, నిర్వహణ ఖర్చులను లక్ష్య సిస్టమ్‌పై ఉద్దేశించిన వర్క్‌లోడ్‌లతో ఇంకా పరీక్షించాలి.

విడుదలలో ఏముంది

DeepGEMM అనేది AI మోడళ్లలో తరచుగా ఉపయోగించే మ్యాట్రిక్స్ ఆపరేషన్‌ల లైబ్రరీ. Ascend README లో BF16, FP8, FP4 GEMM కెర్నళ్లు, mixture-of-experts మోడళ్ల కోసం సమూహ ఆపరేషన్‌లు, MQA logits, కలిపిన MegaMoE ఆపరేషన్, mHC prenorm కెర్నల్ ఉన్నాయి. Python ప్యాకేజీ ఎగుమతులు dense, grouped GEMM ఫంక్షన్‌లు, MQA ఫంక్షన్‌లు, స్కేలింగ్ ఫ్యాక్టర్ లేఅవుట్ సహాయకాలు, JIT కంపైలేషన్ మరియు AI core వినియోగ నియంత్రణలను చూపుతాయి. రిపాజిటరీ MIT లైసెన్స్ కింద ఉంది.

Ascend పోర్ట్ దాని అప్‌స్ట్రీమ్ DeepGEMMతో API పరంగా పూర్తిగా అనుకూలమని DeepSeek చెబుతోంది. అదే deep_gemm ప్యాకేజీ పేరు, పబ్లిక్ ఇంటర్‌ఫేస్‌లోని అధిక భాగం కోడ్ మైగ్రేషన్‌ను సులభతరం చేయవచ్చు. అయితే README ముఖ్యమైన డేటా లేఅవుట్ తేడాను పేర్కొంటుంది: K అక్షం వెంబడి ఉన్న ప్రతి UE8M0 స్కేలింగ్ ఫ్యాక్టర్ జంటను Ascend int16 గా ప్యాక్ చేసి, ఆ విలువలను MN-major క్రమంలో నిల్వ చేస్తుంది. అవసరమైన లేఅవుట్‌కు స్కేలింగ్ ఫ్యాక్టర్‌లను మార్చే ఫంక్షన్‌లను ప్యాకేజీ అందిస్తుంది. క్వాంటైజ్ చేసిన ఇన్‌పుట్‌లను ఉపయోగించే యాప్ తగిన డేటాను అందించి, తన ఫలితాలను ధృవీకరించాలి. అనుకూలత అనేది నిర్వాహకుల వాదన మాత్రమే; BIG CHANGE చేసిన మైగ్రేషన్ పరీక్ష కాదు.

డెవలపర్ ప్రయత్నించడానికి ఏమి కావాలి

డాక్యుమెంట్ చేసిన అవసరాలు Ascend NPU, CANN 9.20తో పాటు bisheng మరియు ld.lld టూల్స్, torch_npu, Python 3.10 లేదా తర్వాతి వెర్షన్, C++20కు మద్దతు ఇచ్చే కంపైలర్ మరియు స్టాండర్డ్ లైబ్రరీ <format>. Ascend 950 సిరీస్‌లోనే అభివృద్ధి, ధృవీకరణ జరిగాయని నిర్వాహకులు చెబుతున్నారు. tilelang HC prenorm కెర్నల్‌కు ప్యాకేజీ ఆధారంగా పేర్కొనబడింది; tree-sitter మరియు tree-sitter-cpp సోర్స్ నుంచి నిర్మించేటప్పుడు టైప్ స్టబ్‌లను రూపొందించడానికి అవసరం. README torch_npu వెర్షన్‌ను పేర్కొనదు; ఇతర Ascend పరికరాల్లో ధృవీకరణ జరిగిందని కూడా చెప్పదు.

సబ్‌మాడ్యూల్‌లతో సహా రిపాజిటరీని క్లోన్ చేసి, C++ ఎక్స్‌టెన్షన్‌ను develop.sh ద్వారా నిర్మించాలని లేదా చెక్‌అవుట్ చేసిన సోర్స్ నుంచి pip install . --no-build-isolationతో ఇన్‌స్టాల్ చేయాలని README సూచిస్తుంది. దాని బిల్డ్ కాన్ఫిగరేషన్ దిగుమతి చేసుకుంటుంది torch మరియు torch_npuలను దిగుమతి చేసుకుంటుంది; ASCEND_HOME_PATH లేదా ASCEND_TOOLKIT_HOME ద్వారా Ascend టూల్‌కిట్‌ను గుర్తించి, Ascend మరియు Torch NPU లైబ్రరీలకు లింక్ చేస్తుంది. కెర్నళ్లను అంచనా వేయడానికి సరైన హార్డ్‌వేర్, టూల్‌చెయిన్ అవసరం. రిపాజిటరీలో ఆపరేషన్ పరీక్షలు ఉన్నాయి. BIG CHANGE డాక్యుమెంటేషన్, కోడ్‌ను పరిశీలించింది; బిల్డ్ లేదా కెర్నళ్లను నడపలేదు.

బెంచ్‌మార్క్ పరిధి ఎంతవరకు

DeepSeek CANN 9.20తో ఉన్న Ascend 950DTపై కొలతలను నివేదించింది; bench_msprof కోల్డ్ L2 కాష్‌తో. M=4096, N=7168, K=16384 పరిమాణాల dense BF16 మ్యాట్రిక్స్ గుణకార ఆకారానికి దాని పనితీరు పట్టిక 2,229.9 మైక్రోసెకన్లు, 431 TFLOPS, ఆ పట్టికలో పేర్కొన్న హార్డ్‌వేర్ పరిమితిలో 99.8%గా చూపిస్తుంది. అదే ఆకారంలో FP8×FP8కు 1,117.6 మైక్రోసెకన్లు, 861 TFLOPSగా తెలిపింది. ఇవి నిర్దిష్ట రకాలు, పరిమాణాలపై కెర్నల్ కొలతలు; మోడల్ throughput కాదు. grouped GEMM, MQA, MegaMoE, prenorm ఫలితాలను వేర్వేరు కాన్ఫిగరేషన్‌లలో పట్టిక ఇస్తుంది; MegaMoE విలువలు ఎనిమిది ranks, ఎనిమిది expert parallelism, ఆరు top-k routing, ఒక shared expert అమరికకు సగటు.

இந்த పరీక్ష కోడ్ GEMM అవుట్‌పుట్‌లను రూపొందించిన రిఫరెన్స్‌లతో పోల్చి, మద్దతున్న dense సందర్భాల్లో ACLNN క్రాస్‌చెక్ చేస్తుంది. కొన్ని ఆకారాలు, రెసిపీలకు ఆ అదనపు ACLNN పోలికను స్పష్టంగా దాటవేస్తుంది. ప్రచురించిన కోడ్, పరీక్షలు వాదనలను పరిశీలించేందుకు వీలిస్తాయి, కానీ BIG CHANGE README గణాంకాలను స్వతంత్రంగా పునరుత్పత్తి చేయలేదు. మరో accelerator stackతో సమాన ప్రమాణాల బెంచ్‌మార్క్, ఖర్చు పోలిక లేదా ఎండ్-టు-ఎండ్ సేవా ఫలితం ఈ విడుదలలో లేదు.

పెద్ద మార్పు

Ascend 950 సిరీస్ కోసం DeepSeek తన DeepGEMM Ascend కెర్నల్ కోడ్‌ను విడుదల చేసింది.

ఈ హార్డ్‌వేర్ కోసం పరిచితమైన GEMM, మోడల్‌కు సంబంధించిన ఇతర ఆపరేషన్‌లను డెవలపర్లు పరిశీలించి నిర్మించవచ్చు. విడుదల CANN 9.20, Ascend‌కు ప్రత్యేకమైన స్కేలింగ్ ఫ్యాక్టర్ లేఅవుట్‌ను వివరిస్తుంది.

Ascend 950 బృందాలు తమ మోడల్ పరిమాణాలతో అంచనా వేసేందుకు కెర్నల్ కోడ్‌ను పొందాయి. ఒక Ascend 950DT పరీక్ష సెటప్‌లో పరిమితికి దగ్గర ఫలితాలు వచ్చాయని DeepSeek తెలిపింది; BIG CHANGE కెర్నళ్లను నడపలేదు.

పూర్తి అప్లికేషన్ పనితీరు, ఇతర Ascend పరికరాల మద్దతు, నిర్వహణ ఖర్చు ఇంకా నిర్ధారించాల్సి ఉంది.

మూలాలు, మరింత చదవండి

  • DeepGEMM Ascend రిపాజిటరీ, README: సెప్టెంబర్ 30 విడుదల గమనిక, అవసరాలు, ఇంటర్‌ఫేస్ వాదనలు, ప్రాజెక్ట్ రూపొందించిన బెంచ్‌మార్క్ పట్టికలు. README ప్రాజెక్ట్ నిర్వాహకుల ప్రాథమిక మూలం; స్వతంత్ర ధృవీకరణ కాదు.
  • ప్యాకేజీ ఎగుమతులు మరియు బిల్డ్ కాన్ఫిగరేషన్: తొలి commitలోని వెర్షన్, పబ్లిక్ Python ఫంక్షన్‌లు, ఆధారాల ప్రకటన, సోర్స్-బిల్డ్ లింకేజీ.
  • GEMM పరీక్ష హార్నెస్: రిపాజిటరీ అవుట్‌పుట్‌లను ఎలా తనిఖీ చేస్తుంది, ప్రొఫైలర్‌ను ఎలా పిలుస్తుంది, ఏ పరిస్థితుల్లో ACLNN పోలికను దాటవేస్తుందో వివరిస్తుంది. ఇవి ప్రచురించిన గణాంకాలను స్వతంత్రంగా పునరుత్పత్తి చేయవు.