Huawei 950 సిరీస్ NPUలతో పనిచేసే డెవలపర్ల కోసం DeepSeek తన DeepGEMM కెర్నల్ లైబ్రరీ Ascend సంచికను ప్రచురించింది. రిపాజిటరీ README ప్రకారం తొలి విడుదల 2026 సెప్టెంబర్ 30న జరిగింది; Python ప్యాకేజీ తన వెర్షన్‌ను 0.1.0గా పేర్కొంటుంది. ఆ హార్డ్‌వేర్‌పై మ్యాట్రిక్స్ గుణకారం, సంబంధిత మోడల్ ఆపరేషన్‌లకు బృందాలకు ఓపెన్ సోర్స్ ప్రారంభ వనరును ఇది అందిస్తుంది. ఇప్పటివరకు తెలిపిన పనితీరు గణాంకాలు DeepSeek స్వంత పరీక్షల నుంచే వచ్చాయి.

Ascend సాఫ్ట్‌వేర్ స్టాక్‌ను పరిశీలించే ఇంజినీర్లకు ఈ విడుదల ఉపయోగకరం: కెర్నల్ సోర్స్ కోడ్, సుపరిచితమైన DeepGEMM ఎంట్రీ పాయింట్లు, ఎక్స్‌టెన్షన్‌ను నిర్మించే డాక్యుమెంటెడ్ విధానాన్ని అందిస్తుంది. పూర్తి మోడల్ పనితీరు, నిర్వహణ వ్యయాన్ని తెలుసుకోవడానికి ఉద్దేశించిన సిస్టమ్‌పై వర్క్‌లోడ్ పరీక్షలు ఇంకా అవసరం.

విడుదలలో ఏముంది

DeepGEMM అనేది AI మోడళ్లలో పదేపదే ఉపయోగించే మ్యాట్రిక్స్ ఆపరేషన్‌ల కోసం రూపొందించిన లైబ్రరీ. Ascend README లో BF16, FP8, FP4 GEMM కెర్నల్‌లు, mixture-of-experts మోడళ్లకు గ్రూప్ ఆపరేషన్‌లు, MQA logits, fused MegaMoE ఆపరేషన్, mHC prenorm కెర్నల్ ఉన్నాయి. Python ప్యాకేజీ ఎగుమతులు లో dense, grouped GEMM ఫంక్షన్‌లు, MQA ఫంక్షన్‌లు, స్కేలింగ్ ఫ్యాక్టర్ లేఅవుట్ సహాయకాలు, JIT కంపైలేషన్ మరియు AI core వినియోగ నియంత్రణలు కనిపిస్తాయి. రిపాజిటరీ MIT లైసెన్స్‌లో ఉంది.

Ascend పోర్ట్ తన అప్‌స్ట్రీమ్ DeepGEMMతో API పరంగా పూర్తిగా అనుకూలమని DeepSeek చెబుతోంది. అదే deep_gemm ప్యాకేజీ పేరు, పబ్లిక్ ఇంటర్‌ఫేస్‌లోని అధిక భాగం కోడ్ మైగ్రేషన్‌ను సులభతరం చేయవచ్చు. అయితే README కీలకమైన డేటా లేఅవుట్ తేడాను పేర్కొంటుంది: K అక్షం వెంబడి ఉన్న ప్రతి UE8M0 స్కేలింగ్ ఫ్యాక్టర్ జంటను Ascend 16-బిట్ విలువగా ప్యాక్ చేస్తుంది int16; ప్యాక్ చేసిన విలువలను MN-major క్రమంలో నిల్వ చేస్తుంది. అవసరమైన లేఅవుట్‌కు స్కేలింగ్ ఫ్యాక్టర్‌లను మార్చే ఫంక్షన్‌లను ప్యాకేజీ ఎగుమతి చేస్తుంది. క్వాంటైజ్ చేసిన ఇన్‌పుట్‌లను ఉపయోగించే అప్లికేషన్ తగిన డేటాను అందించి, తన ఫలితాలను ధృవీకరించాలి. అనుకూలత అనేది నిర్వాహకుల వాదన మాత్రమే; BIG CHANGE చేసిన మైగ్రేషన్ పరీక్ష కాదు.

డెవలపర్ ప్రయత్నించడానికి కావాల్సినవి

డాక్యుమెంటేషన్‌లో తెలిపిన అవసరాలు Ascend NPU, CANN 9.20తో పాటు bisheng మరియు ld.lld టూల్స్, torch_npu, Python 3.10 లేదా తరువాతి వెర్షన్, C++20కు మద్దతిచ్చే కంపైలర్ మరియు స్టాండర్డ్ లైబ్రరీ <format>. Ascend 950 సిరీస్‌లోనే అభివృద్ధి, ధృవీకరణ చేశామని నిర్వాహకులు చెబుతున్నారు. tilelang HC prenorm కెర్నల్‌కు ప్యాకేజీ ఆధారంగా పేర్కొనబడింది; tree-sitter మరియు tree-sitter-cpp అవసరం. సోర్స్ నుంచి నిర్మించేటప్పుడు టైప్ స్టబ్‌లను రూపొందించడానికి వీటిని ఉపయోగిస్తారు. README torch_npu వెర్షన్‌ను పేర్కొనదు; ఇతర Ascend పరికరాల్లో ధృవీకరణ జరిగిందని కూడా చెప్పదు.

సబ్‌మాడ్యూల్‌లతో సహా రిపాజిటరీని క్లోన్ చేసి, C++ ఎక్స్‌టెన్షన్‌ను develop.shద్వారా నిర్మించాలని లేదా చెక్‌అవుట్ చేసిన సోర్స్ నుంచి pip install . --no-build-isolationతో ఇన్‌స్టాల్ చేయాలని README సూచిస్తుంది. దాని బిల్డ్ కాన్ఫిగరేషన్ దిగుమతి చేసుకుంటుంది torch మరియు torch_npuలను దిగుమతి చేసుకుంటుంది; ASCEND_HOME_PATH లేదా ASCEND_TOOLKIT_HOME ద్వారా Ascend టూల్‌కిట్‌ను గుర్తించి Ascend, Torch NPU లైబ్రరీలకు లింక్ చేస్తుంది. కాబట్టి కెర్నల్‌లను మూల్యాంకనం చేయడానికి తగిన హార్డ్‌వేర్, టూల్‌చెయిన్ అవసరం. రిపాజిటరీలో ఆపరేషన్ పరీక్షలు కూడా ఉన్నాయి. BIG CHANGE డాక్యుమెంటేషన్, కోడ్‌ను పరిశీలించింది; బిల్డ్ లేదా కెర్నల్‌లను నడపలేదు.

బెంచ్‌మార్క్ పరిధి ఎంతవరకు

CANN 9.20తో Ascend 950DTపై bench_msprof మరియు చల్లని L2 కాష్‌తో కొలతలు తీసుకున్నట్లు DeepSeek తెలిపింది. M=4096, N=7168, K=16384 ఆకారంలోని ఒక dense BF16 మ్యాట్రిక్స్ గుణకారం కోసం దాని పనితీరు పట్టిక 2,229.9 మైక్రోసెకన్లు, 431 TFLOPS, ఆ పట్టికలో పేర్కొన్న హార్డ్‌వేర్ పరిమితిలో 99.8% అని చూపిస్తుంది. అదే ఆకారంలో FP8×FP8కు 1,117.6 మైక్రోసెకన్లు, 861 TFLOPSగా తెలిపింది. ఇవి నిర్దిష్ట డేటా టైప్‌లు, ఆకారాలపై కెర్నల్ కొలతలు; మోడల్ throughput కొలతలు కావు. పట్టికలో వేర్వేరు కాన్ఫిగరేషన్‌లలో grouped GEMM, MQA, MegaMoE, prenorm ఫలితాలూ ఉన్నాయి. MegaMoE విలువలు ఎనిమిది ranks, ఎనిమిది expert parallelism, ఆరు top-k routing, ఒక shared expert ఉన్న అమరికకు సగటు.

ఆ పరీక్ష కోడ్ GEMM అవుట్‌పుట్‌లను రూపొందించిన రిఫరెన్స్‌లతో పోల్చి, మద్దతున్న dense సందర్భాల్లో ACLNN క్రాస్‌చెక్ చేస్తుంది. కొన్ని ఆకారాలు, రెసిపీలకు ఆ అదనపు ACLNN పోలికను స్పష్టంగా దాటవేస్తుంది. ప్రచురించిన కోడ్, పరీక్షలు వాదనలను పరిశీలించే వీలిస్తాయి; అయితే README గణాంకాలను BIG CHANGE స్వతంత్రంగా పునరుత్పత్తి చేయలేదు. మరో యాక్సిలరేటర్ స్టాక్‌తో సమాన పరిస్థితుల్లో పోలిక, వ్యయ పోలిక లేదా ఎండ్-టు-ఎండ్ సర్వీస్ ఫలితాన్ని ఈ విడుదల అందించదు.

ప్రధాన మార్పు

Ascend 950 సిరీస్ కోసం DeepSeek తన DeepGEMM Ascend కెర్నల్ కోడ్‌ను విడుదల చేసింది.

డెవలపర్లు ఆ హార్డ్‌వేర్‌పై సుపరిచితమైన GEMM, సంబంధిత మోడల్ ఆపరేషన్‌లను పరిశీలించి నిర్మించవచ్చు. విడుదలలో CANN 9.20, Ascend-నిర్దిష్ట స్కేలింగ్ ఫ్యాక్టర్ లేఅవుట్ డాక్యుమెంట్ చేశారు.

Ascend 950 బృందాలు తమ మోడల్ ఆకారాలపై పరీక్షించడానికి కెర్నల్ కోడ్‌ను పొందాయి. ఒక Ascend 950DT పరీక్ష అమరికలో హార్డ్‌వేర్ పరిమితికి దగ్గర ఫలితాలు వచ్చాయని DeepSeek చెబుతోంది; BIG CHANGE కెర్నల్‌లను నడపలేదు.

పూర్తి అప్లికేషన్ పనితీరు, ఇతర Ascend పరికరాల మద్దతు, నిర్వహణ వ్యయం ఇంకా నిర్ధారించాల్సి ఉన్నాయి.

మూలాలు మరియు మరింత చదవండి

  • DeepGEMM Ascend రిపాజిటరీ, README: సెప్టెంబర్ 30 విడుదల నోట్, ముందస్తు అవసరాలు, ఇంటర్‌ఫేస్ వాదనలు, ప్రాజెక్ట్ రూపొందించిన బెంచ్‌మార్క్ పట్టికలు. README ప్రాజెక్ట్ నిర్వాహకుల ప్రాథమిక మూలం; స్వతంత్ర ధృవీకరణ కాదు.
  • ప్యాకేజీ ఎగుమతులు మరియు బిల్డ్ కాన్ఫిగరేషన్: తొలి commitలోని వెర్షన్, పబ్లిక్ Python ఫంక్షన్‌లు, ఆధారాల ప్రకటన, సోర్స్-బిల్డ్ లింకేజీ.
  • GEMM పరీక్ష హార్నెస్: రిపాజిటరీ అవుట్‌పుట్‌లను ఎలా తనిఖీ చేస్తుంది, ప్రొఫైలర్‌ను ఎలా పిలుస్తుంది, ఏ పరిస్థితుల్లో ACLNN పోలికను దాటవేస్తుందో వివరిస్తుంది. ఈ ఫైల్‌లు ప్రచురించిన గణాంకాలను స్వతంత్రంగా పునరుత్పత్తి చేయవు.