CPU-வில் இயங்கும் பயனர் வரையறுத்த function, மற்றபடி GPU-ஆல் வேகப்படுத்தப்படும் Apache Spark query-யைத் தடைசெய்யலாம். cuDF plugin பொதுவாக எந்த UDF குறியீட்டையும் மொழிபெயர்க்க முடியாது: அது columnar தரவை வரிகளாக மாற்றி, function-ஐ CPU-வில் இயக்கி, முடிவை மீண்டும் மாற்றுகிறது. அக்டோபர் 13 NVIDIA வழிகாட்டி UDF-ஐ Spark SQL ஆகவோ, columnar RapidsUDF ஆகவோ, CUDA ஆதரவுள்ள RapidsUDF ஆகவோ மறுஎழுதுவதற்கான agent skills-ஐ விவரிக்கிறது. தரவுப் பொறியாளருக்கான பயனுள்ள கேள்வி: ஒரு மறுஎழுத்து அதே பதில்களைத் தருகிறதா, தொடர்புடைய plan-இல் GPU-விலேயே இருக்கிறதா, உண்மையான job-ஐ மேம்படுத்துகிறதா என்பதாகும்.

இது ஆவணங்களை அடிப்படையாகக் கொண்ட வழிகாட்டி. BIG CHANGE skills-ஐ இயக்கவில்லை, UDF-ஐச் சோதிக்கவில்லை, Spark workload-ஐ அளவிடவில்லை.

பெரிய மாற்றம்

  • எது மாறியது: UDF சோதனைகளை உருவாக்குதல், function-ஐ மாற்றுதல், மாற்றத்தை மதிப்பிடுதல், CPU மற்றும் GPU பதிப்புகளை benchmark செய்தல், விருப்பமாக cuDF implementation-ஐ மேம்படுத்துதல் ஆகியவற்றுக்கான கட்டப்படியான agent workflow-ஐ NVIDIA வெளியிட்டுள்ளது.
  • யாருக்கு உதவும்: GPU-ஆதரவு உள்ள RAPIDS/cuDF Spark pipeline-ஐயும் அதில் இடையூறு செய்யும் குறிப்பிட்ட CPU UDF-ஐயும் கொண்ட பொறியாளர்களுக்கு.
  • எதைச் சரிபார்க்க வேண்டும்: பிரதிநிதித்துவமான edge case-களில் ஒரே மாதிரியான output, குறிவைக்கப்பட்ட CPU fallback இல்லாத execution plan, திட்டமிட்ட hardware-இல் மீண்டும் பெறக்கூடிய job-level செயல்திறன்.

தொடங்குவதற்கு முன்

Coding agent-உடன் பகிர உங்களுக்கு அனுமதி உள்ள ஒரு UDF-ஐத் தேர்ந்தெடுங்கள். அந்த agent மற்றும் அதன் சூழல் அனுமதிக்கப்படாவிட்டால் credentials, உணர்வான input rows அல்லது proprietary datasets-ஐ prompt-இல் சேர்க்க வேண்டாம். UDF source, அதன் registration மற்றும் call site, தொடர்புடைய schemas, null மற்றும் error-க்கான எதிர்பார்க்கப்படும் நடத்தை, அனுமதிக்கப்பட்ட சிறிய test fixture ஆகியவற்றைக் கொடுங்கள். ஒப்பீட்டுக்கான அடிப்படையாக தற்போதைய Spark job-இன் plan மற்றும் நேரத்தைப் பதிவு செய்யுங்கள்.

இந்த skills README workflow-க்கான பதிப்பிடப்பட்ட தொடக்கப் புள்ளி. UDF-களை உருவாக்க Maven, JDK, பொருந்தக்கூடிய Spark/RAPIDS/cuDF/CUDA stack மற்றும் GPU தேவை. எதையும் நிறுவுவதற்கு முன் தற்போதைய plugin compatibility வழிகாட்டியை உங்கள் Spark distribution, Scala version, driver, CUDA build மற்றும் GPU-உடன் ஒப்பிட்டு சரிபார்க்கவும். உள்ளூர் hardware-க்கு மாற்றாக cloud GPU பயன்படுத்தலாம்; provider instance நேரம் மற்றும் storage-க்கு கட்டணம் வசூலிக்கும். Agent/model பயன்பாட்டுக்கும் செலவாகலாம். README project scaffold மற்றும் உதாரணங்களைத் தருகிறது, ஆனால் உங்கள் cluster-இன் compatibility அல்லது செயல்திறனை நிறுவாது.

ஒரு function-ஐ மறுஎழுதி சரிபார்க்கவும்

  1. முதலில் அசல் நடத்தையை உறுதிப்படுத்துங்கள். தேர்ந்தெடுத்த UDF-இல் udf-gen-test பயன்படுத்த agent-ஐக் கேட்டு, உருவாக்கிய tests-ஐ நீங்களே பாருங்கள். Contract-இன் உண்மையான நிலைகளைச் சேர்க்கவும்: பொருந்தும்போது null, காலியான strings அல்லது collections, தவறான inputs, எல்லை மதிப்புகள், எண் துல்லியம், வரிசை, error நடத்தை. அவற்றில் அசல் UDF-ஐ இயக்குங்கள். எதிர்பார்க்கப்படும் முடிவு baseline test suite தேர்ச்சி பெறுவது; இன்னும் மறுஎழுத்து அல்ல. NVIDIA-வின் வெப்பநிலை function உதாரணம் null input-க்கு வெளிப்படையாக null தருகிறது; உங்கள் data types மற்றும் Spark அமைப்புகளிலும் அது நீடித்தால் மட்டுமே SQL மறுஎழுத்து பயனுள்ளது.
  2. எளியதும் ஆதரிக்கப்படுவதுமான இலக்கைத் தேர்ந்தெடுங்கள். Spark SQL அல்லது DataFrame expressions-இல் logic-ஐ வெளிப்படுத்த முடிந்தால் udf-convert-to-sql கேளுங்கள். இது expression-ஐ Spark planner-க்கு வெளிப்படுத்தி, ஆதரிக்கப்படும் operations-ஐ GPU இணையானவற்றால் plugin மாற்ற அனுமதிக்கலாம். SQL-இல் தேவையான logic-ஐத் தெளிவாகச் சொல்ல முடியாவிட்டால் udf-convert-to-cudf கேளுங்கள்: அதன் RapidsUDF.evaluateColumnar GPU column vectors-ஐப் பெற்று cuDF operations-ஐ இணைக்கிறது. JNI வழியாக custom kernel தேவைப்படும், கூடுதல் implementation மற்றும் maintenance செலவு நியாயமான logic-க்கு மட்டும் udf-convert-to-cuda ஒதுக்குங்கள். இவை மதிப்பிட வேண்டிய தேர்வுகள்; ஒவ்வொரு operation-மும் GPU-வில் இயங்கும் என்ற உறுதி அல்ல.
  3. ஏற்கும் முன் மாற்றத்தை மதிப்பாய்வு செய்யுங்கள். மறுஎழுதிய implementation-ஐ அசலுடன் ஒப்பிட்டு, இரண்டையும் அதே அங்கீகரிக்கப்பட்ட test case-களில் இயக்குங்கள். Test gap மற்றும் conversion bug-களுக்கான தனி மதிப்பாய்வுக்கு repository udf-judge-conversion என்பதையும் பட்டியலிடுகிறது. Types, null propagation, rounding, exceptions, ordering, resource handling ஆகியவற்றைச் சரிபார்க்கவும். cuDF மறுஎழுத்தில் தற்காலிக columns மற்றும் scalars-இன் ஆயுளைப் பாருங்கள்; tutorial-இன் Scala உதாரணம் scope செய்யப்பட்ட resources-ஐப் பயன்படுத்தி முடிவு column-ஐத் தருகிறது. உருவாக்கிய test suite தேர்ச்சி பெறுவது பயனுள்ள சான்று; ஆனால் function contract-ஐ அது உள்ளடக்குகிறதா என மனிதர் தீர்மானிக்க வேண்டும்.
  4. இயக்கப்பட்ட plan-ஐப் பாருங்கள். cuDF plugin-ஐ இயக்கி மாற்றிய query-ஐ ஓட்டி, இலக்கு operator மற்றும் அருகிலுள்ள conversions-க்கான plan மற்றும் RAPIDS diagnostics-ஐப் பாருங்கள். NVIDIA-வின் plugin overview ஆதரிக்கப்படாத SQL operations Spark CPU execution-க்கு மாறும் என்கிறது. Plan-இல் UDF அல்லது அதைச் சுற்றியுள்ள operators இன்னும் CPU-வில் இருந்தால், ஆதரிக்கப்படாத expression அல்லது type-ஐக் கண்டறிந்து இலக்கு தேர்வை மறுபரிசீலனை செய்யுங்கள். Test முடிவுடன் முன்/பின் plans-ஐ வைத்திருங்கள். RapidsUDF என்று பெயரிடப்பட்ட class மட்டும் முழு job-மும் GPU-வில் நீடிப்பதை நிரூபிக்காது.
  5. இயக்கத் திட்டமிட்டுள்ள job-ஐ benchmark செய்யுங்கள். அதே inputs, cluster அளவு, configuration மற்றும் அளவீட்டு முறையில் அசல் மற்றும் மாற்றிய implementation-ஐ ஒப்பிட udf-benchmark பயன்படுத்துங்கள். Job நேரம், input அளவு, output சமத்துவம், GPU/CPU resource பயன்பாடு ஆகியவற்றைப் பதிவு செய்யுங்கள். Startup, cache அல்லது contention விளைவுகளைப் பார்க்க மீண்டும் இயக்குங்கள். மறுஎழுத்து தோற்றாலும் மீண்டும் உருவாக்கக்கூடிய ஒப்பீடே எதிர்பார்ப்பு. சரியான cuDF பதிப்பு மெதுவாக இருந்தால், repository udf-optimize-cudf மூலம் profile செய்து திருத்தலாம்; ஒவ்வொரு மாற்றத்திற்குப் பிறகும் correctness மற்றும் plan சோதனைகளை மீண்டும் செய்யுங்கள்.

வெற்றிகரமான முடிவு எப்படி இருக்கும்

தேர்ந்தெடுத்த UDF-இன் output அங்கீகரிக்கப்பட்ட நிலைகளில் ஆவணப்படுத்திய நடத்தையுடன் பொருந்தி, execution plan-இல் குறிவைத்த CPU fallback இல்லாமல், பிரதிநிதித்துவ benchmark முழுமையான பயனைக் காட்டினால் candidate வழக்கமான code review-க்குத் தயாராகும். ஏதேனும் சோதனை தோல்வியுற்றால் அசல் implementation-ஐ வைத்திருந்து, தோல்வியடைந்த expression-க்கு மட்டும் மறுஎழுத்தைக் குறைத்து அந்த நிலையைக் மீண்டும் இயக்குங்கள். வேகமான benchmark-ஐவிட semantic mismatch முக்கியம்; plan மாறவில்லை என்றால் எதிர்பார்த்த GPU பாதை நிரூபிக்கப்படவில்லை.

cuDF-enabled UDF ஒன்று 600 பில்லியன் வரிசைகள் கொண்ட workload-இல் operator நேரத்தை 274.55 இலிருந்து 12.78 மணிநேரமாக க் குறைத்த production உதாரணத்தை NVIDIA தெரிவிக்கிறது. அவை அந்த workload-க்கான vendor தெரிவித்த operator நேரங்கள்; வேறு UDF-க்கான கணிப்போ end-to-end job முடிவோ அல்ல. பரந்த 22x கூற்றை அந்தச் சூழலில் புரிந்துகொள்ள வேண்டும். GPU திறன், தரவு நகர்வு, ஆதரிக்கப்படாத operations, code review, cloud கட்டணங்கள் உங்கள் pipeline முடிவை மாற்றலாம்.

ஆதாரங்களும் மேலும் வாசிப்பும்

  • NVIDIA Technical Blog, 2026 அக்டோபர் 13: CPU fallback, SQL/cuDF/CUDA தேர்வுகள், workflow-இன் நான்கு கட்டங்கள், நிறுவனம் மேற்கோள் காட்டிய ஒரே செயல்திறன் உதாரணம் ஆகியவற்றை விளக்குகிறது. செயல்திறன் எண்கள் vendor தெரிவித்தவை.
  • NVIDIA cuDF Spark skills, pin செய்யப்பட்ட repository revision: scaffold மற்றும் தனித்த skills-க்கான பதிப்பிடப்பட்ட நுழைவுப் புள்ளி. எங்கள் retrieval வழியில் pin செய்யப்பட்ட GitHub பக்கம் கிடைக்கவில்லை; workflow விவரங்கள் NVIDIA tutorial மற்றும் repository-யின் main branch-இல் கிடைக்கும் skills README-உடன் ஒப்பிட்டுச் சரிபார்க்கப்பட்டன.
  • Apache Spark-க்கான cuDF plugin overview: தற்போதைய setup மற்றும் compatibility தகவல், ஆதரிக்கப்படாத operations Spark CPU execution-ஐப் பயன்படுத்தும் என்ற வெளிப்படையான விதி. செயல்படுத்துவதற்கு முன் release-specific compatibility பட்டியலைச் சரிபார்க்கவும்.