Markdown edition

AI-translated from English; not yet reviewed by a fluent editor.

# Paano tingnan kung tumatakbo sa GPU ang isang muling pagsulat ng Spark UDF

> Praktikal na pagkakasunod-sunod para subukan ang isang Spark UDF, pumili ng SQL, cuDF o CUDA, tingnan kung bumabagsak sa CPU, at sukatin ang resulta sa pipeline na may kakayahang gumamit ng GPU.

By BIG CHANGE Editorial

Published: 2026-10-14T02:55:41.136Z
Updated: 2026-10-14T02:55:41.136Z
Canonical: https://bigchange.ai/blog/spark-udf-gpu-rewrite-verification-guide

![Conceptual charcoal illustration of a generic rackmount server with a tray pulled partly forward, showing four finned modules inside.](https://bigchange.ai/api/media/file/spark-gpu-server-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE. Generic server hardware; no NVIDIA product, Spark interface or measured result is depicted.

Maaaring makasagabal ang CPU user-defined function sa Apache Spark query na pinabibilis sana ng GPU. Karaniwang hindi maisasalin ng cuDF plugin ang alinmang UDF code: ginagawa nitong mga row ang columnar data, pinapatakbo ang function sa CPU, at ibinabalik sa dating anyo ang resulta. [Gabay ng NVIDIA noong Oktubre 13](https://developer.nvidia.com/blog/rewrite-apache-spark-udfs-gpu-acceleration-ai-agents/) ang naglalarawan ng mga agent skill para muling isulat ang UDF bilang Spark SQL, columnar na `RapidsUDF`, o `RapidsUDF` na gumagamit ng CUDA. Ang mahalagang tanong para sa data engineer ay kung pareho ang mga sagot matapos ang isang muling pagsulat, nananatili ito sa GPU sa kaugnay na plano, at napapabuti nito ang aktuwal na trabaho.

Gabay itong batay sa dokumentasyon. Hindi pinatakbo ng BIG CHANGE ang mga skill, sumubok ng UDF, o sumukat ng Spark workload.

## Ang malaking pagbabago

- **Ano ang nagbago:** Naglabas ang NVIDIA ng sunod-sunod na workflow ng agent para gumawa ng mga UDF test, mag-convert ng function, magtasa ng conversion, mag-benchmark ng bersyon sa CPU at GPU, at opsyonal na mag-optimize ng cuDF implementation.
- **Sino ang matutulungan:** Mga engineer na may GPU-capable na RAPIDS/cuDF Spark pipeline at partikular na CPU UDF na pumipigil dito.
- **Ano ang dapat beripikahin:** Magkatugmang output sa mga kinatawang edge case, execution plan na wala ang tinutukoy na CPU fallback, at nauulit na job-level performance sa nilalayong hardware.

## Bago magsimula

Pumili ng isang UDF na awtorisado kang ibahagi sa coding agent. Huwag maglagay ng credentials, sensitibong input row, o proprietary dataset sa prompt maliban kung aprubado ang agent at environment nito para sa mga iyon. Ibigay ang source ng UDF, lokasyon ng registration at pagtawag dito, kaugnay na schema, inaasahang pagtrato sa null at error, at maliit na pinahihintulutang test fixture. Itala ang plano at oras ng kasalukuyang Spark job bilang baseline ng paghahambing.

Ang [Skills README](https://github.com/NVIDIA/cudf-spark/tree/cb8150b7ee4b07863bb6b267f28885def24b177e/skills) ang naka-version na panimulang sanggunian para sa workflow. Kailangan nito ang Maven at JDK para bumuo ng UDF, kasama ang katugmang Spark/RAPIDS/cuDF/CUDA stack at GPU. Bago mag-install, tingnan ang [kasalukuyang gabay sa compatibility ng plugin](https://docs.nvidia.com/cudf-spark/latest/getting-started/overview.html) ayon sa Spark distribution, Scala version, driver, CUDA build at GPU mo. Alternatibo sa lokal na hardware ang cloud GPU; sinisingil ng provider ang oras ng instance at storage. Maaari ring may gastos ang paggamit ng agent/model. Nagbibigay ang README ng balangkas ng proyekto at halimbawa, ngunit hindi nito napapatunayan ang compatibility o performance sa cluster mo.

## Muling isulat at suriin ang isang function

1. **Tiyakin muna ang orihinal na asal.** Hilingin sa agent na gamitin ang `udf-gen-test` sa napiling UDF at ikaw mismo ang tumingin sa mga nabuong test. Magdagdag ng mga totoong kaso mula sa kontrata: null, walang lamang string o collection, maling input, boundary value, numeric precision, pagkakasunod-sunod, at asal sa error kung naaangkop. Patakbuhin ang orihinal na UDF sa mga iyon. Dapat pumasa ang baseline test suite; hindi pa muling pagsulat ang inaasahan. Tahasang nagbabalik ng null ang halimbawa ng temperature function ng NVIDIA kapag null ang input; kapaki-pakinabang lang ang SQL rewrite kung mananatili ang asal na iyon sa mga aktuwal mong data type at Spark setting.
2. **Piliin ang pinakasimpleng sinusuportahang target.** Kung maipapahayag ang logic sa Spark SQL o mga DataFrame expression, hilingin ang `udf-convert-to-sql`. Inilalantad nito ang expression sa Spark planner at maaaring mapalitan ng plugin ng katumbas na GPU ang mga sinusuportahang operation. Kung hindi malinaw na maipahayag ng SQL ang kailangan, hilingin ang `udf-convert-to-cudf`: tinatanggap ng `RapidsUDF.evaluateColumnar` nito ang GPU column vector at binubuo ang mga cuDF operation. Ireserba ang `udf-convert-to-cuda` para sa logic na nangangailangan ng custom kernel sa pamamagitan ng JNI at makatwiran ang dagdag na implementasyon at maintenance. Mga opsyon itong susuriin, hindi pangakong tatakbo sa GPU ang bawat operation.
3. **Suriin ang conversion bago ito tanggapin.** Ihambing ang muling isinulat na implementation sa orihinal at patakbuhin ang dalawa sa parehong aprubadong test case. Inililista rin ng repository ang `udf-judge-conversion` para sa hiwalay na pagsusuri ng mga kakulangan sa test at bug sa conversion. Tingnan ang mga type, pagdaloy ng null, rounding, exception, pagkakasunod-sunod at pamamahala ng resource. Para sa cuDF rewrite, suriin ang tagal ng paggamit ng pansamantalang column at scalar; gumagamit ng scoped resource at nagbabalik ng result column ang [halimbawa ng Scala sa tutorial](https://developer.nvidia.com/blog/rewrite-apache-spark-udfs-gpu-acceleration-ai-agents/) . Kapaki-pakinabang na ebidensiya ang pumapasang nabuong test suite, ngunit tao pa rin ang magpapasya kung saklaw nito ang kontrata ng function.
4. **Suriin ang isinagawang plano.** Patakbuhin ang binagong query nang naka-enable ang cuDF plugin at tingnan ang plan at RAPIDS diagnostic para sa target operator at mga kalapit na conversion. Sinasabi ng [pangkalahatang-ideya ng plugin](https://docs.nvidia.com/cudf-spark/latest/getting-started/overview.html) ng NVIDIA na babalik sa Spark CPU execution ang mga SQL operation na hindi suportado. Kung nasa CPU pa rin sa plano ang UDF o mga nakapaligid na operator, tukuyin ang hindi suportadong expression o type at muling pag-isipan ang target. Itabi ang mga plano bago at matapos ang pagbabago kasama ng resulta ng test. Hindi pinatutunayan ng class na pinangalanang `RapidsUDF` lamang na nananatili sa GPU ang buong job.
5. **I-benchmark ang job na balak mong patakbuhin.** Gamitin ang `udf-benchmark` para ihambing ang orihinal at binagong implementation sa parehong input, laki ng cluster, configuration at paraan ng pagsukat. Itala ang lumipas na oras ng job, laki ng input, pagkakapareho ng output at paggamit ng GPU/CPU resource. Ulitin ang pagtakbo para makita ang epekto ng startup, cache o pagsisikip. Dapat ay nauulit ang paghahambing kahit mas mabagal ang rewrite. Kung mabagal ang tamang cuDF version, iniaalok ng repository ang `udf-optimize-cudf` para i-profile at baguhin ito; ulitin ang mga pagsusuri sa correctness at plan pagkatapos ng bawat pagbabago.

## Ano ang itsura ng matagumpay na resulta

Handa na ang kandidatong implementation para sa karaniwang code review kapag tugma sa dokumentadong asal ang output ng napiling UDF sa mga aprubadong kaso, wala na sa execution plan ang tinutukoy na CPU fallback, at nagpapakita ng kapaki-pakinabang na end-to-end na resulta ang kinatawang benchmark. Kapag may nabigong pagsusuri, panatilihin ang orihinal na implementation, paliitin ang rewrite sa expression na nagkaproblema at ulitin ang hakbang na iyon. Mas mahalaga ang semantikong hindi pagtutugma kaysa mas mabilis na benchmark; kung walang pagbabago sa plano, hindi pa napatutunayan ang nilalayong GPU path.

Iniulat ng NVIDIA ang isang production example kung saan pinababa ng cuDF-enabled UDF ang oras ng operator mula **274.55 tungo sa 12.78 oras** sa workload na 600 bilyong row. Mga operator time itong iniulat ng vendor para sa workload na iyon, hindi pagtataya para sa ibang UDF o resulta ng end-to-end job. Dapat unawain sa kontekstong iyon ang mas malawak na pahayag na 22x. Maaaring baguhin ng GPU capacity, paglipat ng data, hindi suportadong operation, code review at bayarin sa cloud ang resulta sa pipeline mo.

## Mga mapagkukunan at karagdagang babasahin

- [NVIDIA Technical Blog, Oktubre 13, 2026](https://developer.nvidia.com/blog/rewrite-apache-spark-udfs-gpu-acceleration-ai-agents/): nagpapaliwanag ng CPU fallback, pagpili sa SQL/cuDF/CUDA, apat na yugto ng workflow, at nag-iisang performance example na binanggit ng kumpanya. Iniulat ng vendor ang mga numero ng performance.
- [NVIDIA cuDF Spark skills, naka-pin na repository revision](https://github.com/NVIDIA/cudf-spark/tree/cb8150b7ee4b07863bb6b267f28885def24b177e/skills): naka-version na panimulang sanggunian para sa scaffold at mga indibidwal na skill. Hindi makuha ng retrieval route namin ang naka-pin na GitHub page; itinugma ang detalye ng workflow sa tutorial ng NVIDIA at sa mababasang skills README sa pangunahing sangay ng repository.
- [Pangkalahatang-ideya ng cuDF plugin para sa Apache Spark](https://docs.nvidia.com/cudf-spark/latest/getting-started/overview.html): kasalukuyang impormasyon sa setup at compatibility, kasama ang tahasang tuntuning sa Spark CPU tumatakbo ang mga hindi suportadong operation. Tingnan ang listahan ng compatibility para sa mismong release bago magpatupad.

## Sources

- [NVIDIA Technical Blog, How to Rewrite Apache Spark UDFs for GPU Acceleration with AI Agents](https://developer.nvidia.com/blog/rewrite-apache-spark-udfs-gpu-acceleration-ai-agents/) — Pangunahing tutorial at workload example na iniulat ng vendor.
- [NVIDIA cuDF Spark skills, naka-pin na revision](https://github.com/NVIDIA/cudf-spark/tree/cb8150b7ee4b07863bb6b267f28885def24b177e/skills) — Itinalagang naka-pin na revision; nabigo ang pagkuha dahil sa web cache miss. Itinugma ang detalye sa tutorial at mababasang pangunahing README.
- [NVIDIA cuDF Spark skills, pangunahing README](https://github.com/NVIDIA/cudf-spark/tree/main/skills) — Kasalukuyan at maaaring magbago na README na naglilista ng pangalan ng skill at mga kailangan bago gamitin.
- [Pangkalahatang-ideya ng cuDF plugin para sa Apache Spark](https://docs.nvidia.com/cudf-spark/latest/getting-started/overview.html) — Kasalukuyang dokumentasyon sa fallback at compatibility; tingnan ito ayon sa release ng deployment.