Maaaring matapos ng isang AI coding agent ang patch habang tumatakbo pa ang mga pagsusuri sa naunang patch nito. Nagbubunga ito ng alanganing pagkakaiba para sa engineering manager: mas marami nang nagawang code ang pangkat, pero wala pang natatanggap ang customer.
Kapaki-pakinabang na halimbawa ang Linear. Sa salaysay nito tungkol sa engineering noong Setyembre 21, iniulat ni Mufeez Amjad na halos apat na beses ang itinaas ng mga test suite nito mula simula ng 2026, habang bumaba ang paghihintay sa continuous integration ng mga pull request mula mahigit anim na minuto tungo sa mahigit limang minuto lang. Halos nabawasan sa kalahati ang oras ng runner sa bawat test. Magkakahiwalay na pagbuti ang mga ito; hindi ibig sabihin ng huling bilang na nahati rin sa kalahati ang kabuuang singil sa CI. Iniuugnay ng Linear sa pagbuo ng software sa tulong ng agent ang lumalaking bigat ng pagpapatunay, pero hindi kontroladong eksperimento ang salaysay nito na nagtatatag ng epekto ng AI sa produktibidad. Salaysay ng Linear tungkol sa engineering.
Ang continuous integration, o CI, ay nagpapatakbo ng mga awtomatikong pagsusuri sa mga iminungkahing pagbabago sa software. Nasa pagitan ito ng kapani-paniwalang patch at pagbabagong handang tanggapin ng pangkat. Kapag dinagdagan ng AI coding ang suplay ng mga patch, nagiging usaping pangnegosyo ang kapasidad ng pagsusuri: gaano karaming kapaki-pakinabang na gawain ang ligtas na kayang saluhin ng organisasyon?
Sa pananaw namin, dapat sabay na makita ng mga manager ang tatlong resulta: oras bago makakuha ng mapagkakatiwalaang puna, kabuuang paggamit ng kompyutasyon, at pagiging maaasahan ng inilabas na pagbabago. Kapaki-pakinabang lang ang mas mabilis na sagot kung nauunawaan ng pangkat kung ano ang pinatutunayan nito.
Maaaring mangailangan ng mas maraming trabaho ang mas maikling paghihintay
Isipin ang test suite na nangangailangan ng labindalawang minuto sa iisang makina. Kung hahatiin nang pantay-pantay sa apat na makina, matatapos ito sa loob ng tatlong minuto. Ipinagpapalagay ng kathang-isip na halimbawang ito ang perpektong paghahati at isinasantabi ang lahat ng iba pa. Labindalawang minuto pa rin ng trabaho ang gagawin ng mga makina kapag pinagsama.
Ngayon, maglaan ng isang minutong paghahanda sa bawat makina. Aabutin ng apat na minuto ang bersiyong gumagamit ng apat na makina at gagamit ito ng labing-anim na runner-minute. Aabutin naman ng labintatlong minuto ang bersiyong gumagamit ng isang makina, at labintatlong runner-minute ang konsumo nito. Malaki ang ibinababa ng oras ng paghihintay habang tumataas ang pinagsama-samang paggamit ng mga makina. Nakadepende rin ang aktuwal na singil sa uri ng runner, presyo at mga tuntunin sa pagsingil.
Mahalaga ang pagkakaibang ito kapag ipinagdiriwang ng dashboard ang mas maikling berdeng bar. Bumibili ang manager ng kapasidad para magpatakbo nang sabay-sabay kapalit ng mas maagang puna, na maaaring may dagdag na gastos. Mahusay itong kapalit ng gastos kung tunay na limitasyon ang naaalis nito. Mas mahirap itong bigyang-katwiran kapag ilang oras namang naghihintay ng reviewer ang nakumpletong pagbabago.
Dapat saklawin ng pagsusuri ang higit pa sa iisang CI run. Maaaring mangailangan ng paulit-ulit na rebisyon, muling pagpapatakbo at ikalawang pagsusuri ang isang patch, kaya mas marami itong konsumo kaysa ipinahihiwatig ng pinakamabilis nitong run. Bilangin ang lahat ng pagtatangkang kinailangan para tanggapin ang pagbabago, pati ang mga inabandona. Kung hindi, maaaring ikubli ng mukhang episyenteng pipeline ang magastos na proseso ng pagbuo.
Hindi rin katumbas ng iisang gastos sa paggawa ang bawat minutong paghihintay. Hindi nangangahulugang nasayang na ang buong pagitan ang developer na nagsimula ng isa pang kapaki-pakinabang na gawain habang tumatakbo ang mga pagsusuri. Pero maaari pa ring makasama ang paulit-ulit na pagkaantala at pagbabalik sa gawaing hindi tapos. Kailangang obserbahan kung paano nagtatrabaho ang pangkat para masukat ang mga epektong iyon; hindi sapat na imultiplika ang lumipas na minuto sa sahod.
Halo-halo ang larawang inilalarawan ng pananaliksik
Iniulat sa pagsusuri ng DORA noong Marso 2026 ang dalawang magkahiwalay na pangkat ng ebidensiya. Iniugnay ng pananaliksik nito noong 2025 ang mas malawak na paggamit ng AI sa mas mataas na daloy ng paghahatid ng software at mas matinding kawalang-tatag. Hiwalay dito, sinuri ng mga mananaliksik ang 1,110 bukas na sagot ng mga inhinyero ng Google na nakalap noong ikatlong kuwarter ng 2025. Inilarawan ng mga inhinyero ang tulong sa pagsulat ng draft at iba pang gawain, kasama ng dagdag na pagsisikap sa pagpapatunay. Hindi kabilang sa populasyong pinagbabatayan ng mas malawak na ugnayan ng DORA ang panloob na kwalitatibong pag-aaral; wala rin sa alinman sa mga ito ang nagtatatag na AI ang sanhi ng problema sa release ng isang partikular na pangkat. Pagsusuri at pamamaraan ng DORA.
Mayroon ding mas matibay na ebidensiyang eksperimental na mas makitid ang saklaw. Sa randomisadong pag-aaral ng METR noong Hulyo 2025, itinalaga ang 246 na gawain sa 16 na bihasang open-source developer na nagtatrabaho sa mga pamilyar na repository. Nang payagang gumamit ng mga AI tool mula sa unang bahagi ng 2025, tumagal nang 19% ang pagkumpleto ng gawain. Gayunman, inakala ng mga kalahok na mas mabilis silang natulungan ng AI. Tungkol lang sa mga developer, gawain at tool na iyon ang natuklasan; hindi nito napagpapasyahan ang halaga ng bawat coding agent na available ngayon. Orihinal na eksperimento ng METR.
Noong Pebrero 2026, sinabi ng METR na hindi maaasahan ang pagtatantiya ng sumunod nitong pag-aaral sa kasalukuyang epekto sa produktibidad. Dumarami ang developer na tumatanggi sa trabahong walang AI o pumipili kung aling gawain ang isusumite; nagpahirap din sa pagsukat ng oras ang sabay-sabay na mga agent. Itinuring ng mga mananaliksik na posible ang mas malaking pagbilis, pero mahina lang daw ang ebidensiyang ipinakikita ng datos tungkol sa laki nito. Makaliligaw sa mga mambabasa ang pag-uulit sa dating bilang ng pagbagal nang walang ganitong paglilinaw. Karugtong na pag-aaral ng METR.
Para sa manager, makatarungang praktikal na paninindigan ang mga pag-aaral na ito: panatilihin ang mga kapaki-pakinabang na tool, siyasatin ang mga epekto nito at iwasang gawing pangkalahatang tuntunin sa pagkuha ng tauhan ang sigasig o pag-aalinlangan. Malaki ang maaaring pakinabang ng pangkat sa isang uri ng trabaho, pero mawalan naman ito ng oras sa iba. Dapat maipakita ng proseso ng paghahatid ang pagkakaibang iyon.
Bigyan ng hiwalay na lunas ang bawat limitasyon
Bago bumili ng mas malaking kapasidad sa CI, subaybayan ang isang pagbabago mula sa unang iminungkahing patch hanggang sa produksyon. Ihiwalay ang trabahong tumatakbo sa trabahong naghihintay. Tukuyin kung aling pagsusuri ang talagang nagpapaantala sa pasiya, sinong reviewer ang kailangang magbigay-pansin, at anong mga kundisyon sa release ang kailangan pang matugunan pagkatapos.
Kadalasan, sapat na ang simpleng talaan ng oras para ilantad ang maling pamumuhunan. Kung karamihan ng pagkaantala ay nangyayari bago magsimula ang pagsusuri, hindi ito malulutas ng pagtitipid ng ilang segundo sa mga test. Kung paulit-ulit na naghihintay ang mga reviewer sa mahabang kinakailangang pagsusuri, may tuwirang pakinabang ang pagpapahusay dito. Kung pagkaraang i-deploy nagmumula ang karamihan ng problema, kailangang siyasatin ng pangkat ang mga hindi nahuhuli ng pagpapatunay.
Halimbawa ang pag-cache ng mga dependency kung bakit kailangang sukatin ang isang pamilyar na optimisasyon. Inilalarawan ng dokumentasyon ng GitHub ang caching bilang paraan para magamit muli ang mga file na magastos buuing muli sa malilinis na runner. Sinasabi rin nito na dapat kayang likhain muli o i-download ng mga job ang mga file kapag walang cache. Kaya dapat tasahin ang asal ng cache kapag tumama ito at kapag pumalya. Dokumentasyon ng GitHub tungkol sa pag-cache ng mga dependency.
Para sa manager, mahalagang malaman kung gaano kapredictable ang puna. Maaaring sabay na umiral ang napakagandang karaniwang oras at paminsan-minsang paghihintay na sapat ang tagal para makagambala sa release. Subaybayan ang mabagal na dulo ng distribusyon at ibukod ang lehitimong bagsak na test sa pumalyang download o naubos na runner. Magkaibang tugon ang kailangan sa bawat isa.
Nagbibigay ang maaasahan at napapanahong puna sa mga tao at agent ng mas maagang pagkakataong magwasto ng pagkakamali. Maaaring makinabang sa pagpapahusay sa iisang imprastrakturang ito ang maraming uri ng gawaing pang-develop, kabilang ang mga pagbabagong hindi isinulat sa tulong ng AI. Dahil dito, may dahilan ang mga manager na pondohan ito kahit nagbabago ang kanilang pinipiling coding tool.
Kailangan pa ring makahuli ng pagkakamali ang mas mabilis na test
May mga pagbabagong pang-performance na nag-iiba sa kundisyon ng pagpapatakbo ng test. Mas masusi itong dapat siyasatin kaysa sa simpleng pagpapabilis ng processor.
Isang tool sa pagsubok ng JavaScript at TypeScript ang Vitest; bilang default, ibinubukod nito ang mga test file para hindi maapektuhan ng estado ng isang file ang iba. Inilalarawan ng dokumentasyon nito kung paano piling alisin ang pagkakabukod sa mga test na angkop dito, pero tinutukoy din nito ang nababagong estado ng module, nabagong global at iba pang dependency bilang mga dahilan para panatilihin ito. Kaya maaaring baguhin ng setting na nagpapababa sa oras ng paghahanda ang hangganan ng kawastuhan. Gabay ng Vitest sa pagkakabukod.
Pinili ng Linear ang paraang kailangang tahasang paganahin para sa pinagsasaluhang estado, nagdagdag ito ng paglilinis at pinanatili ang pagkakabukod sa mga file na hindi ligtas ilipat. Nakadepende ang pakinabang nito sa performance sa pasiyang aling test ang ligtas gumamit ng iisang kapaligiran. Pagpapatupad ng Linear.
May hiwalay pang hamon kapag parehong nagsusulat ng pagbabago at mga test nito ang isang agent. Isipin ang kathang-isip na tuntunin sa diskuwento na para lang sa taunang subscription. Maaaring mali itong ipatupad ng agent para rin sa buwanang plano, tapos magsulat ito ng mga test na nagpapatibay sa sarili nitong pagkaunawa. Ang pagkapasa ng mga test na iyon ay magpapatunay lang na tugma ang mga ito sa pagkakamali.
Kailangan ng reviewer ng ebidensiyang nakabatay sa labas ng implementasyong iyon: ang napagkasunduang rekisito, mga halimbawang nagpapakita ng nilalayong asal, at mga kasong dapat pumalya. Maaaring makatulong ang paghingi sa agent ng karagdagang test, pero hindi patunay na nasubok ang maling pagkaunawa sa rekisito ang mas maraming test lang. Responsibilidad ng tao rito ang pagpapasiya kung ano dapat gawin ng software at kung nasasagot ng ebidensiya ang tanong na iyon.
Nanganganib na bigyan ng mas maraming babasahin at mas kaunting kumpiyansa ang mga reviewer ng mga pangkat na nagbibigay-gantimpala sa dami ng test nang hindi sinusuri kung ano ang pinatutunayan ng mga ito. Dapat maglaan ng oras ang manager para sa pagsusuring iyon sa pagtatalaga pa lang ng trabaho, sa halip na ituring itong di-maipaliwanag na pagkaantala pagkatapos matapos ng agent.
Sukatin ang pagbabagong nakararating sa mga customer
Kapaki-pakinabang na panukat sa mga susunod na yugto ang mga sukatan ng paghahatid ng DORA. Kabilang dito ang oras mula sa pag-commit ng code hanggang sa produksyon, dalas ng deployment, oras ng pagbangon matapos ang pumalyang deployment, bahagdan ng mga deployment na nangangailangan ng agarang pakikialam, at bahagdan ng mga deployment na kumakatawan sa hindi planadong muling paggawa dahil sa insidente. Inilalarawan ng mga ito ang resulta ng paghahatid na lampas sa simpleng pagkapasa ng test. Mga depinisyon ng sukatan ng DORA.
Para sa pangkat na nagsisiyasat sa workflow nitong AI coding, ipapares namin ang mga resultang iyon sa isang maikling talaang pantulong:
- Puna: lumipas na oras bago makumpleto ang mga kinakailangang pagsusuri, kasama ang mababagal na run at paghihintay ng kapasidad.
- Konsumo: pinagsama-samang trabaho ng runner at paulit-ulit na pagtatangkang kaugnay ng tinanggap na pagbabago.
- Pagsusuri: oras ng paghihintay ng atensiyon, mahahalagang rebisyong hiniling at dahilan ng bawat isa.
- Epekto sa customer: kung naihatid ng inilabas na pagbabago ang nilalayong asal at kung kinailangan itong iwasto.
Gamitin ang talaan para siyasatin ang isang partikular na workflow. Hindi dapat ituring na magkaparehong yunit ng produktibidad ang maliit na pagbabago sa dokumentasyon at paglilipat ng database. Kung maaari, ihambing ang magkakatulad na gawain sa paglipas ng panahon at itala ang iba pang pagbabago, gaya ng bagong provider ng runner o binagong proseso ng release. Hindi patunay ng sanhi nito ang paglitaw ng pagbuti kasabay ng paggamit ng AI.
Makagagawa na ang mga manager ng konkretong pasiya: pondohan ang limitasyong pumipigil sa mga kapaki-pakinabang na pagbabago na makarating sa mga customer nang may sapat na kumpiyansa. Kung minsan, mas maraming kapasidad sa kompyutasyon ang kailangan. Kung minsan naman, kailangan ang mas malinaw na rekisito, mas mahuhusay na test o sapat na oras ng pagsusuri ng mga bihasa para maunawaan ang mga mungkahing dumarating na.
