Kapag gumagamit ng AI ang tagasanay ng AI, paghatol ng tao ang kulang na produkto

Kumukuha ang mga kumpanya ng mga taong maghahambing ng sagot ng modelo, magpapaliwanag kung ano ang mali at magbibigay ng halimbawa ng mas mahusay na trabaho. Sa ganitong gawain, bahagi lang ng ipinagagawa ang maayos na sagot. Maaaring nagbabayad ang kliyente para sa paghatol na hindi nagmula sa modelong sinusubok.

Iniulat ng 404 Media na inilarawan ng tatlong kontratistang nagtatrabaho sa mga proyektong may kaugnayan sa OpenAI ang mga patakarang nagbabawal sa paggamit ng AI, at dalawa sa kanila ang nagsabing tinanggal na sa proyekto ang mga kontratista dahil dito. Sinabi ng Mercor, na nagbigay ng dalawa sa mga taong kinapanayam, sa publikasyon na ipinagbabawal ng mga kontrata nito ang paggamit ng large language model para tapusin ang gawain sa proyekto at inaalis ang mga mapatunayang lumabag. Tumangging magkomento ang OpenAI. Hindi namin nakita ang mga pribadong dokumento ng proyekto o nakapagberipika nang hiwalay sa mga indibiduwal na kaso.

Higit pa sa iisang plataporma ng kontratista ang mahalagang tanong: kapag humihingi ang isang negosyo ng malayang pagsusuri ng tao, paano nito ito ihihiwalay sa mga gawaing malugod na tumatanggap ng tulong ng AI?

Ang malaking pagbabago

• Ano ang nagbago: Inilalantad ng iniulat na alitan sa mga kontratista ang hindi pagkakasundo kung ano ang dapat ibigay ng gawaing pagsasanay sa AI: mga natapos na sagot o malayang pagsusuri ng tao.
• Bakit ito mahalaga: Ginagawang sukatan ng pampublikong pilot program ng Mercor ang propesyonal na paghatol. Binabago ng pagpapalit dito ng mga ranggong likha ng modelo ang sinusukat ng pagsusuri, kahit maayos ang pagkakasulat ng isinumite.
• Ano ang dapat bantayan: Kailangang pagpasiyahan ng mga bumibili ng pagsusuri kung aling mga yugto ang nangangailangan ng paghatol nang walang tulong. Dapat ilagay ang pasiyang ito sa mga tagubilin ng gawain para makita ito ng mga manggagawa bago tanggapin ang trabaho.

Maaaring ang kalayaan ng paghatol mismo ang binibili

Kapaki-pakinabang ang AI assistant kapag mabilis na unang burador ang kailangan. Nagiging problema ito kapag kailangang magbigay ng sangguniang sagot o malayang paghahambing at inililihim ang pagkakaibang iyon.

Malinaw na inilalahad ng pampublikong listahan ng Mercor para sa pilot na pagsusuri ng modelo sa larangan ng negosyo ang rekisito. Nilulutas ng mga eksperto ang propesyonal na gawain, niraranggo ang limang pagtatangka ng modelo, binibigyan ng marka ang mga ito at sumusulat ng mga pangangatwirang batay sa ebidensiya. Ayon sa listahan, walang ibinibigay na rubric o ginintuang sagot dahil propesyonal na paghatol ang mismong sinusukat. Ipinagbabawal nito ang AI assistant habang lumulutas, nagraranggo, nagbibigay ng marka at nagsusulat ng pangangatwiran.

Isang pilot program ang inilalarawan ng mga tuntuning ito. Nakabatay ang paghahambing sa sariling pagsusuri ng propesyonal; kapag ipinasa ang pagsusuring iyon sa modelo, nababago ang eksperimento.

Hindi awtomatikong masamang datos ang sintetikong feedback

Nakakatuksong iugnay ang anumang sagot sa pagsasanay na likha ng AI sa “pagbagsak ng modelo.” Lalampas iyon sa ebidensiya rito. Sinuri sa pananaliksik na inilathala sa Nature ang mga paulit-ulit na siklo ng pagsasanay kung saan ipinapalit ang nalikhang datos sa datos mula sa orihinal na distribusyon. Sa mga eksperimentong iyon, nawalan ng impormasyon ang magkakasunod na modelo tungkol sa pinagbabatayang distribusyon. Hindi pag-aaral sa iniulat na gawain ng mga kontratista ang setup na iyon, at hindi masasabi ng papel kung nakaapekto ang anumang partikular na marka sa inilunsad na modelo ng OpenAI.

Ipinakikita ng isa pang pag-aaral tungkol sa pagbagsak ng modelo kung bakit mahalaga ang pagkakaiba. Natuklasan ng mga may-akda na bumagsak ang modelo nang ipalit sa orihinal na tunay na datos ang sintetikong datos sa bawat henerasyon, pero hindi ito nangyari sa mga eksperimento nila nang manatili ang tunay na datos at idagdag dito ang sintetikong datos mula sa magkakasunod na henerasyon. Hindi nito pinatutunayang ligtas ang bawat halo. Ipinakikita lang nitong hindi sapat na paliwanag ang “likha ng AI”; mahalaga ang pinagmulan, pagpili at proseso ng pagsasanay.

Gawing malinaw kung anong proseso ang pinahihintulutan

Dapat tukuyin sa maikling tagubilin ang mga pinahihintulutang tool, ang mga yugtong nangangailangan ng paghatol nang walang tulong, at kung paano isisiwalat ng mga manggagawa ang natanggap na tulong. Tinutukoy sa pilot program ng Mercor ang kalayaan sa paglutas at pagsusuri. Dapat ilarawan ng mga bumibili ng gawaing tinulungan ng AI kung anong propesyonal na paghatol ang inaasahan pa rin nilang ibibigay ng manggagawa.

Kailangan din ng parehong pag-iingat sa pagrerepaso. Ayon sa ulat ng 404 Media, nagbabala ang isang panloob na dokumento sa mga tagasuri laban sa paggamit ng mga tool sa pagtukoy ng AI at tinawag ang mga ito na hindi maaasahan. Kaayon ito ng batayang prinsipyo sa pamamahala: hindi patunay ng paggamit ng modelo ang bantas, bilis o maayos na pananalita. Maaaring suriin ng tagasuri kung sumasangguni sa pinagmulang materyal ang pangangatwiran, hilingin sa manggagawa na ipaliwanag ang pasiya, ihambing ang mga paulit-ulit na isinumite at siyasatin ang tala ng tool na legal na kinokolekta ng proyekto. Walang iisang palatandaan sa estilo ang dapat magpasya sa kaso ng manggagawa.

Kailangan ng mga manggagawa ng patakarang maaaring kuwestiyunin, hindi ng hulaan

Mabilis mawalan ng akses sa proyekto ang mga independiyenteng kontratista. Kaya dapat ipakita nang maaga ng mapagkakatiwalaang sistema ang patakaran bago magsimula ang bayad na trabaho, pag-ibahin ang pinaghihinalaang paglabag at ang napatunayan na, at magbigay ng paraan para maipaliwanag ng manggagawa ang kaugnay na ebidensiya. Rekomendasyon ito para sa makatarungang proseso, hindi pahayag tungkol sa mga karapatan sa ilalim ng anumang kontrata o batas.

Samantala, dapat ituring ng mga manggagawa na bahagi ng espesipikasyon ng produkto ang rekisitong magbigay ng paghatol nang walang tulong. Maaaring magtanong muna ang taong naniniwalang kailangan ang aprubadong tool bago ito gamitin, o tanggihan ang gawain. Hindi nagiging katanggap-tanggap ang inilihim na tulong dahil lamang mahusay magsulat ang modelo, kung paanong hindi rin nagiging katanggap-tanggap ang ipinagbabawal na panlabas na katuwang dahil tama ang sagot.

Tukuyin kung kanino nagmula ang paghatol

Malinaw ang espesipikasyon ng produkto sa pampublikong pilot program ng Mercor: propesyonal na pagsusuri nang walang tulong. Kailangan ding malinaw na ilarawan ng mga bumibili ng gawaing tinulungan kung anong mga tool ang pinahihintulutan at anong paghatol ang dapat ibigay ng manggagawa.