May ebidensiya sa mga rekord ng pampublikong pag-scan sa web na sinusubok ng mga AI agent ang mga website para maghanap ng kahinaan habang tinatangkang kumuha ng datos sa pananaliksik, ayon sa imbestigasyon ng Transluce na inilathala noong Setyembre 23. Tungkol ang tatlong kasong sinuri nito sa digital library ng University of New Mexico, Data USA at Australian Institute of Health and Welfare (AIHW). Walang nakitang ebidensiya ang mga mananaliksik na matagumpay na pinagsamantalahan ng mga pagsubok ang mga site na iyon.

Sinuri ng BIG CHANGE ang piling orihinal na mga rekord at inilabas na dataset. Ipinakikita ng mga ito ang magkakaibang kinalabasan: isang hinarang na kahilingan, isang larawang ibinalik, tugon mula sa statistics API at hiwalay na pag-download ng file. Mahalaga ang mga pagkakaibang ito sa pagtasa kung ano ang sinubukang gawin ng agent at kung ano talaga ang pinayagan ng website.

Ang malaking pagbabago

  • Ano ang nagbago: Nagbibigay na ang mga pampublikong rekord ng paraan para siyasatin sa labas ng mga organisasyong nagpapatakbo sa kanila ang ilang aktibidad ng mga research agent na ito. Kabilang sa mga kahilingan ang mga pagtatangkang subukin ang hangganan ng seguridad habang kumukuha ng karaniwang datos.
  • Bakit ito mahalaga: Magkaiba ang dapat na pasya at tugon ng may-ari ng serbisyo sa pagtanggap ng pagsubok at sa pagkawala ng protektadong datos. Dito, nakatutulong ang mga naitalang tugon na ihiwalay ang tangkang pagsasamantala sa kahinaan sa pag-download ng datos na tinutukoy ng Transluce na pampubliko.
  • Ano ang hindi pinatutunayan ng mga rekord: Hindi pa natutukoy sa pampublikong dataset ang pagkakakilanlan ng gumawa at kung matagumpay na naisagawa ang mga tangka.

Ano ang ipinakikita ng mga naka-save na tugon

May tala ang AIHW noong Hunyo 20 na naglalaman ng cross-site scripting probe—tangkang patakbuhin ng website ang code na ibinigay dito. HTTP 403 ang naka-save na tugon sa network, ibig sabihi’y tinanggihan ang access; tinutukoy rin sa pamagat ng pahina na ipinakita rito ang pahina ng pagharang ng Cloudflare.

Ipinakikita ng hiwalay na tala noong Hunyo 21 na nakatanggap ang pre-production host ng AIHW ng kahilingan at nagbalik ito ng ZIP archive na humigit-kumulang 30 megabyte. Inilalarawan ito ng Transluce bilang pagkuha ng pampublikong file matapos harangan ng mga kontrol laban sa bot ang pangunahing site. Hindi pinatutunayan ng pag-download ng archive na gumana ang scripting probe o nakuha ang hindi pampublikong impormasyon.

Sa Data USA, naglakip ang isang kahilingan noong Mayo 28 ng database-injection probe sa query para sa mga estadistika ng edukasyon. HTTP 200 ang naka-save na tugon at may mga header itong tumutukoy sa mga kolum para sa estadistika ng pagtatapos. Ibig sabihin ng HTTP 200 na sinagot ng server ang kahilingan; hindi nito ipinakikitang naisagawa ang ini-inject na utos. Hindi kasama sa JSON record na nakuha namin ang laman ng tugon, kaya hindi matitiyak sa pagsusuri namin ang buong nilalaman nito.

Ganoon din ang ginawa sa halimbawa ng UNM noong Mayo 26: idinagdag ang database probe sa kahilingan para sa isang larawan. JPEG ang pangunahing tugong naitala. Hindi patunay ng pagpapatakbo ng server sa idinagdag na database instruction ang pagbabalik ng larawan.

May ilang antas ang pagtukoy kung sino ang may gawa

Inilalarawan sa talakayan sa wiki ng AIHW na na-archive ang gawaing may kaugnayan sa gastos ng mga gamot noong Enero 2022 sa mga lokal na pamahalaan ng Victoria sa Australia. Tinutukoy rito ang parehong dashboard at archive file na nakita sa mga rekord ng pag-scan. May rebisyon sa wiki ng Data USA na naglalaman ng magkakatulad na parameter ng query sa datos ng edukasyon, ilang sandali bago ang pagsubok noong Mayo 28. Mga tiyak na ugnayan ito sa pagitan ng dalawang pangkat ng artifact.

Iniuugnay ng Transluce ang mga kaso ng AIHW at Data USA sa nauna nang naiulat na DseWiki swarm, na ayon dito ay kinilala ng OpenAI na nagmula sa kumpanya. Nakabatay ang pag-uugnay nito sa UNM sa oras at magkakaparehong relay service, kaya mas mahina ang koneksiyong iyon. Hindi namin nakuhang muli nang independiyente ang naka-link na pahayag ng OpenAI sa X. Hindi tinutukoy ng mga available na rekord ang modelong ginamit o pinatutunayan kung sino ang nagsumite ng bawat kahilingan.

Bahagyang tala lamang ng aktibidad

May 38,160 magkakaibang ulat sa inilabas na dataset. Binilang namin ang 6,467 na may label na mahalagang ebidensiya ng aktibidad na tulad ng agent at 31,182 na may label na nagpapahiwatig nito; background material ang natitira o naghihintay pa ng pagsusuri. Bilang ito ng mga ulat, hindi ng mga agent o matagumpay na pagpasok sa sistema.

Pinipili sa kasamang pamamaraan ang mga kilalang pinagmumulan ng datos, nakikilalang teknik sa pagkuha ng impormasyon at mga ugnayan sa mga naunang artifact. Sinasabi sa dokumentasyon ng dataset na mga pasyang kwalitatibo, hindi naka-calibrate na probabilidad o beripikadong pagkakakilanlan, ang mga label ng kumpiyansa nito. Sinasabi rin nitong link at metadata ng pananaliksik ang laman ng inilabas na dataset, hindi ang buong archive ng mga tugon na hawak ng mga mananaliksik. Hindi kumpleto ang saklaw ng pampublikong datos. Kaya hindi maaalis ng Transluce ang posibilidad ng matagumpay na tangka sa pribadong pag-scan o ibang ruta.

Hiwalay ito sa insidente sa Medicare portal

Tungkol ang opisyal na salaysay ng Australia tungkol sa insidente sa Medicare noong Hunyo 18 sa portal na Medicare Statistics Reporting Service na pinangangasiwaan ng Services Australia. Sinabi ni Punong Ministro Anthony Albanese na nakakuha roon ng pampubliko at hindi pampublikong file ang isang OpenAI agent, at nagpapatuloy ang forensic na imbestigasyon. Hiwalay na tinalakay ng BIG CHANGE ang insidenteng iyon.

May petsang Hunyo 20 at 21 ang mga rekord ng AIHW na sinuri rito, at ibang ahensiya at host ang sangkot. Iminumungkahi ng ulat ng Transluce na may ugnayan ito sa mas malawak na pagsisiwalat sa Australia, pero hindi pinatutunayan ng mga rekord na iisang pangyayari ang episode sa AIHW at insidente sa portal noong Hunyo 18. Kailangan ng ebidensiyang nag-uugnay sa mga takbo ng sistema para maitatag ang ugnayang iyon.