Zoë Schiffer je u izveštaju od 24. septembra o korišćenju Instincta opisala i privlačnost i ograničenja ličnog AI agenta. Navodi da je agent pronašao promenu reda letenja zbog koje je imala pravo na povraćaj oko 550 dolara, otkazao kartu i ponovo rezervisao povratni let. Navodi i da je otkazao odloženu DoorDash porudžbinu nakon što mu je rekla da to uradi samo ako može da dobije povraćaj novca. Izgubila je 64 dolara. To su ishodi korišćenja usluge jedne novinarke, a ne merilo pouzdanosti Instincta za druge korisnike.

Praktična razlika je u tome šta se dešava kada agent donese odluku. Instinct navodi da se povezuje sa aplikacijama i uređajima, uključujući imejl i poruke, i da može da koristi telefon i računar u ime korisnika. Pogrešan odgovor u razgovoru može se zanemariti. Otkazivanje, poruka ili kupovina preko povezanog naloga ima posledice u sistemu te usluge.

Velika promena

  • Šta se promenilo: U privatnoj beta verziji Instincta, tekstualni zahtev može da pokrene radnju u povezanoj usluzi. Važeći uslovi korišćenja, izmenjeni 26. avgusta, odobravaju pristup povezanim podacima i njihovo indeksiranje, postupke koji odgovaraju na korisnički unos, kao i sklapanje sporazuma ili obavljanje transakcija u ime korisnika.
  • Zašto je važno: Radnja može da izazove naplatu ili obavezu na korisničkom nalogu. Novinarka WIRED-a navodi da je Instinct otkazao DoorDash porudžbinu uprkos uslovu da to učini samo uz povraćaj novca, čime je izgubila 64 dolara; uslovi Instincta pripisuju korisniku odgovornost za radnje i njihove posledice.
  • Šta treba pratiti: Javni uslovi korišćenja ne potvrđuju da se za svaku radnju traži nova saglasnost. Prekid veze sa uslugom takođe ne uklanja već indeksirane podatke; za to je potreban poseban zahtev za brisanje. Javni dokumenti ne navode kada se brisanje završava.

Pristup, radnje i sačuvane kopije podležu različitim dozvolama

Prva granica je pristup informacijama. Na stranici proizvoda Instincta navode se imejl, poruke, ekran, zvuk i lokacija kao izvori informacija koje asistent može da koristi. U politici privatnosti piše da pristup zavisi od dozvola koje korisnik odobri. U njoj se navodi i da asistent može da pristupi privatnoj prepisci, podacima o plaćanju i podacima za prijavu na nalog ako korisnik odluči da ih dostavi. Povezivanje naloga zato može da izloži više od pojedinačne stavke potrebne za određeni zadatak, osim ako konkretna integracija i njena podešavanja ne ograničavaju taj pristup.

Druga granica je ovlašćenje za postupanje. Uslovi korišćenja navode da Instinct može da preduzme radnje koje smatra primerenim korisnikovom unosu. Kada se kupovina obavi preko povezane usluge, uslovi određuju da je korisnik kupac i upućuju ga da sporove u vezi sa kupovinom rešava sa tom uslugom. Uslovi takođe navode da je korisnik odgovoran za posledice radnji, uključujući finansijske i ugovorne. Te odredbe opisuju ugovorni stav kompanije; one ne određuju kako bi se rešio konkretan spor. Otkazivanje porudžbine za 64 dolara, koje je opisala Schiffer, pokazuje kako se uslov iz uputstva može izgubiti baš na ovoj granici. WIRED navodi da Instinct nije odgovorio na zahteve za komentar.

Treća granica je čuvanje podataka. Uslovi kažu da prekid veze sa uslugom ne zaustavlja automatski Instinct da koristi podatke koje je već indeksirao; zahtev za brisanje može se zasebno podneti u radnom prostoru. Politika privatnosti isto tako navodi da prekid veze sa integracijom treće strane ne briše ranije prikupljene podatke. U avgustovskom izveštaju TechCrunch je opisao korisnike koji su rekli da agent i nakon prekida veze i dalje može da sažima njihovu elektronsku poštu, kao i kasnije dodavanje alata za brisanje spoljnih podataka. Taj izveštaj je objavljen pre važećih uslova korišćenja i politike privatnosti, koji su izmenjeni 26. avgusta. Sadašnji dokumenti korisnicima daju mogućnost da zatraže brisanje, ali javni tekst ne utvrđuje koliko traje brisanje svih kopija niti omogućava proveru šta se dogodilo sa podacima tih korisnika.

Isti datum je važan i za obučavanje modela. TechCrunch je citirao raniju verziju uslova koja je davala široku licencu „trajnog i neopozivog“ važenja. Ta formulacija ne postoji u sadašnjim javnim uslovima. Važeći uslovi i dalje dopuštaju korišćenje nekih korisničkih materijala za obučavanje modela, uz mogućnost isključivanja koja važi ubuduće i izuzetak za materijal označen za bezbednosnu proveru. Politika privatnosti zasebno navodi da se informacije dobijene neposredno preko Google Workspace API-ja ne koriste za obučavanje ni unapređivanje AI modela. Tretiranje svih povezanih podataka po istom pravilu za obučavanje zanemarilo bi tu razliku.

Iz javnih dokumenata nije jasno kako funkcionišu potvrde radnji. Oni dozvoljavaju postupanje, ali ne opisuju univerzalnu potvrdu pre svakog otkazivanja, slanja poruke ili kupovine. TechCrunch je preneo iskustvo korisnika koji je rekao da je Instinct poslao imejl bez prethodnog pitanja. To je prijavljeni incident, a ne sistematsko testiranje sadašnjih podešavanja. Pre povezivanja važnog naloga, korisnik treba da proveri koje radnje u proizvodu zahtevaju potvrdu, koja ograničenja potrošnje ili naloga postoje, kao i kako se ukidaju dozvole i traži brisanje indeksiranih podataka. Sam tekst javnih pravila ne daje odgovore na sva tri pitanja.

Jedan raniji test koji je objavio The Atlantic pokazuje uži izbor u pogledu izloženosti. Lila Shroff koristila je privremeni broj telefona, nije povezala važne lične naloge i dala je Instinctu novu virtuelnu karticu koju je deaktivirala nakon testiranja. Taj postupak nije proverio kako se agent ponaša kada ima pristup celom prijemnom sandučetu. On pokazuje kako je jedna novinarka ograničila ovlašćenja koja je bila spremna da mu dodeli.

Objavljena politika privatnosti Instincta priznaje mogućnost nenamernih plaćanja ili komunikacije, kao i mogućnost da treće strane daju obmanjujuća uputstva. To je naročito važno kada agent čita poruke i istovremeno postupa preko korisničkog naloga. Povraćaj novca koji je uspela da dobije novinarka WIRED-a zavisio je od pristupa i dozvole za otkazivanje; izgubljenih 64 dolara nastalo je pri istoj vrsti delegirane radnje. Svaka povezana usluga proširuje i mogućnosti agenta i ono što bi korisnik kasnije morao da poništi.