Zoë Schiffer의 9월 24일 Instinct 사용기에는 개인용 AI 에이전트의 매력과 한계가 모두 담겨 있다. 그녀는 약 550달러의 환불 자격이 생기는 항공편 일정 변경을 에이전트가 찾아내 항공권을 취소하고 귀국편을 다시 예약했다고 전했다. 또한 환불을 받을 수 있을 경우에만 취소해 달라고 요청했는데도 지연된 DoorDash 주문이 취소됐다고 밝혔다. 그 결과 그녀는 64달러를 돌려받지 못했다. 이는 한 기자의 서비스 이용 경험이지, Instinct가 다른 사용자에게 얼마나 안정적으로 작동하는지를 측정한 결과는 아니다.

실질적인 구분점은 에이전트가 결정을 내린 뒤 어떤 일이 벌어지는가다. Instinct는 이메일과 메시지를 포함한 앱과 기기에 연결되며 사용자를 대신해 휴대전화와 컴퓨터를 사용할 수 있다고 말한다. 채팅에서 잘못된 답변이 나오면 무시할 수 있다. 연결된 계정을 통해 이뤄진 취소, 메시지 또는 구매는 해당 서비스 시스템 안에서 실제 결과를 낳는다.

큰 변화

  • 달라진 점: Instinct의 비공개 베타에서는 텍스트 요청이 연결된 서비스의 실제 작업으로 이어질 수 있다. 현행 이용약관은 8월 26일 개정됐으며, 연결 데이터에 대한 접근과 색인, 사용자 입력에 응답하는 작업, 사용자를 대신한 합의 또는 거래를 허용한다.
  • 중요한 이유: 작업으로 인해 사용자 계정에 비용이나 계약상 의무가 발생할 수 있다. WIRED 기자는 환불이 가능할 때만 취소해 달라는 조건이 있었는데도 Instinct가 DoorDash 주문을 취소해 64달러 손실이 생겼다고 밝혔다. Instinct 이용약관은 작업과 그 결과에 대한 책임을 사용자에게 둔다.
  • 지켜볼 점: 공개된 이용약관은 모든 작업 전에 새로 승인을 받도록 규정하지 않는다. 서비스 연결을 끊어도 별도 삭제 요청을 하기 전까지 이미 색인된 데이터는 남는다. 공개 문서에는 삭제가 언제 완료되는지 명시돼 있지 않다.

정보 접근, 작업 권한, 저장된 복사본은 서로 다른 허용 사항이다

첫 번째 경계는 정보 접근이다. Instinct의 제품 페이지에는 이메일, 메시지, 화면, 오디오 및 위치 정보가 어시스턴트가 사용할 수 있는 항목으로 나열돼 있다. 개인정보 처리방침은 접근 여부가 사용자가 부여하는 권한에 달려 있다고 설명한다. 사용자가 제공하기로 선택하면 비공개 통신 내용, 결제 정보 및 계정 인증 정보에도 접근할 수 있다고 밝힌다. 따라서 특정 연동과 설정이 접근 범위를 제한하지 않는 한 계정을 연결하면 작업에 필요한 단일 항목보다 더 많은 정보가 공개될 수 있다.

두 번째 경계는 작업 권한이다. 이용약관은 Instinct가 사용자 입력에 부합한다고 판단한 작업을 수행할 수 있다고 명시한다. 연결 서비스를 통한 구매의 경우 이용약관은 사용자를 구매자로 규정하고 구매 관련 분쟁은 해당 서비스 제공자와 해결하도록 한다. 또한 재정적·계약상 결과를 포함한 작업 결과에 대한 책임이 사용자에게 있다고 밝힌다. 이는 회사가 계약상 취하는 입장을 설명한 것이며, 특정 분쟁이 어떻게 판정될지 결론을 내리지는 않는다. Schiffer가 겪은 64달러 손실은 지시문의 조건이 이 경계에서 누락될 수 있는 구체적인 사례다. WIRED는 Instinct가 논평 요청에 응답하지 않았다고 전했다.

세 번째 경계는 데이터 보유다. 이용약관에 따르면 서비스 연결을 끊어도 Instinct가 이미 색인한 데이터를 계속 사용하는 것이 자동으로 중단되지는 않는다. 워크스페이스에서 별도로 삭제를 요청할 수 있다. 개인정보 처리방침도 제3자 연동을 끊어도 이전에 수집된 데이터가 삭제되지는 않는다고 설명한다. 8월 보도에서 TechCrunch는 연결 해제 이후에도 에이전트가 이메일을 요약할 수 있었다고 말한 사용자들과 이후 외부 데이터 삭제 도구가 추가된 일을 보도했다. 해당 보도는 8월 26일 개정된 현행 이용약관과 개인정보 처리방침보다 앞서 나왔다. 현행 문서는 사용자에게 삭제 경로를 제공하지만, 모든 복사본의 삭제 완료 시점은 공개 문서에 명시되어 있지 않고 당시 사용자 데이터에 실제로 무슨 일이 있었는지도 확인할 수 없다.

모델 학습에 대해서도 같은 개정일이 중요하다. TechCrunch는 이전 이용약관에 있던 포괄적이고 “영구적이며 취소 불가능한” 라이선스 문구를 인용했다. 이 문구는 현재 공개된 이용약관에는 없다. 현행 이용약관도 일부 사용자 자료를 모델 학습에 사용할 수 있도록 하지만, 향후 사용을 대상으로 하는 거부 선택지가 있고 안전 검토 대상으로 표시된 자료는 예외다. 개인정보 처리방침은 Google Workspace API를 통해 직접 받은 정보는 AI 모델 학습이나 개선에 사용하지 않는다고 별도로 명시한다. 연결된 모든 데이터에 동일한 학습 규칙이 적용된다고 보면 이 차이를 놓치게 된다.

확인 절차는 공개 문서만으로는 명확하지 않다. 이용약관은 작업을 허용하지만 모든 취소, 메시지 또는 구매 전에 일괄 승인을 받는 절차를 설명하지 않는다. TechCrunch는 한 테스터의 말을 인용해 Instinct가 먼저 묻지 않고 이메일을 보냈다고 보도했다. 이는 보고된 한 사례이지 현재 설정에 대한 체계적인 시험은 아니다. 중요한 계정을 연결하기 전에 사용자는 제품에서 어떤 작업에 확인이 필요한지, 어떤 지출 또는 계정 한도를 설정할 수 있는지, 접근 권한을 철회하고 색인 데이터를 삭제 요청하는 방법을 확인해야 한다. 공개 정책 문서만으로는 이 세 가지 질문에 모두 답할 수 없다.

The Atlantic에 실린 이전 시험은 노출을 제한한 한 가지 선택을 보여 준다. Lila Shroff는 임시 전화번호를 사용하고 중요한 개인 계정을 연결하지 않았으며, 시험 후 비활성화한 새 가상 카드를 Instinct에 제공했다. 이 방식으로 에이전트가 모든 계정에 연결된 받은편지함에서 어떻게 작동하는지 시험한 것은 아니다. 한 기자가 어느 정도의 권한을 부여할지 제한한 사례다.

Instinct의 공개 개인정보 처리방침은 의도치 않은 결제나 통신, 제3자의 오해를 부르는 지시 가능성을 인정한다. 에이전트가 메시지를 읽으면서 사용자 계정으로 작업할 때 특히 중요한 위험이다. WIRED 기사에서 유용했던 환불은 접근 권한과 취소 권한에 달려 있었고, 64달러 손실도 같은 위임 작업 중에 발생했다. 연결 서비스가 늘어날수록 에이전트가 할 수 있는 일과 사용자가 되돌려야 할 수도 있는 일도 늘어난다.