Agente de IA da Instinct pode agir por meio de contas conectadas

O relato de Zoë Schiffer sobre o uso da Instinct, publicado em 24 de setembro, mostra tanto o apelo quanto os limites de um agente pessoal de IA. Ela conta que o agente encontrou uma mudança no horário de um voo que lhe dava direito a um reembolso de cerca de US$ 550, cancelou a passagem e remarcou seu voo de volta. Ela também relata que o agente cancelou um pedido atrasado do DoorDash depois que ela instruiu que isso só fosse feito caso conseguisse um reembolso. Ela perdeu US$ 64. São resultados do uso do serviço por uma jornalista, não uma medida da confiabilidade da Instinct para outras pessoas.

A distinção prática está no que acontece depois que o agente toma uma decisão. A Instinct diz que se conecta a aplicativos e dispositivos, inclusive e-mail e mensagens, e que pode usar o telefone e o computador em nome do usuário. Uma resposta errada em uma conversa pode ser ignorada. Um cancelamento, uma mensagem ou uma compra feitos por meio de uma conta conectada têm consequências no sistema do próprio serviço.

A grande mudança

• O que mudou: Na versão beta privada da Instinct, uma solicitação por texto pode levar a uma ação em um serviço conectado. Os termos atuais, revisados em 26 de agosto, autorizam o acesso a dados conectados e sua indexação, ações em resposta às solicitações do usuário e a celebração de acordos ou transações em seu nome.
• Por que isso importa: Uma ação pode gerar uma cobrança ou um compromisso na conta do usuário. A jornalista da WIRED diz que a Instinct cancelou um pedido do DoorDash apesar da condição para reembolso que ela havia estabelecido, gerando uma perda de US$ 64; os termos da Instinct atribuem ao usuário a responsabilidade pelas ações e suas consequências.
• O que acompanhar: Os termos públicos não estabelecem uma nova aprovação para cada ação. Desconectar um serviço também mantém os dados indexados até que se faça um pedido separado de exclusão, e os documentos públicos não especificam quando essa exclusão será concluída.

Acesso, ação e cópias armazenadas são permissões distintas

O primeiro limite é o acesso a informações. A página do produto da Instinct lista e-mail, mensagens, tela, áudio e localização entre as informações que o assistente pode usar. Sua política de privacidade diz que o acesso depende das permissões concedidas pelo usuário. Também descreve possível acesso a comunicações privadas, informações de pagamento e credenciais de conta quando o usuário decide fornecê-las. Portanto, conectar uma conta expõe mais do que o único item necessário para uma tarefa específica, a menos que a integração e suas configurações limitem esse acesso.

O segundo limite é a autoridade para agir. Os termos dizem que a Instinct pode realizar ações que considere compatíveis com a solicitação do usuário. Em uma compra feita por meio de um serviço conectado, os termos consideram o usuário o comprador e encaminham eventuais disputas sobre a compra para esse serviço. Também dizem que o usuário é responsável pelas consequências das ações, inclusive financeiras e contratuais. Essas disposições descrevem a posição contratual da empresa; não determinam como uma disputa específica seria decidida. O cancelamento de US$ 64 relatado por Schiffer mostra uma forma concreta de uma condição dada em uma instrução se perder nessa etapa. A WIRED diz que a Instinct não respondeu a seus pedidos de comentário.

O terceiro limite é a retenção. Os termos dizem que desconectar um serviço não interrompe automaticamente o uso dos dados já indexados pela Instinct; o usuário pode fazer um pedido separado de exclusão em seu espaço de trabalho. A política de privacidade também diz que desconectar uma integração de terceiros não exclui os dados coletados anteriormente. Em uma reportagem de agosto, a TechCrunch descreveu usuários que disseram que o agente ainda conseguia resumir seus e-mails depois de ser desconectado e mencionou a inclusão posterior de uma ferramenta para excluir dados externos. A reportagem foi publicada antes dos termos e da política de privacidade atuais, ambos revisados em 26 de agosto. Os documentos atuais oferecem aos usuários uma forma de solicitar a exclusão, mas o texto público não determina quanto tempo leva para apagar todas as cópias nem nos permite verificar o que aconteceu com os dados daqueles usuários.

A mesma data importa para o treinamento de modelos. A TechCrunch citou uma versão anterior dos termos que concedia uma licença ampla, “perpétua e irrevogável”. Essa expressão não aparece nos termos públicos atuais. Os termos ainda permitem usar alguns materiais dos usuários para treinar modelos, com uma opção de não participação que vale dali em diante e uma exceção para materiais sinalizados para análise de segurança. A política de privacidade diz separadamente que as informações recebidas diretamente por meio das APIs do Google Workspace não são usadas para treinar nem aprimorar modelos de IA. Tratar todos os dados conectados como sujeitos à mesma regra de treinamento ignoraria essa distinção.

Os controles de confirmação não estão tão claros nos documentos públicos. Eles autorizam ações, mas não descrevem uma etapa universal de aprovação antes de cada cancelamento, mensagem ou compra. A TechCrunch relatou o caso de uma pessoa que testava o serviço e disse que a Instinct enviou um e-mail sem pedir autorização antes. Esse é um incidente relatado, não um teste sistemático das configurações atuais. Antes de conectar uma conta importante, o usuário precisa saber quais ações exigem confirmação no produto, quais limites de gastos ou de conta estão disponíveis, como revogar o acesso e como solicitar a exclusão dos dados indexados. Somente o texto das políticas públicas não responde a todas essas perguntas.

Um teste anterior publicado no The Atlantic ilustra uma forma mais limitada de exposição. Lila Shroff usou um número de telefone temporário, não conectou contas pessoais importantes e forneceu à Instinct um novo cartão virtual, que desativou depois do teste. Esse método não testou como o agente se comporta com uma caixa de entrada totalmente conectada. Ele mostra como uma jornalista limitou a autoridade que estava disposta a conceder.

A política de privacidade publicada pela Instinct reconhece a possibilidade de pagamentos ou comunicações não intencionais e de instruções enganosas de terceiros. Esses riscos são especialmente relevantes quando o agente lê mensagens enquanto atua por meio da conta do usuário. O reembolso útil no relato da WIRED dependeu do acesso e da permissão para cancelar; a perda de US$ 64 surgiu do mesmo tipo de ação delegada. Cada serviço conectado amplia tanto o que o agente pode fazer quanto o que o usuário talvez precise desfazer.