El relato de Zoë Schiffer del 24 de septiembre sobre su experiencia con Instinct muestra tanto el atractivo como los límites de un agente personal de IA. Cuenta que encontró un cambio en el horario de un vuelo que le daba derecho a un reembolso de unos 550 dólares, canceló el billete y reservó de nuevo el vuelo de regreso. También relata que canceló un pedido de DoorDash que se había retrasado después de que ella le indicara que lo hiciera solo si podía obtener un reembolso. Perdió 64 dólares. Son resultados de una periodista que usó el servicio, no una medida de la fiabilidad con la que Instinct funciona para otras personas.

La distinción práctica está en lo que ocurre después de que el agente toma una decisión. Instinct afirma que se conecta a aplicaciones y dispositivos, incluidos el correo electrónico y la mensajería, y que puede usar el teléfono y el ordenador en nombre del usuario. Una respuesta equivocada en un chat puede ignorarse. Una cancelación, un mensaje o una compra realizados desde una cuenta conectada tienen consecuencias en el sistema del servicio correspondiente.

El gran cambio

  • Qué ha cambiado: En la beta privada de Instinct, una solicitud de texto puede dar lugar a una acción en un servicio conectado. Las condiciones actuales, revisadas el 26 de agosto, autorizan el acceso y la indexación de datos conectados, las acciones que respondan a las instrucciones del usuario y los acuerdos o transacciones en su nombre.
  • Por qué importa: Una acción puede generar un cargo o un compromiso en la cuenta del usuario. La periodista de WIRED afirma que Instinct canceló un pedido de DoorDash pese a la condición de reembolso que ella había indicado, con una pérdida de 64 dólares; las condiciones de Instinct atribuyen al usuario la responsabilidad por las acciones y sus consecuencias.
  • Qué conviene observar: Las condiciones públicas no garantizan que se solicite una nueva aprobación para cada acción. Al desconectar un servicio, los datos ya indexados permanecen hasta que se envía una solicitud de eliminación independiente, y los documentos públicos no indican cuánto tarda esa eliminación.

El acceso, las acciones y las copias almacenadas requieren permisos distintos

El primer límite es el acceso a la información. La página del producto de Instinct incluye el correo electrónico, la mensajería, la pantalla, el audio y la ubicación entre los datos que puede usar su asistente. Su política de privacidad indica que el acceso depende de los permisos que conceda el usuario. También contempla el acceso a comunicaciones privadas, información de pago y credenciales de cuentas cuando el usuario decide proporcionarlas. Por tanto, conectar una cuenta puede exponer más información que el único elemento necesario para una tarea, salvo que la integración concreta y su configuración limiten ese acceso.

El segundo límite es la autoridad para actuar. Las condiciones indican que Instinct puede realizar acciones que considere acordes con las instrucciones del usuario. En el caso de una compra realizada a través de un servicio conectado, las condiciones consideran que el usuario es el comprador y remiten las disputas sobre la compra a ese servicio. También establecen que el usuario es responsable de las consecuencias de las acciones, incluidas las financieras y contractuales. Estas cláusulas describen la posición contractual de la empresa; no determinan cómo se resolvería una disputa concreta. La cancelación de 64 dólares que relata Schiffer muestra una forma concreta en que una condición de la instrucción puede perderse en este paso. WIRED afirma que Instinct no respondió a sus solicitudes de comentarios.

El tercer límite es la conservación de datos. Las condiciones señalan que desconectar un servicio no impide automáticamente que Instinct siga usando los datos que ya indexó; desde el espacio de trabajo se puede enviar una solicitud de eliminación por separado. La política de privacidad también indica que desconectar una integración de terceros no borra los datos recopilados anteriormente. En su artículo de agosto, TechCrunch describió a usuarios que afirmaban que el agente aún podía resumir su correo después de desconectarlo, y señaló que más tarde se añadió una herramienta para eliminar datos externos. Ese reportaje es anterior a las condiciones y la política de privacidad actuales, ambas revisadas el 26 de agosto. Los documentos actuales ofrecen a los usuarios una vía para pedir la eliminación, pero el texto público no establece cuánto tarda en borrarse cada copia ni permite verificar qué ocurrió con los datos de esas personas.

La misma fecha importa para el entrenamiento de modelos. TechCrunch citó una versión anterior de las condiciones que concedía una licencia amplia «perpetua e irrevocable». Esa frase no aparece en las condiciones públicas actuales. Las condiciones vigentes siguen permitiendo utilizar algunos materiales de los usuarios para entrenar modelos, con una opción de exclusión que se aplica en adelante y una excepción para el material marcado para revisión de seguridad. Por separado, la política de privacidad afirma que la información recibida directamente mediante las API de Google Workspace no se utiliza para entrenar ni mejorar modelos de IA. Suponer que la misma regla de entrenamiento se aplica a todos los datos conectados pasaría por alto esa diferencia.

Los documentos públicos no aclaran tanto los controles de confirmación. Autorizan acciones, pero no describen un paso de aprobación universal antes de cada cancelación, mensaje o compra. TechCrunch informó del relato de una persona que probó el servicio y dijo que Instinct envió un correo electrónico sin preguntar antes. Es un incidente reportado, no una prueba sistemática de la configuración actual. Antes de conectar una cuenta importante, el usuario necesita saber qué acciones requieren confirmación en el producto, qué límites de gasto o de cuenta están disponibles y cómo revocar el acceso y solicitar la eliminación de datos indexados. El texto público de las políticas no responde por sí solo a las tres preguntas.

Una prueba anterior en The Atlantic ilustra una decisión más acotada sobre la exposición. Lila Shroff utilizó un número de teléfono temporal, no conectó cuentas personales importantes y facilitó a Instinct una tarjeta virtual nueva que desactivó después de la prueba. Ese método no puso a prueba el comportamiento del agente con una bandeja de entrada plenamente conectada. Muestra cómo una periodista limitó la autoridad que estaba dispuesta a concederle.

La política de privacidad publicada por Instinct reconoce la posibilidad de pagos o comunicaciones no deseados y de instrucciones engañosas de terceros. Estos riesgos son especialmente pertinentes cuando el agente lee mensajes mientras actúa desde la cuenta del usuario. El reembolso útil del relato de WIRED dependió del acceso y del permiso para cancelar; la pérdida de 64 dólares surgió de ese mismo tipo de acción delegada. Cada servicio conectado amplía tanto lo que puede hacer el agente como lo que el usuario quizá tenga que deshacer.