В описании опыта работы с Instinct, опубликованном Зои Шиффер 24 сентября, показаны и преимущества, и ограничения персонального ИИ-агента. По её словам, он обнаружил изменение расписания рейса, дававшее право на возврат примерно 550 долларов, отменил билет и перебронировал обратный рейс. Она также сообщает, что агент отменил задержанный заказ DoorDash, хотя она разрешила отмену только при возможности получить возмещение. В результате она потеряла 64 доллара. Это опыт одной журналистки, а не показатель надёжности Instinct для других пользователей.

Практически важно то, что происходит после того, как агент принимает решение. По словам Instinct, сервис подключается к приложениям и устройствам, включая электронную почту и обмен сообщениями, и может действовать от имени пользователя через телефон и компьютер. Неправильный ответ в чате можно проигнорировать. Отмена, сообщение или покупка через подключённый аккаунт имеют последствия в самой системе этого сервиса.

Главное изменение

  • Что изменилось: В закрытой бета-версии Instinct запрос на естественном языке может привести к действию в подключённом сервисе. В действующих условиях сервиса, обновлённых 26 августа, разрешены доступ к подключённым данным и их индексация, действия в ответ на запрос пользователя, а также соглашения или транзакции от его имени.
  • Почему это важно: Действие может повлечь списание денег или обязательства для аккаунта пользователя. Журналистка WIRED сообщает, что Instinct отменил заказ DoorDash вопреки условию о возмещении, из-за чего она потеряла 64 доллара; условия сервиса возлагают ответственность за действия и их последствия на пользователя.
  • За чем следить: В открытых условиях не сказано, что перед каждым действием требуется новое подтверждение. Отключение сервиса также не удаляет уже проиндексированные данные; для этого нужно отдельно подать запрос. В опубликованных документах не указан срок выполнения такого удаления.

Доступ, действия и сохранённые копии — разные разрешения

Первая граница — доступ к информации. На странице продукта Instinct перечислены электронная почта, сообщения, изображение с экрана, аудио и геолокация как данные, которые может использовать помощник. В политике конфиденциальности сказано, что доступ зависит от разрешений, предоставленных пользователем. В ней также говорится о возможном доступе к частным сообщениям, платёжной информации и учётным данным, если пользователь решит их предоставить. Поэтому подключение аккаунта может открыть больше данных, чем нужно для конкретной задачи, если это не ограничено настройками интеграции.

Вторая граница — полномочия действовать. Согласно условиям, Instinct может выполнять действия, которые считает соответствующими запросу пользователя. При покупке через подключённый сервис условия называют покупателем самого пользователя и направляют претензии по покупке в этот сервис. Там также сказано, что пользователь отвечает за последствия действий, включая финансовые и договорные. Эти положения выражают договорную позицию компании, но не предрешают исход конкретного спора. Случай Шиффер с потерей 64 долларов показывает, как условие в инструкции может затеряться на этой границе. WIRED сообщает, что Instinct не ответила на запросы издания о комментарии.

Третья граница — хранение. В условиях сказано, что отключение сервиса автоматически не прекращает использование Instinct уже проиндексированных данных; отдельный запрос на удаление можно подать через рабочую область сервиса. В политике конфиденциальности также говорится, что отключение сторонней интеграции не удаляет ранее собранные данные. В августовском материале TechCrunch описал пользователей, которые утверждали, что агент продолжал подводить итоги их электронной почты после отключения интеграции, а также появление позднее инструмента удаления внешних данных. Эта публикация предшествует действующим условиям и политике конфиденциальности, обновлённым 26 августа. В актуальных документах есть способ запросить удаление, но публичный текст не устанавливает срок удаления всех копий и не позволяет проверить, что произошло с данными тех пользователей.

Эта же дата важна для использования данных при обучении моделей. TechCrunch процитировал раннюю версию условий с широкой «бессрочной и безотзывной» лицензией. В действующих публичных условиях этой формулировки нет. При этом текущие условия по-прежнему разрешают использовать некоторые пользовательские материалы для обучения моделей; отказ от этого действует на будущее, а для материалов, помеченных для проверки безопасности, предусмотрено исключение. В политике конфиденциальности отдельно сказано, что сведения, полученные напрямую через API Google Workspace, не используются для обучения или улучшения моделей ИИ. Считать, что ко всем подключённым данным применяется одно и то же правило обучения, было бы неверно.

Из открытых документов не вполне ясно, как работает подтверждение действий. Условия разрешают действия, но не описывают универсального шага одобрения перед каждой отменой, отправкой сообщения или покупкой. TechCrunch пересказал рассказ тестировщика о том, что Instinct отправил письмо без предварительного запроса. Это описанный инцидент, а не систематическая проверка актуальных настроек. Прежде чем подключать важный аккаунт, пользователю стоит выяснить в приложении, какие действия требуют подтверждения, какие лимиты расходов или аккаунта доступны, а также как отозвать доступ и запросить удаление проиндексированных данных. Одного публичного текста политик недостаточно, чтобы ответить на все три вопроса.

Более ранний тест в The Atlantic показывает более ограниченный вариант доступа. Лила Шрофф использовала временный номер телефона, не подключала важные личные аккаунты и дала Instinct новую виртуальную карту, которую отключила после теста. Такой подход не проверял, как агент работает с полностью подключённым почтовым ящиком. Он показывает, как одна журналистка ограничила полномочия, которые была готова ему предоставить.

В опубликованной политике конфиденциальности Instinct признаёт риск непреднамеренных платежей или сообщений, а также возможность вводящих в заблуждение инструкций от третьих лиц. Это особенно важно, когда агент читает сообщения и одновременно действует через аккаунт пользователя. Возврат за авиабилет в рассказе WIRED зависел от доступа и разрешения отменить бронирование; потеря 64 долларов произошла в ходе такого же делегированного действия. Каждый подключённый сервис расширяет как возможности агента, так и список последствий, которые пользователю, возможно, придётся исправлять.