Zoë Schifferによる9月24日のInstinct利用記には、個人向けAIエージェントの利点と限界の両方が記されている。Schifferによると、エージェントはフライトのスケジュール変更を見つけ、約550ドルの返金対象になると判断し、航空券をキャンセルして帰りの便を再予約した。一方、返金を受けられる場合に限ってキャンセルするよう指示していたにもかかわらず、遅延したDoorDashの注文を取り消したという。彼女は64ドルを失った。これらは一人の記者がサービスを使った際の結果であり、Instinctが他の利用者に対してどれほど確実に機能するかを示す測定値ではない。

実務上の違いは、エージェントが判断を下した後に何が起きるかだ。Instinctによると、同社のサービスはメールやメッセージなどのアプリや端末に接続し、ユーザーに代わってスマートフォンやコンピューターを操作できる。チャットでの誤答なら無視できる。しかし、連携アカウントを通じたキャンセル、メッセージ送信、購入は、そのサービス内で実際の結果を伴う。

大きな変化

  • 何が変わったか: Instinctの非公開ベータ版では、テキストでの依頼をきっかけに、連携サービス上で操作を実行できる。同社の現行規約(8月26日改定)は、連携データへのアクセスとインデックス作成、ユーザーの入力に応じた操作、ユーザーに代わる合意や取引を認めている。
  • なぜ重要か: アカウントを通じた操作は、利用者に料金や契約上の義務を生じさせる場合がある。WIREDの記者によれば、返金を条件にしていたにもかかわらずInstinctがDoorDashの注文をキャンセルし、彼女は64ドルを失った。Instinctの規約は、操作とその結果に対する責任をユーザーに負わせている。
  • 今後の注目点: 公開規約からは、操作ごとに新たな承認を求めるとは確認できない。また、サービス連携を解除しても、別途削除を依頼するまではインデックス済みデータが残る。公開文書には、削除がいつ完了するかも記載されていない。

アクセス、操作、保存データへの権限はそれぞれ異なる

最初の境界は情報へのアクセスだ。Instinctの製品ページには、アシスタントが利用できる情報としてメール、メッセージ、画面、音声、位置情報が挙げられている。同社のプライバシーポリシーによれば、アクセス範囲はユーザーが付与した権限によって決まる。ユーザーが提供を選んだ場合、個人的な通信、決済情報、アカウント認証情報にアクセスする可能性も説明されている。特定の連携機能や設定によってアクセスが制限されない限り、アカウントを連携すると、個々の作業に必要な情報だけでなく、より広い範囲の情報が見られることになる。

2つ目の境界は操作する権限だ。規約には、Instinctがユーザーの入力に応じると判断した操作を行う場合があると記されている。連携サービスを通じた購入について、規約はユーザーを購入者と位置づけ、購入に関する紛争はそのサービスと解決するよう求めている。また、金銭面や契約面を含む操作の結果について、ユーザーが責任を負うとしている。これらの条項は企業の契約上の立場を示すもので、個別の紛争がどう判断されるかを決めるものではない。Schifferが失った64ドルは、指示に含まれる条件がこの境界で抜け落ちる具体例だ。WIREDによれば、Instinctは同誌からのコメント要請に回答しなかった。

3つ目の境界はデータの保持だ。規約によれば、サービス連携を解除しても、Instinctがすでにインデックス化したデータの利用は自動的に停止しない。ワークスペースから別途削除を依頼できる。プライバシーポリシーも、サードパーティー連携を解除しても、すでに収集したデータは削除されないとしている。8月の報道でTechCrunchは、連携解除後もエージェントがメールを要約できたという利用者の声と、その後に外部データの削除機能が追加されたことを報じた。この報道は、8月26日に改定された現行の規約とプライバシーポリシーより前のものだ。現行文書にはユーザーがデータを削除する手段があるが、すべての複製データがいつ削除されるかは公開情報から分からず、当時の利用者のデータがどう扱われたかも確認できない。

モデルの学習についても、同じ改定日が重要だ。TechCrunchが引用した以前の規約には、「永続的かつ取消不能」な広範なライセンスが認められていた。この表現は、現在公開されている規約にはない。現行規約でも、一部のユーザー提供コンテンツをモデル学習に利用できるが、オプトアウトは今後の利用に適用され、安全審査対象として指定されたコンテンツには例外がある。プライバシーポリシーは別途、Google WorkspaceのAPIから直接受け取った情報をAIモデルの学習や改善に使わないとしている。連携されたすべてのデータに同じ学習規則が適用されると考えると、この違いを見落とす。

公開文書だけでは、操作前の確認機能もはっきりしない。規約は操作を認めているが、キャンセル、メッセージ送信、購入のたびに一律の承認を求める手順は説明していない。TechCrunchは、テスターから「事前に確認されずにInstinctがメールを送信した」との報告があったと伝えた。これは報告された一事例であり、現在の設定を体系的に試した結果ではない。重要なアカウントを連携する前に、どの操作で確認が求められるか、支出やアカウントに上限を設定できるか、アクセスを取り消してインデックス済みデータの削除を依頼する方法があるかを、製品上で確かめる必要がある。公開されている方針文書だけでは、この3点すべてに答えられない。

また、アトランティック誌の以前のテストは、露出をより限定する方法を示している。Lila Shroffは一時的な電話番号を使い、重要な個人アカウントを連携せず、テスト後に無効化できる新しいバーチャルカードをInstinctに渡した。この方法では、受信箱を全面的に連携した場合のエージェントの挙動は試していない。一人の記者が、どこまでの権限を与えるかを限定した例だ。

Instinctが公開しているプライバシーポリシーは、意図しない決済や通信、第三者による誤解を招く指示の可能性を認めている。エージェントがメッセージを読みながらユーザーのアカウントを操作する場合、これらのリスクは特に重要だ。WIREDの記事で返金を受けられたのは、アクセス権とキャンセルする権限があったためだ。一方、64ドルの損失も同種の委任操作から生じた。連携するサービスが増えるほど、エージェントができることと、ユーザーが後から取り消す必要のある操作の両方が増える。