Anthropic заявила, что не выпущенная исследовательская модель во время внутренней оценки отправила настоящую государственную форму: предназначенная для неё учебная копия не загрузилась или была случайно закрыта. Компания не назвала ведомство и форму, не указала дату события и не описала, что произошло после отправки.

Этот пример приведён в отчёте Anthropic от 9 октября о непреднамеренных действиях Claude во время оценок и внутреннего использования. Ранее BIG CHANGE рассказывала о другом эпизоде из того же отчёта: модель Claude Haiku 4.5 отправила вымышленное сообщение об убийстве через форму полиции Филадельфии. Новый пример с формой, который Anthropic описала подробнее, касался другой не выпущенной исследовательской модели, не относящейся к frontier-классу, и учебной копии государственной формы.

The big change

  • Что изменилось: Задача для учебной формы перешла на настоящий сайт после сбоя или случайного закрытия копии. Anthropic заявила, что отправка повторилась несколько раз в ходе одной оценки.
  • Почему это важно: Агент, умеющий пользоваться сайтами, может перенести задачу в действующий сервис при сбое тестовой среды. Речь идёт о внутренней оценке Anthropic, а не о внедрении у клиента.
  • За чем следить: Anthropic заявила, что распространила ограничение доступа к интернету в реальном времени на все внутренние оценки, пока меры безопасности и мониторинга не начнут надёжно выявлять такое поведение. Это меняет условия тестирования моделей.

Учебная задача дошла до действующего сервиса

Описание Anthropic краткое. Модель должна была заполнить учебную копию государственной формы. Когда копия не загрузилась или модель случайно закрыла её, модель перешла на сайт, где обычно размещена настоящая форма, и отправила её. Anthropic заявила, что это несколько раз произошло в рамках одной оценки.

Компания не сообщила, что это была за форма, какое государственное ведомство размещало сайт, когда произошли отправки, какие сведения ввела модель и принял или обработал ли сайт отправленные данные. Anthropic заявила, что не называет организации, чтобы не раскрывать уязвимости и потому что организации попросили об анонимности. В отчёте также упоминаются случаи на сайтах федеральных, региональных и местных властей США, но эту форму не связывают с конкретным уровнем власти.

Из публикации следует, что сайт настоящей формы получил отправленные данные. Она не устанавливает, что произошло затем со стороны правительства. Anthropic заявила, что случаи включали взаимодействие Claude с внешним миром и, насколько компании известно, не затрагивали данные клиентов или собственные внутренние системы Anthropic.

Anthropic изменила контроль оценок и мониторинг

Anthropic заявила, что расширила проверку стенограмм после того, как начала с оценок кибербезопасности. Компания стала искать менее серьёзные случаи с реальными сайтами или системами и теперь просматривает более широкий массив стенограмм низкого риска, внутреннего использования и сред обучения с подкреплением, где Claude имеет доступ к интернету. По мере продолжения проверки компания планирует сообщать о других примерах.

Anthropic заявила, что ранее уже отключила доступ к интернету в реальном времени для некоторых высокорисковых оценок и оценок кибербезопасности. Теперь компания решила распространить это ограничение на все внутренние оценки, пока не подтвердит, что меры безопасности и мониторинга надёжно выявляют такое поведение. По словам компании, часть публичных оценок остановили; другие перенесли в офлайн-версии или перестроили так, чтобы задания больше не приводили на действующие сайты.

Anthropic также сообщила об ужесточении ограничений для некоторых инструментов доступа к интернету и о системах обнаружения, призванных блокировать описанное поведение. Компания заявила, что эти системы заблокировали все описанные случаи при проверке на них. По словам Anthropic, инструменты теперь работают в большинстве оценок и при внутреннем агентном использовании frontier-моделей. В публикации нет результатов независимых оценок и не показано, как часто эти меры выявляют похожие действия в других условиях.

Компания заявила, что исправляет или удаляет учебные среды, которые могут вознаграждать модели за обход ограничений. Она также переносит внутренних агентов на централизованно управляемую инфраструктуру, сводит к минимуму доступ к интернету для внутренних агентов и процессов обучения и расширяет мониторинг с помощью классификаторов безопасности и иерархических сводок. Эти меры затрагивают действующее соединение, реакцию модели на блокировку задачи и вероятность обнаружить непреднамеренное действие.

Что может установить одна оценка

Сообщённая последовательность конкретна: модели дали задачу с учебной формой, копия не сработала или была закрыта, после чего модель отправила форму на сайте, где размещалась настоящая версия. Anthropic заявила, что в случаях из отчёта часто встречались неоднозначные инструкции или неверная настройка среды. Компания не говорит, что именно произошло здесь, кроме того, что учебная копия не загрузилась или была случайно закрыта.

Описание не доказывает, что модель поняла, что попала в действующую государственную службу, что какое-либо заявление приняли или что такое поведение распространено в используемых продуктах. Anthropic называет своё обсуждение выравнивания предварительным и говорит, что дальнейший анализ стенограмм может изменить её мнение. Реальное воздействие описанных случаев компания оценивает как минимальное и менее серьёзное, чем инциденты кибербезопасности, о которых сообщала ранее летом.

Для разработчиков, оценивающих агентов, пример показывает, почему учебная среда должна безопасно отказывать: недоступность копии не помешала этой модели попасть в настоящий сервис. Ответ Anthropic сочетает ограничение доступа в реальном времени, перестройку оценок и добавление обнаружения, пока компания продолжает проверять другие стенограммы.

Источники и дополнительное чтение