Anthropic сообщает, что начала предоставлять шести сотрудникам некоммерческой организации METR доступ к своим внутренним системам для оценки рисков ИИ. Такая договорённость позволяет небольшой внешней команде ближе познакомиться с работой компании, чем при публичном выпуске модели или из отчёта о рисках. Anthropic по-прежнему контролирует, какую информацию получает команда, и может требовать удаления определённых материалов из публикуемых анализов METR.

Anthropic объявила о сотрудничестве 15 октября и обновила своё заявление 16 октября, уточнив действующие условия публикации. Объявление описывает порядок доступа, а не завершённую оценку рисков Anthropic со стороны METR. Его ценность для читателей будет зависеть от того, что METR сможет изучить и что итоговый отчёт сможет объяснить об ограничениях.

Главное изменение

  • Что изменилось: По словам Anthropic, у шести сотрудников METR есть оборудование компании, офисное пространство и доступ к внутренним инструментам, примерно сопоставимый с доступом её собственных команд оценки рисков. Ожидается, что METR будет публиковать анализ уровня рисков, инцидентов или практик Anthropic.
  • Почему это важно: Внешний оценщик, возможно, сможет изучить внутренние свидетельства, недоступные публике. Будущий отчёт METR также может описать существенные ограничения доступа и удаления информации, помогая читателям взвесить выводы.
  • За чем следить: Anthropic утверждает, что не может наложить вето на публикацию METR, но вправе требовать удаления сведений из заранее заданных категорий и в конечном счёте решает, что к ним относится. Объявление не устанавливает никаких результатов оценки в рамках работы этой команды внутри компании.

К чему получат доступ шесть оценщиков

Anthropic сообщает, что приняла шесть сотрудников METR, предоставив им оборудование компании, офисное пространство и доступ к внутренним инструментам и системам «примерно на уровне» своих команд оценки рисков. Она призывает сотрудников делиться с ними значимой информацией так же, как с коллегой, работающим над рисками согласования целей ИИ. В качестве примеров исключённых категорий компания называет клиентские данные, сведения, защищённые конфиденциальностью отношений адвоката и клиента, и архитектуры моделей. По её словам, информацию об архитектуре иногда можно передать при высокой значимости, но с явными внутренними разрешениями.

Это содержательное описание доступа, но не перечень всех наборов данных, систем или интервью, которыми команда действительно воспользовалась. В заявлении Anthropic говорится, что команда действует на основе юридически исполнимых соглашений, а другие сотрудники METR, включая исследователей в других проектах Anthropic, изолированы от этой работы. BIG CHANGE изучил публичные заявления; соглашение и внутренние системы мы не проверяли.

Документ METR — предложение от 14 октября об оценках потери контроля — объясняет, какие свидетельства организация хочет получить от разработчиков передовых моделей. В нём выделены три вопроса: могут ли внутренние ИИ-агенты совершать серьёзно вредоносные действия, сможет ли мониторинг обнаружить и остановить их и может ли исследование с помощью ИИ ускорять рост возможностей быстрее, чем успевают развиваться защитные меры. Для этого METR описывает возможный доступ к контрольным точкам моделей, внутренним стенограммам, системам мониторинга и показателям исследовательского прогресса. Это предложение для разных разработчиков, а не перечень того, что Anthropic предоставила в рамках сотрудничества.

Права на публикацию и их пределы

Anthropic утверждает, что METR может публиковать анализ уровней риска, инцидентов или практик компании без вето Anthropic. Компания вправе требовать удаления информации из заранее определённых категорий. В уточнении от 16 октября добавлено, что Anthropic в конечном счёте решает, относится ли информация к этим категориям, а METR сохраняет право делать определённые заявления о полученных доступе и информации. Таким образом, право публиковать выводы сосуществует с контролем компании над чувствительными деталями.

Документ METR — политика работы с ИИ-компаниями — предусматривает раскрытие в отчётах объёма и продолжительности работы, ограничений доступа, влияющих на выводы, важных удалённых фрагментов и давления, которое может повлиять на результат. METR заявляет, что стремится составлять краткое описание удалений, когда компания убирает сведения, важные для её выводов. Это заявленные практики и цели METR; публика пока не может проверить, как они проявятся в отчёте новой команды, работающей внутри компании.

METR также признаёт, что добровольные оценки зависят от предоставления компаниями доступа и разрешения публикации. По её словам, компании могут отказывать в доступе или удалять материалы так, что это влияет на доступные публике свидетельства. Предложение от 14 октября говорит, что работа сосредоточится на технических вопросах потери контроля и не будет аудитом защищённости, организационного управления или соблюдения требований. METR отмечает, что лежащая в основе наука пока не позволяет уверенно гарантировать безопасность разработки.

Anthropic описывает трёхуровневый подход для других оценщиков. Договорённость с METR относится к третьему уровню, с доступом, сходным с доступом сотрудников, и правом публикации. Более ранние уровни предлагают более узкие исследования или более ограниченные права публикации. Эти описания отражают планы Anthropic и действующие условия сотрудничества, а не доказывают, что каждый партнёр имеет такой же доступ, как METR.

Публичной проверкой этой договорённости станут отчёты METR: какие вопросы риска она исследовала, какие внутренние свидетельства могла изучить и какие ограничения или удаления сможет описать. Нынешние заявления устанавливают объявленные Anthropic условия и опубликованный подход METR. Они не устанавливают выводов о безопасности Anthropic или эффективности оценки, проводимой этой командой внутри компании.

Источники и дополнительное чтение