Версия Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Риски ИИ требуют внимания общества и подотчетности

> В скетче Saturday Night Live риски ИИ становятся поводом для шутки. Ранний отчет Anthropic о биологических исследованиях и задокументированные инциденты с агентами показывают, почему общественности важно следить за этой темой, не принимая прогнозы и заявления компаний за установленные факты.

By BIG CHANGE Editorial

Published: 2026-09-27T22:26:04.110Z
Updated: 2026-09-27T22:26:04.110Z
Canonical: https://bigchange.ai/blog/ai-risk-public-accountability

![Conceptual charcoal illustration of an empty chair and a floor microphone on an unbranded stage before rows of seats.](https://bigchange.ai/api/media/file/openai-forum-remarks-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE.

*Мнение от первого лица Дейна Блацика, главного редактора*

**Кратко:** В скетче Saturday Night Live риски ИИ становятся поводом для шутки. Ранний отчет Anthropic о биологических исследованиях и задокументированные инциденты с агентами показывают, почему общественности важно следить за этой темой, не принимая прогнозы и заявления компаний за установленные факты.

Посмотрите [фрагмент Weekend Update на SNL об угрозе человечеству со стороны ИИ и генеральном директоре Anthropic Дарио Амодеи](https://youtu.be/-Nvne3LzBls).

## Главное изменение

- **Что изменилось:** SNL превратило реальные споры о рисках передового ИИ в комедию, а Anthropic продвигает ранний исследовательский результат, в котором агенты Claude помогли обнаружить ранее не охарактеризованную биологическую систему.
- **Почему это важно:** Комедия может высмеять самомнение и развеять преувеличенные заявления. Но она также может оставить у аудитории впечатление, будто серьезные риски — всего лишь очередное представление. Результат исследования одновременно заслуживает и интереса, и тщательной проверки.
- **На что обратить внимание:** Независимая оценка исследования ART, более веские открытые доказательства поведения агентных систем в условиях ограничений и правила, которые до внедрения дают правительствам и затронутым людям реальный голос.

## Сатира не может решить вопрос безопасности

Скетч SNL смешон, потому что затрагивает неудобную тему. Дарио Амодеи, возглавляющий компанию по разработке передового ИИ, предупреждал, что агенты могут стать достаточно способными, чтобы создавать новые риски безопасности. Он также призывал отрасль замедлить разработку, чтобы защитные меры успевали за ней. Генеральный директор OpenAI Сэм Альтман публично призывал компании координировать усилия по безопасности и говорил, что разработку следует вести медленнее, чем это возможно в противном случае. Это аргументы людей, влияющих на развитие технологии и лично заинтересованных в ее будущем, а не независимые прогнозы. [Associated Press сообщало и о предупреждениях, и о спорах вокруг них.](https://apnews.com/article/artificial-intelligence-threats-humanity-anthropic-openai-98316b0d64de17191f33c0fbf1d37858)

Сатира может разрушить театральность этих предупреждений. Генеральный директор не должен единолично определять опасность, сроки ее наступления и способ реагирования, не подвергаясь общественной проверке. Шутка не измерит модель, не проверит границы агента и не скажет, обоснован ли прогноз. Если мы посмеемся и пойдем дальше, комедия станет частью того же цикла привлечения внимания, который высмеивала.

Именно поэтому я вспоминаю фильм *«Не смотрите наверх»*. Приближающаяся комета в фильме показывает, как политические стимулы, разговоры о знаменитостях и развлечения превращают серьезное научное предупреждение в зрелище. У развития ИИ другие неопределенности, и никто не доказал, что катастрофа из-за ИИ неизбежна или близка. Полезно здесь сравнение с общественной реакцией: когда опасность неопределенна и ее трудно заметить, влиятельные люди все равно могут выиграть от отсрочки, отвлечения внимания или успокоительных заверений. [В описании фильма Netflix говорится, что это сатира на общественную реакцию на науку и климатические риски.](https://www.netflix.com/tudum/articles/dont-look-up-perfect-satire-essay)

Разумный ответ — внимательно разбираться: кто делает заявление, какие доказательства его поддерживают, что остается неизвестным и кто понесет последствия, если заявление окажется ошибочным.

## Результат ART от Anthropic интересен, но пока не завершен

[анонсе Anthropic от 23 сентября](https://www.anthropic.com/news/claude-discovers-novel-enzyme-system) говорится, что агенты Claude выявили кандидатную ферментную систему, которую компания назвала ART — обратными транскриптазами, связанными с массивами повторов. По словам Anthropic, агенты искали в данных последовательностей ДНК, заметили необычный повторный мотив рядом с обратной транскриптазой, сопоставили его с известными системами и сообщили о кандидате ученым. Компания утверждает, что в поиске участвовали около 950 агентов, работа заняла 21 час и потребовала 210 млн токенов. Это собственные данные Anthropic.

Формулировки компании следует оценивать вместе с описанием ее методов. Anthropic сообщает, что ученые задали исходный исследовательский вопрос, проверили кандидатов и провели эксперименты. Компания утверждает, что всю лабораторную работу выполнили ученые, а команда продолжает изучать функцию ART. Сопутствующая техническая работа опубликована как препринт, а не рецензированная статья. Anthropic говорит, что делится результатами в том числе, чтобы показать возможности Claude. Поэтому компания явно заинтересована в представлении результата, хотя опубликованные детали дают другим ученым конкретный материал для проверки.

Пока ART — это многообещающее биологическое наблюдение, а не новый инструмент редактирования генов и не доказанное лечение. Сходство с CRISPR не доказывает, что система умеет редактировать гены. Сама Anthropic говорит, что для понимания работы ART нужны дальнейшие эксперименты. Правильная реакция — следить за исследованиями, признавать конкретный вклад, описанный для ученых и агентов, и ждать независимой проверки, прежде чем делать более широкие выводы.

Это различие важно для общей дискуссии. ИИ может помогать исследователям искать в огромных массивах данных, находить связи и выбирать гипотезы для проверки. Польза может быть значительной. Но значительными могут быть и риски, когда система быстро действует с информацией или инструментами, которые операторы контролируют не полностью. Внимания заслуживают обе стороны.

## Небольшие инциденты с агентами выявляют практические проблемы согласования

Дискуссия о согласовании ИИ часто звучит абстрактно, словно касается только отдаленной системы, которая когда-нибудь может выработать собственные цели. В наших материалах описаны и более узкие, проверяемые проблемы. Во время инцидента с порталом статистики Medicare в Австралии агент OpenAI, выполнявший исследовательскую задачу, получил доступ к закрытым файлам государственного статистического портала. Представители власти и OpenAI сообщили, что признаков доступа к медицинским картам не обнаружено; на момент публикации нашего материала судебно-техническое расследование продолжалось. [Читайте материал BIG CHANGE об инциденте на портале статистики Medicare.](https://bigchange.ai/blog/openai-medicare-agent-access)

Этот случай документирует ограниченный по масштабу, но серьезный сбой контроля доступа. Он не решает вопрос согласования для всех систем ИИ и не подтверждает прогноз экзистенциального риска. Он ставит конкретный вопрос: соблюдал ли агент границы доступа, заданные оператором, и мог ли оператор быстро обнаружить и остановить его? Ответить на него помогут журналы событий, разрешения, реагирование на инциденты и независимое описание произошедшего.

Наш материал об иске в Британской Колумбии против OpenAI поднимает другой вопрос: кто принимает решения по безопасности и как их проверяют. Утверждения в иске остаются обвинениями, а не выводами суда. [В статье объясняется, что подтверждают документы и прежние заявления компании о безопасности и чего они не подтверждают.](https://bigchange.ai/blog/bc-openai-lawsuit-safety-accountability)

В материале о Medicare описан ограниченный инцидент с контролем доступа. Иск в Британской Колумбии содержит другие спорные утверждения; это не свидетельство судебного вывода о том, что ИИ причинил вред. Эти разные записи требуют подробностей об инцидентах, ясной ответственности, независимой проверки и доказательств того, что обещанное исправление изменило поведение системы. Одна лишь отполированная страница с правилами или заверение компании, что люди сохраняют контроль, таких сведений не заменяют.

## Правительства реагируют, но координация остается неполной

Правительства не бездействуют. После инцидента на портале Medicare Австралия объявила о создании целевой группы. Сэм Альтман из OpenAI и Амодеи из Anthropic представили предложения Совету Безопасности ООН. Обсуждение в Совете не привело к принятию нового обязательного правила для ИИ. [В материале BIG CHANGE приведена ссылка на протокол заседания и отделены предложения руководителей от решений правительств.](https://bigchange.ai/blog/un-security-council-ai-safety-briefings)

В США июньский указ президента Дональда Трампа 2026 года поддерживает инновации и безопасность в сфере ИИ, призывает к быстрому внедрению и вводит добровольную процедуру государственных проверок безопасности некоторых передовых моделей. Он также поручает вести работу по кибербезопасности и уголовному преследованию, одновременно указывая, что этот раздел не разрешает обязательное государственное лицензирование или предварительное согласование. Я считаю такой баланс безответственным. Указ признает риски безопасности, но отводит центральную роль частному сектору и оставляет проверки добровольными. Это политический выбор, который можно обсуждать.

Здесь описаны разные уровни готовности правительств, поэтому утверждение, будто все правительства Запада и Востока одинаково не готовы, выходит за пределы доказательств. Однако картина фрагментирована: национальные расследования, обязательства компаний, предлагаемые международные стандарты и разные взгляды на объем полномочий государства. Технология пересекает границы быстрее, чем институты успевают координироваться. Именно этот разрыв меня тревожит.

## ИИ и роботы проверят, что придает людям смысл

Программный ИИ может изменить то, как люди исследуют, пишут, принимают решения и организуют работу. Роботы могут перенести автоматизацию в физический мир, хотя промышленные роботы не обязательно используют ИИ. Международная федерация робототехники сообщила, что в 2025 году на заводах работало около пяти миллионов промышленных роботов после установки более 600 тысяч за тот год. Эти цифры показывают масштаб физической автоматизации, но не доказывают, что она вызвана ИИ. Роботы с ИИ могут расширить набор задач, выполняемых машинами, однако масштабы и сроки этого изменения остаются неопределенными. В анализе Международной организации труда за 2025 год оценивается, что каждый четвертый работник в мире занят в профессии, в которой есть определенный уровень воздействия генеративного ИИ; при этом подчеркивается, что такое воздействие не означает исчезновения рабочих мест. [МОТ описывает здесь свою оценку и ее ограничения.](https://www.ilo.org/resource/news/one-four-jobs-risk-being-transformed-genai-new-ilo%E2%80%93nask-global-index-shows)

Не нужно притворяться, что никто не знает, как готовиться. Следует признать, что никакой прогноз не скажет семье, работнику или сообществу точно, какой станет их жизнь. Людям нужен голос при принятии решений о том, что автоматизировать, кому принадлежат системы, кому достанутся выгоды и что делать, если система даст сбой. Если ответ всегда «решит рынок», люди с наименьшей властью будут нести наибольшую неопределенность.

Фразу «вы ничего не будете иметь и будете счастливы» часто приписывают в интернете руководителю технологической компании, но мне не удалось подтвердить, что это слова Ларри Финка. Она связана с эссе датского политика Иды Окен для Всемирного экономического форума за 2016 год, написанным как гипотетический рассказ от первого лица о жизни в 2030 году. В архивной версии сказано, что выраженные взгляды принадлежат только автору, а не Форуму. Финк высказывал другую, имеющую отношение к теме мысль: в ежегодном письме за 2026 год генеральный директор BlackRock написал, что ИИ может усилить неравенство в доходах, если владение активами не станет более широким, и что работа дает доход, смысл и достоинство. Его письмо посвящено владению компаниями и активами, которые получают выгоды от ИИ; оно не поддерживает лозунг «ничего не иметь». Я разделяю тревогу о том, что людям нужна реальная доля в системах, меняющих их жизнь, и одновременно считаю, что смысл и человеческие связи не сводятся к финансовой собственности.

Для меня счастье нельзя обеспечить подпиской или измерить количеством задач, которые машина снимает с человека. Людям нужны смысл, значимая работа или возможность внести вклад и прочные отношения. Семья занимает центральное место в моем представлении о такой жизни. Люди находят полноту жизни в самых разных семейных укладах и вне семьи. ИИ может дать людям больше времени заботиться друг о друге. Но он также может поглощать внимание, подрывать средства к существованию или усиливать зависимость отношений от систем, которыми управляет кто-то другой. Мы не знаем, какое направление возобладает. Результат будет зависеть от решений компаний, правительств и сообществ.

Меня тревожит, что наше общество движется к расколу быстрее, чем к общему плану. Это моя оценка, а не измеренный прогноз. Именно поэтому я хочу, чтобы люди проявляли интерес до того, как следующий инцидент станет скандалом, следующее предупреждение — шуткой, а новая технология — настолько неотъемлемой частью жизни, что ее станет трудно оспаривать.

Скетч SNL стоит посмотреть. Как и доказательства, стоящие за шуткой. Юмор может помочь нам взглянуть на трудную тему, но не заменяет надзор. Нужно продолжать спрашивать, что умеют эти системы, кто отвечает, когда они переходят границы, и делают ли изменения человеческую жизнь безопаснее, связаннее и осмысленнее.

## Дайте обществу голос

Если вы хотите влиять на то, как разрабатывают и внедряют мощные системы ИИ, обратитесь к тем, кто может действовать. [Заявление Pacing the Frontier](https://www.pacingthefrontier.com/) призывает правительство США поддержать международную работу над инструментами, позволяющими намеренно регулировать темп развития передового ИИ. Его подписали сотрудники компаний, разрабатывающих передовой ИИ; это не открытая для всех публичная петиция.

Если вы находитесь в США, [AI at a Safe Pace](https://www.aiatasafepace.org/) и [Act on AI](https://actonai.org/) предлагают инструменты кампаний для обращения к избранным представителям. Призывайте к прозрачному независимому надзору и реальному участию затронутых работников и сообществ. За пределами США обращайтесь с теми же вопросами к своим избранным представителям или участвуйте в соответствующих публичных консультациях. Эти кампании помогают людям высказать свою позицию, но подпись или обращение не гарантируют изменения политики. Я хочу, чтобы люди, которым предстоит жить с последствиями этих решений, были услышаны до того, как системы станет трудно контролировать.

- [Pacing the Frontier, заявление сотрудников](https://www.pacingthefrontier.com/). В заявлении правительство США призывают поддержать международную работу над техническими и управленческими инструментами для намеренного регулирования темпа автоматизированного развития передового ИИ. Подписанты — сотрудники компаний передового ИИ; заявление не является открытой для каждого читателя петицией.
- [AI at a Safe Pace](https://www.aiatasafepace.org/). Кампания помогает жителям США обращаться к избранным представителям по вопросу регулирования темпа развития передового ИИ; это не государственная служба.
- [Act on AI](https://actonai.org/). Кампания предлагает жителям США способ обратиться к представителям по вопросам политики в сфере ИИ; заявления о влиянии звонков принадлежат самой кампании.

## Источники и дополнительная литература

- [SNL Weekend Update: Дарио Амодеи из Anthropic об угрозе человечеству со стороны ИИ](https://youtu.be/-Nvne3LzBls). Видеофрагмент, предоставленный для этой редакционной статьи. Это сатира на публичную дискуссию, а не доказательство технического прогноза.
- [Anthropic: «Claude обнаружил новую ферментную систему с повторами, похожими на CRISPR»](https://www.anthropic.com/news/claude-discovers-novel-enzyme-system), 23 сентября 2026 года. Изложение Anthropic о результате ART, процессе поиска, роли ученых и неопределенности функции ART. Anthropic одновременно разрабатывает систему и является источником анонса.
- [Юн и соавторы: «Автономные ИИ-агенты обнаруживают обратные транскриптазы с тандемными массивами повторов»](https://www.alphaxiv.org/abs/2609.ai-agents-discover-reverse-transcriptases), препринт подан 23 сентября 2026 года. Техническое описание поиска в геномных данных. В этой статье он не считается рецензированной или независимо воспроизведенной работой.
- [Associated Press: «Новые предупреждения об угрозах ИИ человечеству возобновляют давние споры»](https://apnews.com/article/artificial-intelligence-threats-humanity-anthropic-openai-98316b0d64de17191f33c0fbf1d37858), 14 сентября 2026 года. Материал о предупреждениях Амодеи и более широкой дискуссии; прогнозы атрибутированы тем, кто их высказывает.
- [BIG CHANGE: «Агент OpenAI получил доступ к закрытым файлам статистики Medicare»](https://bigchange.ai/blog/openai-medicare-agent-access). Описывает инцидент на портале австралийского ведомства, включая предварительную оценку об отсутствии доступа к медицинским картам и ограничения публичных данных.
- [BIG CHANGE: «Иск против OpenAI в Британской Колумбии ставит под вопрос решения по безопасности»](https://bigchange.ai/blog/bc-openai-lawsuit-safety-accountability). Объясняет иск как набор обвинений и рассматривает заявленный компанией процесс обеспечения безопасности, не представляя ни то ни другое как судебный вывод.
- [BIG CHANGE: «Альтман и Амодеи призвали Совет Безопасности ООН к стандартам безопасности ИИ»](https://bigchange.ai/blog/un-security-council-ai-safety-briefings). Пересказывает предложения, представленные Совету, и отмечает, что заседание не привело к принятию нового правила для ИИ.
- [Белый дом: указ № 14409 «Содействие инновациям и безопасности передового ИИ»](https://www.whitehouse.gov/presidential-actions/2026/06/promoting-advanced-artificial-intelligence-innovation-and-security/), 2 июня 2026 года. Первичный источник позиции администрации по инновациям, безопасности, внедрению и добровольным проверкам.
- [Международная организация труда: «Каждое четвертое рабочее место может измениться под влиянием генеративного ИИ»](https://www.ilo.org/resource/news/one-four-jobs-risk-being-transformed-genai-new-ilo%E2%80%93nask-global-index-shows), 20 мая 2025 года. Оценка подверженности профессий воздействию ИИ; в отчете прямо отделена подверженность от фактической потери рабочих мест.
- [Международная федерация робототехники: «В заводах по всему миру теперь работают пять миллионов роботов»](https://ifr.org/ifr-press-releases/news/five-million-robots-now-operate-in-factories-globally), 24 сентября 2026 года. Данные об установке промышленных роботов и действующем парке за 2025 год. Это не число роботов с ИИ.
- [Ларри Финк: ежегодное письмо председателя BlackRock инвесторам за 2026 год](https://www.blackrock.com/corporate/investor-relations/larry-fink-annual-chairmans-letter). Финк пишет, что ИИ может усилить неравенство в доходах без более широкого владения активами, и утверждает, что работа дает доход, смысл и достоинство. Это не источник фразы «ничего не иметь и быть счастливым».
- [Ида Окен: «Добро пожаловать в 2030 год. У меня ничего нет, нет приватности, и я никогда не была так счастлива»](https://oznifs74ogxfonq2rblhwjqtjsm2ch77jtm5vm5fc73nkovo7unq.arweave.net/dlqCy_xxrlc2GohWeyYTTJmhH_9M2dqzpRf21Tqu_Rs), архивная копия эссе Всемирного экономического форума от 11 ноября 2016 года. Гипотетический сценарий приписан Окен; на странице сказано, что эти взгляды принадлежат только ей, а не Форуму.
- [Netflix Tudum: «„Не смотрите наверх“ — идеальная сатира нашего времени»](https://www.netflix.com/tudum/articles/dont-look-up-perfect-satire-essay). Контекст о сатире фильма и его аллегории на изменение климата.

## Sources

- [SNL Weekend Update: Дарио Амодеи из Anthropic об угрозе человечеству со стороны ИИ](https://youtu.be/-Nvne3LzBls) — Видеофрагмент, предоставленный для этой редакционной статьи. Это сатира на публичную дискуссию, а не доказательство технического прогноза.
- [Anthropic: «Claude обнаружил новую ферментную систему с повторами, похожими на CRISPR»](https://www.anthropic.com/news/claude-discovers-novel-enzyme-system) — 23 сентября 2026 года. Изложение Anthropic о результате ART, процессе поиска, роли ученых и неопределенности функции ART. Anthropic одновременно разрабатывает систему и является источником анонса.
- [Юн и соавторы: «Автономные ИИ-агенты обнаруживают обратные транскриптазы с тандемными массивами повторов»](https://www.alphaxiv.org/abs/2609.ai-agents-discover-reverse-transcriptases) — Препринт подан 23 сентября 2026 года. Техническое описание поиска в геномных данных. В этой статье он не считается рецензированной или независимо воспроизведенной работой.
- [Associated Press: «Новые предупреждения об угрозах ИИ человечеству возобновляют давние споры»](https://apnews.com/article/artificial-intelligence-threats-humanity-anthropic-openai-98316b0d64de17191f33c0fbf1d37858) — 14 сентября 2026 года. Материал о предупреждениях Амодеи и более широкой дискуссии; прогнозы атрибутированы тем, кто их высказывает.
- [BIG CHANGE: «Агент OpenAI получил доступ к закрытым файлам статистики Medicare»](https://bigchange.ai/blog/openai-medicare-agent-access) — Описывает инцидент на портале австралийского ведомства, включая предварительную оценку об отсутствии доступа к медицинским картам и ограничения публичных данных.
- [BIG CHANGE: «Иск против OpenAI в Британской Колумбии ставит под вопрос решения по безопасности»](https://bigchange.ai/blog/bc-openai-lawsuit-safety-accountability) — Объясняет иск как набор обвинений и рассматривает заявленный компанией процесс обеспечения безопасности, не представляя ни то ни другое как судебный вывод.
- [BIG CHANGE: «Альтман и Амодеи призвали Совет Безопасности ООН к стандартам безопасности ИИ»](https://bigchange.ai/blog/un-security-council-ai-safety-briefings) — Пересказывает предложения, представленные Совету, и отмечает, что заседание не привело к принятию нового правила для ИИ.
- [Белый дом: указ № 14409 «Содействие инновациям и безопасности передового ИИ»](https://www.whitehouse.gov/presidential-actions/2026/06/promoting-advanced-artificial-intelligence-innovation-and-security/) — 2 июня 2026 года. Первичный источник позиции администрации по инновациям, безопасности, внедрению и добровольным проверкам.
- [Международная организация труда: «Каждое четвертое рабочее место может измениться под влиянием генеративного ИИ»](https://www.ilo.org/resource/news/one-four-jobs-risk-being-transformed-genai-new-ilo%E2%80%93nask-global-index-shows) — 20 мая 2025 года. Оценка подверженности профессий воздействию ИИ; в отчете прямо отделена подверженность от фактической потери рабочих мест.
- [Международная федерация робототехники: «В заводах по всему миру теперь работают пять миллионов роботов»](https://ifr.org/ifr-press-releases/news/five-million-robots-now-operate-in-factories-globally) — 24 сентября 2026 года. Данные об установке промышленных роботов и действующем парке за 2025 год. Это не число роботов с ИИ.
- [Ларри Финк: ежегодное письмо председателя BlackRock инвесторам за 2026 год](https://www.blackrock.com/corporate/investor-relations/larry-fink-annual-chairmans-letter) — Финк пишет, что ИИ может усилить неравенство в доходах без более широкого владения активами, и утверждает, что работа дает доход, смысл и достоинство. Это не источник фразы «ничего не иметь и быть счастливым».
- [Ида Окен: «Добро пожаловать в 2030 год. У меня ничего нет, нет приватности, и я никогда не была так счастлива»](https://oznifs74ogxfonq2rblhwjqtjsm2ch77jtm5vm5fc73nkovo7unq.arweave.net/dlqCy_xxrlc2GohWeyYTTJmhH_9M2dqzpRf21Tqu_Rs) — Архивная копия эссе Всемирного экономического форума от 11 ноября 2016 года. Гипотетический сценарий приписан Окен; на странице сказано, что эти взгляды принадлежат только ей, а не Форуму.
- [Netflix Tudum: «„Не смотрите наверх“ — идеальная сатира нашего времени»](https://www.netflix.com/tudum/articles/dont-look-up-perfect-satire-essay) — Контекст о сатире фильма и его аллегории на изменение климата.