Версия Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Когда специалисты по обучению ИИ сами используют ИИ, пропадает главное — человеческое суждение

> Сообщения об отстранении подрядчиков за запрещённое использование ИИ выявляют более широкую проблему для бизнеса: компаниям нужно отличать производство с помощью ИИ от независимого человеческого суждения, за которое они платят.

By BIG CHANGE Editorial

Published: 2026-09-22T17:43:18.226Z
Updated: 2026-09-22T23:32:55.869Z
Canonical: https://bigchange.ai/blog/ai-trainers-human-judgment-independent-evaluation

![Three inspection chambers show a machine lens, a human profile alone, and a machine lens beside a human profile.](https://bigchange.ai/api/media/file/ai-trainers-human-judgment-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE. AI-assisted production, independent human judgment and disclosed assisted review can all be useful, but they provide different kinds of evidence. This conceptual apparatus shows those distinct roles; it is not a product interface, detector or claim that synthetic feedback is always harmful.

Компании нанимают людей сравнивать ответы моделей, объяснять их недостатки и приводить примеры лучшей работы. В таких проектах одного безупречно написанного ответа недостаточно: покупатель может платить за суждение, которое не было получено от проверяемой модели.

[404 Media сообщает](https://www.404media.co/people-training-openais-ai-fired-for-using-ai-to-train-the-ai) о том, что трое подрядчиков, работавших над связанными с OpenAI проектами, рассказали о правилах, запрещающих использование ИИ; двое из них заявили, что их отстранили от проектов за такое использование. Mercor, предоставившая двоих из опрошенных, сообщила изданию, что её договоры запрещают применять большие языковые модели для выполнения проектной работы и что подтверждённые нарушения приводят к отстранению. OpenAI отказалась от комментариев. Мы не видели закрытых документов по проектам и не проверяли независимо отдельные случаи.

Важный вопрос шире, чем ситуация на одной платформе для подрядчиков: если компания просит провести независимую проверку человеком, как отделить эту работу от задач, где помощь ИИ допустима?

## Главное изменение

- **Что изменилось:** Сообщённый спор с подрядчиками обнажает разногласия о том, что именно должна давать работа по обучению ИИ: готовые ответы или независимую оценку человека.
- **Почему это важно:** Открытый пилот Mercor использует профессиональное суждение как меру качества. Если заменить его оценками, созданными моделью, изменится то, что измеряет эта проверка, даже если отправленный текст хорошо написан.
- **За чем следить:** Для заказчиков оценки принципиально важно определить, на каких этапах требуется самостоятельное суждение без помощи ИИ. Это должно быть указано в инструкции к задаче, чтобы исполнитель видел правило до принятия работы.

## Независимое суждение может быть тем, за что платят

ИИ-помощник полезен, если задача — быстро подготовить первый черновик. Он становится проблемой, когда нужно дать эталонный ответ или независимое сравнение, а различие скрывается.

В публичном объявлении Mercor о [пилотном проекте по оценке моделей специалистами предметной области](https://work.mercor.com/jobs/list_AAABoBbYguDNWJDFwNRJ6Z0n/business-domain-expert-ai-model-evaluation-pilot-admin-marketing-hr-accounting) это требование сформулировано особенно ясно. Эксперты выполняют профессиональную задачу, ранжируют пять ответов моделей, выставляют оценки и пишут обоснования на основе фактов. В объявлении говорится, что рубрика и эталонный ответ не предоставляются, поскольку именно профессиональное суждение служит мерой. Использование ИИ-помощников запрещено при выполнении задачи, ранжировании, оценке и написании обоснований.

Эти условия относятся к одному пилотному проекту. Его сравнение зависит от собственной оценки специалиста; передача этой оценки модели меняет сам эксперимент.

## Синтетическая обратная связь не обязательно означает плохие данные

Может возникнуть соблазн связать любой ответ, созданный ИИ, с «коллапсом моделей». Такая связь выходила бы за пределы имеющихся здесь данных. Подробнее: [исследование, опубликованное в журнале Nature,](https://www.nature.com/articles/s41586-024-07566-y) рассматривает рекурсивные схемы обучения, в которых данные, созданные моделями, заменяют данные исходного распределения. В этих экспериментах последующие поколения моделей теряли информацию об исходном распределении. Это не исследование упомянутой работы подрядчиков, и по нему нельзя определить, повлияла ли какая-либо конкретная оценка на развёрнутую модель OpenAI.

Другое [исследование коллапса моделей](https://arxiv.org/abs/2404.01413) показывает, почему важно различать эти случаи. Авторы обнаружили коллапс, когда синтетические данные каждого поколения заменяли исходные реальные данные, но в их экспериментах удалось избежать его, когда реальные данные сохранялись, а синтетические данные последующих поколений добавлялись к ним. Это не доказывает безопасность любой смеси данных. Однако показывает, что ярлыка «сгенерировано ИИ» недостаточно для диагноза: важны происхождение данных, их отбор и процесс обучения.

## Явно описывайте разрешённый порядок работы

В инструкции следует перечислить разрешённые инструменты, указать этапы, требующие самостоятельного суждения без помощи ИИ, и объяснить, как сообщать об использовании помощника. В пилоте Mercor независимость требуется и при выполнении задачи, и при оценке. Заказчикам, допускающим ИИ-помощь, следует объяснить, какое профессиональное суждение исполнитель всё равно должен предоставить сам.

Проверка требует такой же осторожности. По сообщению 404 Media, один внутренний документ предостерегал проверяющих от использования инструментов обнаружения ИИ и называл их ненадёжными. Это согласуется с базовым принципом управления: пунктуация, скорость или гладкий стиль сами по себе не доказывают, что человек использовал модель. Проверяющий может выяснить, ссылается ли обоснование на исходные материалы, попросить исполнителя объяснить решение, сравнить повторяющиеся отправленные работы и изучить записи об инструментах, которые проект законно собирает. Ни один стилистический признак не должен сам по себе решать судьбу исполнителя.

## Исполнителям нужны ясные правила и возможность оспорить решение

Независимые подрядчики могут быстро потерять доступ к проекту. Поэтому заслуживающая доверия система должна заранее сообщать правила до начала оплачиваемой работы, отличать предполагаемое нарушение от подтверждённого и давать исполнителю возможность представить относящиеся к делу доказательства. Это рекомендация о справедливой процедуре, а не утверждение о правах по какому-либо договору или закону.

Исполнителям, в свою очередь, следует считать требование независимого суждения частью спецификации услуги. Если человек полагает, что ему нужен разрешённый инструмент, он может спросить до его использования или отказаться от задачи. Скрытая помощь не становится допустимой только потому, что модель хорошо пишет, так же как запрещённый внешний соавтор не становится допустимым из-за правильного ответа.

## Указывайте, откуда должно исходить суждение

В открытом пилоте Mercor спецификация продукта сформулирована явно: требуется самостоятельная профессиональная оценка. Заказчикам, допускающим помощь ИИ, нужно так же чётко указывать, какие инструменты разрешены и какое суждение должен предоставить специалист.

## Sources

- [404 Media: подрядчиков, обучавших ИИ OpenAI, отстранили за использование ИИ при обучении модели](https://www.404media.co/people-training-openais-ai-fired-for-using-ai-to-train-the-ai) — В исходном репортаже приводятся интервью с подрядчиками и документы, описывающие правила против использования ИИ и сообщения об отстранении. Мы не видели закрытых документов, не проверяли независимо отдельные случаи; OpenAI отказалась от комментариев.
- [Mercor: пилотная оценка ИИ-моделей экспертами в профессиональных областях](https://work.mercor.com/jobs/list_AAABoBbYguDNWJDFwNRJ6Z0n/business-domain-expert-ai-model-evaluation-pilot-admin-marketing-hr-accounting) — В открытом объявлении говорится, что мерой служит профессиональное суждение, а использование ИИ-помощников запрещено при выполнении задачи, ранжировании, выставлении оценок и написании обоснований. Оно описывает правила этого пилота, но не правила и их применение во всех проектах Mercor.
- [Шумайлов и соавторы: ИИ-модели коллапсируют при обучении на рекурсивно сгенерированных данных](https://www.nature.com/articles/s41586-024-07566-y) — В статье исследуются рекурсивные схемы обучения, в которых сгенерированные данные заменяют данные исходного распределения. Она не оценивает случаи с подрядчиками из упомянутого репортажа и не доказывает вред для развёрнутой модели OpenAI.
- [Герстграссер и соавторы: неизбежен ли коллапс моделей?](https://arxiv.org/abs/2404.01413) — В экспериментах различаются замена исходных реальных данных и добавление синтетических данных к ним. Результаты показывают, что последствия использования синтетических данных зависят от процесса; они не подтверждают безопасность любой смеси реальных и синтетических данных.