Apple hat seine Moderationsregeln für den App Store in Bezug auf intime Bilder ohne Einwilligung ausdrücklich formuliert, einschließlich KI-generierter Bilder. Die Aktualisierung vom 16. Oktober besagt, dass betroffene Apps solche Inhalte proaktiv verhindern und entfernen müssen. Entwicklern droht der Ausschluss, wenn Schutzmaßnahmen unzureichend sind oder Verstöße nach einer Benachrichtigung nicht behoben werden.

Apple zufolge erfasste das bestehende Pornografieverbot bereits Apps, die sexuell explizite Bilder realer Menschen ohne deren Einwilligung erzeugen. Die Änderung führt die Verantwortlichkeiten innerhalb der Regeln zur Inhaltsmoderation aus und präzisiert die Folgen für Entwickler.

Die große Veränderung

  • Was sich geändert hat: Apple bezieht Apps zur KI-Inhaltserstellung ausdrücklich in seine Moderationsanforderungen ein. Entwickler müssen erzeugte Inhalte ebenso berücksichtigen wie Material, das Nutzer hochladen oder teilen.
  • Warum das wichtig ist: Die Regeln verknüpfen Schutzmaßnahmen und die Reaktion auf Missbrauch mit dem fortbestehenden Zugang des Entwicklers zum App Store. Für Teams, die Bildwerkzeuge entwickeln, ist Moderation Teil der Voraussetzungen für den Vertrieb des Produkts.
  • Worauf zu achten ist: Apple legt nicht fest, welche Schutzmaßnahmen gewählt werden sollen. Entscheidungen über Abhilfemaßnahmen und Ausschlüsse werden zeigen, welche Vorkehrungen das Unternehmen bei der Prüfung der Regelkonformität akzeptiert.

Moderation umfasst auch von einer App erzeugte Inhalte

Richtlinie 1.2 nennt nun Apps zur KI-Inhaltserstellung neben sozialen Medien und anderen Plattformen, auf denen Nutzer Inhalte beisteuern. Sie zählt intime Bilder ohne Einwilligung zu den Risiken dieser Dienste.

Die Richtlinie verlangt die Filterung anstößigen Materials vor der Veröffentlichung, ein Meldesystem mit zeitnahen Antworten, die Möglichkeit zum Blockieren missbräuchlich handelnder Nutzer und veröffentlichte Kontaktdaten. Entwickler sind zudem dafür verantwortlich, Material zu entfernen, das gegen die Regel, ihre eigenen Bedingungen oder ihre Gemeinschaftsstandards verstößt.

Die Erzeugungskontrollen eines Bildwerkzeugs und seine Reaktion auf gemeldeten Missbrauch müssen daher dieselben Moderationspflichten unterstützen. So lesen wir die Regel und die Ankündigung in ihrem Zusammenhang. Apple schreibt in diesen Dokumenten kein bestimmtes Erkennungsmodell vor und veröffentlicht keinen numerischen Genauigkeitsschwellenwert.

Für versteckte Funktionen gilt eine eigene Regel

Apples datierter Änderungshinweis bezeichnet 2.5.19 als neu nummerierte Richtlinie, die ein langjähriges, zuvor unter 2.3.1 geführtes Verbot präzisiert. Sie betrifft versteckte, inaktive oder nicht dokumentierte Funktionen.

Apples begleitende Erläuterung beschreibt Apps, die schädliche Fähigkeiten während der Prüfung verbergen und nach der Zulassung freischalten. Dazu gehören Werkzeuge, die sexuelle Bilder ohne Einwilligung erstellen. Dem Entwickler können die Entfernung der App und der Ausschluss aus dem Apple Developer Program drohen. Diese Regel betrifft sowohl die Angaben gegenüber Prüfern als auch die von der App erzeugten Inhalte.

Im selben Änderungshinweis heißt es, Abschnitt 5 präzisiere die Entfernung und die Sperre alternativer Vertriebswege für Apps, die Menschenhandel oder die Ausbeutung von Kindern erleichtern. Diese Bestimmung hat einen eigenen Geltungsbereich; nicht jeder Verstoß gegen Richtlinie 1.2 fällt durch die Aktualisierung unter diese Vertriebssperre.

Apple beschreibt Abhilfemaßnahmen und Ausschlüsse

Die aktuellen Richtlinien beschreiben einen möglichen Weg zur Abhilfe: Apple kann einen Entwickler auffordern, regelwidrige Inhalte zu entfernen und einen Verbesserungsplan vorzulegen. Anschließend kann die App vom Store ferngehalten werden, bis sie die Einhaltung der Regeln nachweist. Schwerwiegendes oder wiederholtes Fehlverhalten kann zum sofortigen Ausschluss sowohl der App als auch des Entwicklers führen.

BIG CHANGE hat Apples Ankündigung, Änderungshinweis und aktuelle Regeln geprüft, aber weder die Schutzmaßnahmen von Apps getestet noch Apples Prüfentscheidungen auditiert. Die Dokumente belegen die Richtlinienänderung und die angekündigten Folgen, zeigen aber nicht, ob die neue Formulierung Missbrauch verringert.

Quellen und weiterführende Lektüre