A Apple tornou explícito que as regras de moderação da App Store abrangem imagens íntimas sem consentimento, incluindo imagens geradas por IA. A atualização de 16 de outubro afirma que os aplicativos afetados devem prevenir e remover esse conteúdo de forma proativa. Os desenvolvedores correm o risco de ser removidos quando as proteções são insuficientes ou as violações não são resolvidas após uma notificação.

A Apple afirma que sua proibição de pornografia já abrangia aplicativos que geram imagens sexualmente explícitas de pessoas reais sem o consentimento delas. A mudança detalha as responsabilidades nas regras de moderação de conteúdo e esclarece as consequências para os desenvolvedores.

A grande mudança

  • O que mudou: A Apple inclui explicitamente os aplicativos de criação de conteúdo com IA em seus requisitos de moderação. Os desenvolvedores devem considerar tanto o conteúdo gerado quanto o material que os usuários enviam ou compartilham.
  • Por que importa: As regras vinculam as proteções e as respostas a abusos à continuidade do acesso do desenvolvedor à App Store. Para equipes que criam ferramentas de imagem, a moderação faz parte dos requisitos para distribuir o produto.
  • O que acompanhar: A Apple não especifica quais proteções devem ser escolhidas. Suas decisões sobre medidas corretivas e remoção mostrarão quais proteções aceita ao avaliar a conformidade de um aplicativo.

A moderação inclui o conteúdo que um aplicativo gera

A diretriz 1.2 passa a citar aplicativos de criação de conteúdo com IA ao lado de redes sociais e outras plataformas com conteúdo fornecido pelos usuários. Ela identifica imagens íntimas sem consentimento entre os riscos apresentados por esses serviços.

A diretriz exige a filtragem de material impróprio antes da publicação, um mecanismo de denúncia com respostas em tempo hábil, a possibilidade de bloquear usuários abusivos e a publicação de informações de contato. Também responsabiliza os desenvolvedores pela remoção de material que viole a regra, seus próprios termos ou os padrões de sua comunidade.

Por isso, os controles de geração de uma ferramenta de imagem e sua resposta a denúncias de abuso precisam apoiar as mesmas obrigações de moderação. Essa é nossa interpretação conjunta da regra e do anúncio. A Apple não determinou um modelo de detecção específico nem publicou um limite numérico de precisão nesses documentos.

Recursos ocultos têm uma regra separada

O aviso de revisão datado da Apple identifica o item 2.5.19 como uma nova diretriz numerada que esclarece uma proibição antiga, antes abrangida pelo item 2.3.1. Ela trata de funções ocultas, inativas ou não documentadas.

A explicação que acompanha o aviso descreve aplicativos que escondem capacidades prejudiciais durante a análise e as revelam após a aprovação, incluindo ferramentas que criam imagens sexuais sem consentimento. O desenvolvedor pode enfrentar a remoção do aplicativo e a exclusão do Apple Developer Program. Essa regra trata tanto do que os desenvolvedores revelam aos responsáveis pela análise quanto do conteúdo produzido pelo aplicativo.

O mesmo aviso diz que a Seção 5 esclarece a remoção e o bloqueio da distribuição alternativa de aplicativos que facilitam o tráfico de pessoas ou a exploração infantil. Essa disposição tem seu próprio escopo; a atualização não coloca toda violação da diretriz 1.2 sob esse bloqueio de distribuição.

A Apple descreve medidas corretivas e remoção

As diretrizes atuais descrevem uma possível via de correção: a Apple pode pedir que um desenvolvedor remova o conteúdo infrator e apresente um plano de melhoria, mantendo o aplicativo fora da loja até que demonstre conformidade. Condutas graves ou repetidas podem levar à remoção imediata tanto do aplicativo quanto do desenvolvedor.

A BIG CHANGE analisou o anúncio, o aviso de revisão e as regras atuais da Apple; não testou as proteções dos aplicativos nem auditou as decisões de análise da Apple. Os documentos estabelecem a mudança de política e as consequências declaradas, sem mostrar se a nova redação reduz os abusos.

Fontes e leituras adicionais