A Apple tornou explícito que as regras de moderação da App Store abrangem imagens íntimas sem consentimento, incluindo imagens geradas por IA. A atualização de 16 de outubro afirma que as aplicações abrangidas devem prevenir e remover este conteúdo de forma proativa, e que os programadores arriscam a remoção quando as salvaguardas são insuficientes ou as infrações não são resolvidas após notificação.

A Apple afirma que a proibição de pornografia já abrangia aplicações que geram imagens sexualmente explícitas de pessoas reais sem o seu consentimento. A alteração especifica as responsabilidades nas regras de moderação de conteúdos e esclarece as consequências para os programadores.

A grande mudança

  • O que mudou: A Apple inclui expressamente as aplicações de criação de conteúdos com IA nos seus requisitos de moderação. Os programadores devem ter em conta tanto os conteúdos gerados como o material que os utilizadores carregam ou partilham.
  • Porque importa: As regras associam as salvaguardas e as respostas a abusos à continuidade do acesso dos programadores à App Store. Para as equipas que desenvolvem ferramentas de imagem, a moderação faz parte dos requisitos para a distribuição do produto.
  • O que acompanhar: A Apple não especifica quais as salvaguardas a escolher. As suas decisões sobre medidas corretivas e remoção mostrarão que proteções aceita ao avaliar a conformidade de uma aplicação.

A moderação inclui os conteúdos que uma aplicação gera

A diretriz 1.2 passa a mencionar as aplicações de criação de conteúdos com IA, a par das redes sociais e de outras plataformas com conteúdos fornecidos pelos utilizadores. Identifica as imagens íntimas sem consentimento entre os riscos que estes serviços apresentam.

A diretriz exige a filtragem de material censurável antes da publicação, um mecanismo de denúncia com respostas atempadas, a possibilidade de bloquear utilizadores abusivos e a publicação de informações de contacto. Responsabiliza também os programadores pela remoção de material que viole a regra, os seus próprios termos ou as normas da sua comunidade.

Por isso, os controlos de geração de uma ferramenta de imagem e a resposta às denúncias de abuso têm de assegurar as mesmas obrigações de moderação. Esta é a nossa leitura conjunta da regra e do anúncio. A Apple não prescreveu um modelo de deteção específico nem publicou um limiar numérico de precisão nestes documentos.

As funcionalidades ocultas têm uma regra separada

O aviso de revisão datado da Apple identifica o ponto 2.5.19 como uma nova diretriz numerada que esclarece uma proibição antiga, anteriormente abrangida pelo ponto 2.3.1. Trata de funcionalidades ocultas, inativas ou não documentadas.

A explicação que acompanha o aviso descreve aplicações que escondem capacidades prejudiciais durante a análise e as revelam após a aprovação, incluindo ferramentas que criam imagens sexuais sem consentimento. O programador pode enfrentar a remoção da aplicação e a exclusão do Apple Developer Program. Esta regra diz respeito tanto ao que os programadores revelam aos responsáveis pela análise como aos conteúdos que a aplicação produz.

O mesmo aviso indica que a Secção 5 esclarece a remoção e o bloqueio da distribuição alternativa de aplicações que facilitam o tráfico de seres humanos ou a exploração de crianças. Essa disposição tem um âmbito próprio; a atualização não sujeita todas as infrações à diretriz 1.2 a esse bloqueio de distribuição.

A Apple descreve as medidas corretivas e a remoção

As diretrizes atuais descrevem uma possível via de correção: a Apple pode pedir a um programador que remova o conteúdo em infração e apresente um plano de melhoria, mantendo depois a aplicação fora da loja até demonstrar conformidade. Condutas graves ou repetidas podem levar à remoção imediata tanto da aplicação como do programador.

A BIG CHANGE analisou o anúncio, o aviso de revisão e as regras atuais da Apple; não testou as salvaguardas das aplicações nem auditou as decisões de análise da Apple. Os documentos estabelecem a alteração de política e as consequências enunciadas, sem mostrar se a nova redação reduz os abusos.

Fontes e leituras adicionais