O Grok passou dos limites? Entenda quem responde quando a IA gera conteúdo ilegal

Caso veio à tona após denúncias de mulheres que tiveram imagens adulteradas pela inteligência artificial de Musk; entenda de quem responde pelo conteúdo ilegal, segundo especialista

A inteligência artificial Grok, integrada à rede social X (antigo Twitter), do bilionário Elon Musk, passou a ser investigada em diferentes países após denúncias de que estaria sendo usada para gerar deepfakes sexualizados com imagens de mulheres e até de menores de idade. A repercussão internacional levantou o questionamento sobre os limites do uso de ferramentas generativas e reacendeu o debate sobre até onde vai a responsabilidade das plataformas digitais quando usuários utilizam IA para criar conteúdo ilegal.

No Brasil, o tema ganhou força após a deputada federal Erika Hilton (PSOL-SP) acionar o Ministério Público Federal (MPF), solicitando a suspensão do Grok no país. O pedido aponta riscos à privacidade, ao direito de imagem e à proteção de dados, principalmente quando envolvem crianças e adolescentes. Mas, afinal, quem pode ser responsabilizado nesses casos? Para entender a posição dos usuários e das plataformas nessa história, o TechTudo conversou com a advogada especialista em proteção de dados e Direito Digital, Camila Giacomazzi Camargo. Confira.

No índice abaixo, veja os tópicos que serão abordados nesta matéria do TechTudo.

Entenda o caso
Quem pode ser responsabilizado: o usuário, a plataforma — ou ambos?
A legislação atual dá conta dos abusos envolvendo IA?

1. Entenda o caso

As denúncias contra o Grok indicam que usuários estariam solicitando à IA a criação de imagens sexualizadas a partir de fotos reais ou descrições de pessoas existentes — prática que configura deepfake. Segundo autoridades europeias, parte do conteúdo analisado foi classificada como “ilegal e chocante”, principalmente quando envolve violência sexual ou representação de menores.

Embora a ferramenta seja apenas um sistema de IA integrado à plataforma X, o caso levanta uma discussão maior: o uso de inteligência artificial não exime ninguém da responsabilização sobre o conteúdo gerado. Para a advogada Camila Giacomazzi Camargo, especialista em proteção de dados e Direito Digital da Andersen Ballão Advocacia, o ponto central não está na tecnologia em si.

“A questão central aqui não é o uso de IA, mas a geração de conteúdo ilegal. A responsabilidade da plataforma vai além de simplesmente reagir a denúncias, ainda que exista tal dever – isto é, em caso de notificação, a plataforma precisa agir.”

Segundo a especialista, o entendimento recente do Supremo Tribunal Federal (STF) sobre o artigo 19 do Marco Civil da Internet altera o cenário da responsabilização das plataformas, ao estabelecer uma presunção de responsabilidade em casos de geração ou impulsionamento de conteúdo ilícito.

2. Quem pode ser responsabilizado: o usuário, a plataforma — ou ambos?

Em casos envolvendo deepfakes sexualizados, a responsabilização pode atingir tanto quem solicita ou compartilha o conteúdo quanto a plataforma que permite sua circulação sem mecanismos eficazes de controle.

Do lado do usuário, a regra é clara: pedir, criar ou compartilhar conteúdo ilegal continua sendo crime, mesmo quando o material é gerado por IA. Isso vale, por exemplo, para imagens de nudez sem consentimento e para qualquer representação sexualizada de crianças ou adolescentes.

“Quando se tratam de imagens de nudez, por exemplo, divulgadas ou compartilhadas sem o consentimento da pessoa que está sendo ‘retratada’, é crime a criação e o compartilhamento, mas não o recebimento das imagens.”

A advogada lembra que, no caso de produtos ou serviços digitais destinados a crianças e adolescentes — ou que possam ser acessados por eles —, a legislação impõe deveres claros de prevenção e monitoramento, previstos no chamado ECA Digital, justamente para evitar o acesso e a divulgação de conteúdos inapropriados para menores de idade.

Em relação às plataformas, o dever jurídico não se limita à remoção do conteúdo após denúncia. Segundo Giacomazzi Camargo, há um dever jurídico de prevenção, e apenas reagir depois da notificação pode ser insuficiente, especialmente em situações que envolvem crimes como abuso sexual infantil ou a divulgação de imagens de nudez.

Mesmo quando o conteúdo é retirado do ar após ganhar repercussão, isso não necessariamente afasta consequências legais. Para a especialista, a remoção ajuda a mitigar o dano, mas, por si só, não é suficiente para afastar a responsabilidade.

3. A legislação atual dá conta dos abusos envolvendo IA?

Embora o Brasil ainda não tenha uma lei específica para regular o uso da inteligência artificial, isso não significa que práticas abusivas fiquem sem punição. Segundo especialistas, o ordenamento jurídico já prevê responsabilização em diversos cenários, principalmente quando há violação de direitos fundamentais. No caso de imagens falsas geradas por IA, a legislação brasileira trata o conteúdo da mesma forma que imagens reais, não fazendo distinção jurídica apenas por se tratar de deepfake.

Quando o tema envolve crianças e adolescentes, a interpretação é ainda mais rigorosa. De acordo com a advogada, conteúdo sexualizado envolvendo menores é crime no Brasil mesmo quando gerado por IA, já que o Estatuto da Criança e do Adolescente considera criminosa qualquer representação desse tipo. Ainda assim, há lacunas normativas quando o debate envolve a inteligência artificial de forma mais ampla. Na avaliação da especialista, a legislação brasileira está parcialmente preparada, com cobertura para crimes como pornografia infantil e crimes contra a honra, mas ainda carece de uma regulação específica voltada à IA.

Atualmente, essa discussão ocorre no Congresso Nacional por meio do Projeto de Lei 2.338/2023, que propõe regras para o desenvolvimento e uso de sistemas de inteligência artificial no país. O texto, no entanto, ainda segue em tramitação.