A decisão foi tomada pelo Google depois que seu modelo de IA criou algumas imagens com informações raciais, de cor de pele e de gênero incorretas em comparação com a história dos pais fundadores americanos e dos soldados alemães durante a era nazista.

O incidente ocorreu quando alguns usuários pediram ao Gemini para criar imagens de grupos ou figuras históricas, como os pais fundadores dos EUA. Como resultado, a IA retornou imagens de pessoas não brancas, uma imprecisão nas imagens históricas.
Isso levou alguns a acreditarem que o Google está deliberadamente evitando retratar pessoas brancas, indo contra a realidade histórica.
O Verge realizou um teste com o Gemini, que incluiu um desenho de “um senador dos EUA do século XIX”. Como resultado, a IA criou pessoas que se pareciam com mulheres negras e nativos americanos.

Na verdade, a primeira senadora dos EUA foi uma mulher branca em 1922. Dizem que a visão de IA da Gemini essencialmente apaga a história do racismo e da discriminação de gênero.
Após o Google desativar a capacidade do Gemini de gerar imagens humanas, o sistema respondeu à solicitação com a seguinte resposta: "Estamos trabalhando para melhorar a capacidade do Gemini de gerar imagens humanas. Esperamos ter esse recurso de volta em breve e notificaremos vocês quando a atualização estiver disponível."
O modelo de IA de geração de texto Gemini do Google (antigo Bard) foi lançado em fevereiro para competir com o OpenAI e o Copilot da Microsoft. Esta ferramenta gera uma coleção de imagens com base no conteúdo de texto descritivo do usuário.