Ex-funcionário de alto escalão do Google relata “padrões assustadores” encontrados nos produtos principais da empresa e hipotetiza como o viés pode ter entrado no chatbot de inteligência artificial (IA) Gemini.
Sempre que há um problema dentro de um produto do Google, a empresa possui um sistema de relatório chamado “Go Bad” que pode ser utilizado para documentar conteúdo potencialmente prejudicial, segundo a fonte.
Por exemplo, se um usuário estava no Google Image Search e encontrou um resultado ofensivo, eles poderiam fazer um relatório, interna ou externamente, que então seria encaminhado para a equipe de confiança e segurança apropriada.
Em 2020, esse sistema não diferenciava entre tipos diferentes de problemas, como identidade, diversidade, inclusão e discriminação, alegou o ex-funcionário.
“Então, todos os relatórios sobre violência, material de abuso sexual infantil (CSAM) e coisas que eram racistas, sexistas, anti-cristãs, anti-judaicas ou anti-muçulmanas estavam todos no mesmo pacote”, disse o ex-funcionário do Google à Fox News sob condição de anonimato.
O Google afirmou que sempre priorizou e tratou problemas de maneira diferente e disse que alegações de que tratariam algo como CSAM da mesma forma que discurso de ódio são “sem sentido” e “erradas”.
De 2020 a 2022, o Google desenvolveu um esquema de dados que poderia rastrear e identificar essas preocupações individuais.
No entanto, em 2022, uma análise massiva de dados foi feita em todos esses relatórios “Go Bad” para mais de 30 produtos do Google, incluindo Voice Assistant e News.
O ex-funcionário disse que um relatório sobre os resultados foi posteriormente arquivado. Declarações foram feitas ao Google expressando preocupação sobre como o algoritmo por trás desses produtos opera fundamentalmente após serem encontrados “padrões assustadores”.
O ex-funcionário disse que os algoritmos principais do Google alimentam muitos produtos diferentes, como YouTube, Google Search, Google Image Search e Google News, com alterações para cada caso de uso. Produtos internos também utilizam variações desse algoritmo, tornando-o, como o ex-funcionário o descreveu, o “gerador de dinheiro” da empresa.
O Google contestou essa conta e afirma que isso é uma deturpação de uma melhoria de roteamento para um dos muitos canais de feedback de produto da empresa. Eles também disseram que não há um único algoritmo subjacente a todos os produtos do Google.
O Google fez mudanças substanciais em seu algoritmo ao longo dos anos. Em junho de 2019, a empresa anunciou novas alterações para o Google Search projetadas para fornecer “mais diversidade de sites” nos resultados. A mudança significava que os usuários geralmente não veriam mais do que dois listagens do mesmo site nos principais resultados. Outras mudanças de classificação também foram feitas.
O Google disse que essas atualizações foram feitas porque as pessoas queriam ver uma variedade maior de sites em seus resultados.
Em maio de 2023, o Google anunciou que estava usando IA generativa para adicionar novas maneiras de “encontrar e explorar perspectivas diversas na Pesquisa”. As mudanças adicionaram um filtro de “Perspectiva” que mostra informações que as pessoas compartilham em plataformas de mídia social e fóruns de discussão.
A empresa também disse que as capacidades de IA ajudariam a qualidade “experiência” como um elemento de conteúdo útil e o Google continuaria a focar na qualidade da informação e atributos críticos como autoridade, expertise e confiabilidade.
O ex-funcionário expressou preocupação de que muitas das alegações de aumento da diversidade e os detalhes de como a informação é classificada no Google fossem extremamente gerais. As informações divulgadas publicamente careciam de informações detalhadas sobre como o algoritmo por trás dos produtos funciona.
O Google contestou a afirmação de que as mudanças não eram transparentes, dizendo que faz milhares de melhorias na Pesquisa todos os anos e mantém um site público com informações detalhadas sobre como a Pesquisa funciona e como aborda as mudanças.
No início deste ano, o Google enfrentou uma intensa reação quando a função de geração de imagem no chatbot de IA Gemini produziu exemplos “diversos” de figuras históricas, incluindo os Pais Fundadores e Papas. O Google mais tarde se desculpou e pausou o recurso, mas como isso aconteceu?
Nos últimos anos, o Google criou e escalou duas equipes de pesquisa de IA diferentes, Media Understanding for Social Exploration (MUSE) e Skin Tone, que foram adotadas em mais de 50 produtos do Google.
Segundo o Google, o MUSE “constrói tecnologia habilitada por IA projetada para entender padrões em como as pessoas são retratadas na mídia mainstream e inspirar conteúdo mais equitativo”.
As paletas de tons de pele usadas em gadgets e aplicativos para promover “equidade de imagem” foram anunciadas em maio de 2022.
O Google diz que a nova escala foi projetada para ser mais “representativa” de todos os tons de pele e descobriu que o novo modelo é mais inclusivo do que o padrão da indústria de tecnologia atual “especialmente” para pessoas com tons de pele mais escuros.
O ex-funcionário disse que a implantação dessa escala e outros recursos para promover a diversidade faz sentido em certas situações. Por exemplo, se você pesquisar por trajes de noiva, você gostaria de uma diversidade de pessoas usando as roupas para acomodar todos os grupos.
Agora, suponha que o modelo de diversidade seja incorporado aos algoritmos de pesquisa e não seja desativado em um modelo generativo. Nesse caso, a IA não será capaz de diferenciar o contexto histórico e fornecerá resultados imprecisos. O ex-funcionário sugeriu que é provavelmente isso que aconteceu com Gemini.
“Se eu disser para mostrar o Papa e você me mostrar um cara negro, vou ficar irritado. Mas se eu disser para mostrar uma imagem de um grupo de pessoas jogando e mostrar apenas pessoas brancas, também vou ficar irritado”, disse a fonte.
O Google rebateu a afirmação de que isso tinha alguma coisa a ver com o problema das imagens do Gemini e apontou para um post no blog publicado em fevereiro que explicava qual eles acreditam ser o problema. Eles também disseram que o trabalho de tons de pele não tem sobreposição com a geração de imagens do Gemini e tem como objetivo melhorar coisas como a iluminação das câmeras dos celulares.
“Mais uma vez, essas são opiniões requentadas de um único ex-funcionário que deturpa como nossos processos funcionam e que claramente não tinha visibilidade de como as decisões eram tomadas. Nosso negócio é baseado na confiança dos usuários para fornecer informações precisas, por isso temos um claro objetivo comercial em manter nossos produtos livres de vieses”, disse um porta-voz do Google à Fox News.
O preconceito também pode entrar em um sistema de IA de outras maneiras. Como esses grandes modelos de linguagem (LLMs) possuem enormes quantidades de texto inseridas no sistema para treiná-lo, empresas como o Google não têm as ferramentas ou tempo para revisar todos os dados.
De acordo com o ex-funcionário, a ausência de certos termos, identidades ou palavras pode significar que o modelo tenha uma relação negativa com eles.
Se o modelo receber um monte de histórias sobre famílias, mas não houver exemplos de pais solteiros ou esse grupo estiver significativamente sub-representado nos dados, ele pode não ser capaz de gerar uma história sobre uma família com apenas um dos pais.
“Modelos generativos não são bancos de dados factuais. O que eles são são motores de adivinhação matemáticos. É aí que você tem alucinações porque eles são treinados para pegar seu prompt e prever quais palavras virão a seguir com base no que você deu a ele. Eles vão inventar coisas porque não sabem que as coisas não estão certas”, disse o ex-funcionário.
Os modelos de linguagem criam embeddings, que mapeiam palavras com contextos semânticos ou temas semelhantes. Por exemplo, o tema liderança pode incluir as palavras “rei”, “rainha”, “castelo”, “cavalo” e “fosso”.
A IA pega esse texto e o converte em representações numéricas chamadas tokens. Em seguida, ele cria um mapa do que a linguagem significa (banco de dados vetorial).
“Por exemplo, gere uma imagem de um homem, OK? Na verdade, ele não entende o que você está dizendo. O que ele está fazendo é pegando seu prompt. Ele está pesquisando nesse banco de dados de embeddings para entender o significado. E então está matematicamente prevendo cada palavra que deve retornar para você”, acrescentou a fonte.
O ex-funcionário disse que o preconceito de IA pode ser corrigido em três lugares dentro do modelo: justiça de pré-processamento, justiça de processamento e justiça de pós-processamento.
A justiça de pré-processamento é verificar os dados e garantir que não haja informações confidenciais. A empresa está se preparando para treinar o modelo.
A justiça no processamento é verificar o que a IA aprende e garantir que ela não esteja aprendendo as coisas erradas e se ajustando de acordo.
Empresas como o Google podem criar vieses na justiça pós-processamento por meio de uma “correção de política”. Isso significa que uma empresa de tecnologia diz ao algoritmo que uma imagem que eles consideram prejudicial não pode aparecer antes de um determinado ponto, como as primeiras 10.000 imagens.
Na literatura acadêmica, a justiça pós-processamento é chamada de “gerrymandering de justiça”. É quando uma empresa não pode ou não quer alterar o modelo com base nos dados inseridos ou nas associações aprendidas, então os pesquisadores editam a maneira como ele responde à saída. Os críticos normalmente descrevem isso quando falam sobre como as pessoas podem alterar as respostas fornecidas pela IA.
É o que acontece quando um modelo de IA como Gemini, ChatGPT, Copilot, Gronk, etc., diz que não pode gerar uma resposta baseada em algo como raça. O modelo em si não sabe disso. O ex-funcionário alegou que se trata de uma camada colocada no sistema entre a IA e as pessoas que a utilizam para garantir que as empresas não tenham problemas.
“Se alguém der um prompt com consultas específicas, sabe, ele tende a ser uma resposta geral, isso não significa que o modelo não possa produzir a resposta, mas eles editaram a maneira como ela aparece para o usuário para torná-la mais justa”, disse o ex-funcionário.
“Parece justo, mas não é justo”, acrescentaram.
