Nos siga em

O QUE ESTÁ PROCURANDO

(Divulgação)

Ciência e Tecnologia

Ex-funcionário do Google revela “padrões assustadores” em produtos da empresa e levanta questões sobre viés em IA

Ex-funcionário de alto escalão do Google relata “padrões assustadores” encontrados nos produtos principais da empresa e hipotetiza como o viés pode ter entrado no chatbot de inteligência artificial (IA) Gemini.

Sempre que há um problema dentro de um produto do Google, a empresa possui um sistema de relatório chamado “Go Bad” que pode ser utilizado para documentar conteúdo potencialmente prejudicial, segundo a fonte.

CONTINUE LENDO APÓS O ANÚNCIO

Por exemplo, se um usuário estava no Google Image Search e encontrou um resultado ofensivo, eles poderiam fazer um relatório, interna ou externamente, que então seria encaminhado para a equipe de confiança e segurança apropriada.

Em 2020, esse sistema não diferenciava entre tipos diferentes de problemas, como identidade, diversidade, inclusão e discriminação, alegou o ex-funcionário.

CONTINUE LENDO APÓS O ANÚNCIO

“Então, todos os relatórios sobre violência, material de abuso sexual infantil (CSAM) e coisas que eram racistas, sexistas, anti-cristãs, anti-judaicas ou anti-muçulmanas estavam todos no mesmo pacote”, disse o ex-funcionário do Google à Fox News sob condição de anonimato.

O Google afirmou que sempre priorizou e tratou problemas de maneira diferente e disse que alegações de que tratariam algo como CSAM da mesma forma que discurso de ódio são “sem sentido” e “erradas”.

CONTINUE LENDO APÓS O ANÚNCIO

De 2020 a 2022, o Google desenvolveu um esquema de dados que poderia rastrear e identificar essas preocupações individuais.

No entanto, em 2022, uma análise massiva de dados foi feita em todos esses relatórios “Go Bad” para mais de 30 produtos do Google, incluindo Voice Assistant e News.

CONTINUE LENDO APÓS O ANÚNCIO

O ex-funcionário disse que um relatório sobre os resultados foi posteriormente arquivado. Declarações foram feitas ao Google expressando preocupação sobre como o algoritmo por trás desses produtos opera fundamentalmente após serem encontrados “padrões assustadores”.

O ex-funcionário disse que os algoritmos principais do Google alimentam muitos produtos diferentes, como YouTube, Google Search, Google Image Search e Google News, com alterações para cada caso de uso. Produtos internos também utilizam variações desse algoritmo, tornando-o, como o ex-funcionário o descreveu, o “gerador de dinheiro” da empresa.

CONTINUE LENDO APÓS O ANÚNCIO

O Google contestou essa conta e afirma que isso é uma deturpação de uma melhoria de roteamento para um dos muitos canais de feedback de produto da empresa. Eles também disseram que não há um único algoritmo subjacente a todos os produtos do Google.

O Google fez mudanças substanciais em seu algoritmo ao longo dos anos. Em junho de 2019, a empresa anunciou novas alterações para o Google Search projetadas para fornecer “mais diversidade de sites” nos resultados. A mudança significava que os usuários geralmente não veriam mais do que dois listagens do mesmo site nos principais resultados. Outras mudanças de classificação também foram feitas.

CONTINUE LENDO APÓS O ANÚNCIO

O Google disse que essas atualizações foram feitas porque as pessoas queriam ver uma variedade maior de sites em seus resultados.

Em maio de 2023, o Google anunciou que estava usando IA generativa para adicionar novas maneiras de “encontrar e explorar perspectivas diversas na Pesquisa”. As mudanças adicionaram um filtro de “Perspectiva” que mostra informações que as pessoas compartilham em plataformas de mídia social e fóruns de discussão.

CONTINUE LENDO APÓS O ANÚNCIO

A empresa também disse que as capacidades de IA ajudariam a qualidade “experiência” como um elemento de conteúdo útil e o Google continuaria a focar na qualidade da informação e atributos críticos como autoridade, expertise e confiabilidade.

O ex-funcionário expressou preocupação de que muitas das alegações de aumento da diversidade e os detalhes de como a informação é classificada no Google fossem extremamente gerais. As informações divulgadas publicamente careciam de informações detalhadas sobre como o algoritmo por trás dos produtos funciona.

CONTINUE LENDO APÓS O ANÚNCIO

O Google contestou a afirmação de que as mudanças não eram transparentes, dizendo que faz milhares de melhorias na Pesquisa todos os anos e mantém um site público com informações detalhadas sobre como a Pesquisa funciona e como aborda as mudanças.

No início deste ano, o Google enfrentou uma intensa reação quando a função de geração de imagem no chatbot de IA Gemini produziu exemplos “diversos” de figuras históricas, incluindo os Pais Fundadores e Papas. O Google mais tarde se desculpou e pausou o recurso, mas como isso aconteceu?

CONTINUE LENDO APÓS O ANÚNCIO

Nos últimos anos, o Google criou e escalou duas equipes de pesquisa de IA diferentes, Media Understanding for Social Exploration (MUSE) e Skin Tone, que foram adotadas em mais de 50 produtos do Google.

Segundo o Google, o MUSE “constrói tecnologia habilitada por IA projetada para entender padrões em como as pessoas são retratadas na mídia mainstream e inspirar conteúdo mais equitativo”.

CONTINUE LENDO APÓS O ANÚNCIO

As paletas de tons de pele usadas em gadgets e aplicativos para promover “equidade de imagem” foram anunciadas em maio de 2022.

O Google diz que a nova escala foi projetada para ser mais “representativa” de todos os tons de pele e descobriu que o novo modelo é mais inclusivo do que o padrão da indústria de tecnologia atual “especialmente” para pessoas com tons de pele mais escuros.

CONTINUE LENDO APÓS O ANÚNCIO

O ex-funcionário disse que a implantação dessa escala e outros recursos para promover a diversidade faz sentido em certas situações. Por exemplo, se você pesquisar por trajes de noiva, você gostaria de uma diversidade de pessoas usando as roupas para acomodar todos os grupos.

Agora, suponha que o modelo de diversidade seja incorporado aos algoritmos de pesquisa e não seja desativado em um modelo generativo. Nesse caso, a IA não será capaz de diferenciar o contexto histórico e fornecerá resultados imprecisos. O ex-funcionário sugeriu que é provavelmente isso que aconteceu com Gemini.

CONTINUE LENDO APÓS O ANÚNCIO

“Se eu disser para mostrar o Papa e você me mostrar um cara negro, vou ficar irritado. Mas se eu disser para mostrar uma imagem de um grupo de pessoas jogando e mostrar apenas pessoas brancas, também vou ficar irritado”, disse a fonte.

O Google rebateu a afirmação de que isso tinha alguma coisa a ver com o problema das imagens do Gemini e apontou para um post no blog publicado em fevereiro que explicava qual eles acreditam ser o problema. Eles também disseram que o trabalho de tons de pele não tem sobreposição com a geração de imagens do Gemini e tem como objetivo melhorar coisas como a iluminação das câmeras dos celulares.

CONTINUE LENDO APÓS O ANÚNCIO

“Mais uma vez, essas são opiniões requentadas de um único ex-funcionário que deturpa como nossos processos funcionam e que claramente não tinha visibilidade de como as decisões eram tomadas. Nosso negócio é baseado na confiança dos usuários para fornecer informações precisas, por isso temos um claro objetivo comercial em manter nossos produtos livres de vieses”, disse um porta-voz do Google à Fox News.

O preconceito também pode entrar em um sistema de IA de outras maneiras. Como esses grandes modelos de linguagem (LLMs) possuem enormes quantidades de texto inseridas no sistema para treiná-lo, empresas como o Google não têm as ferramentas ou tempo para revisar todos os dados.

CONTINUE LENDO APÓS O ANÚNCIO

De acordo com o ex-funcionário, a ausência de certos termos, identidades ou palavras pode significar que o modelo tenha uma relação negativa com eles.

Se o modelo receber um monte de histórias sobre famílias, mas não houver exemplos de pais solteiros ou esse grupo estiver significativamente sub-representado nos dados, ele pode não ser capaz de gerar uma história sobre uma família com apenas um dos pais.

CONTINUE LENDO APÓS O ANÚNCIO

“Modelos generativos não são bancos de dados factuais. O que eles são são motores de adivinhação matemáticos. É aí que você tem alucinações porque eles são treinados para pegar seu prompt e prever quais palavras virão a seguir com base no que você deu a ele. Eles vão inventar coisas porque não sabem que as coisas não estão certas”, disse o ex-funcionário.

Os modelos de linguagem criam embeddings, que mapeiam palavras com contextos semânticos ou temas semelhantes. Por exemplo, o tema liderança pode incluir as palavras “rei”, “rainha”, “castelo”, “cavalo” e “fosso”.

CONTINUE LENDO APÓS O ANÚNCIO

A IA pega esse texto e o converte em representações numéricas chamadas tokens. Em seguida, ele cria um mapa do que a linguagem significa (banco de dados vetorial).

“Por exemplo, gere uma imagem de um homem, OK? Na verdade, ele não entende o que você está dizendo. O que ele está fazendo é pegando seu prompt. Ele está pesquisando nesse banco de dados de embeddings para entender o significado. E então está matematicamente prevendo cada palavra que deve retornar para você”, acrescentou a fonte.

CONTINUE LENDO APÓS O ANÚNCIO

O ex-funcionário disse que o preconceito de IA pode ser corrigido em três lugares dentro do modelo: justiça de pré-processamento, justiça de processamento e justiça de pós-processamento.

A justiça de pré-processamento é verificar os dados e garantir que não haja informações confidenciais. A empresa está se preparando para treinar o modelo.

CONTINUE LENDO APÓS O ANÚNCIO

A justiça no processamento é verificar o que a IA aprende e garantir que ela não esteja aprendendo as coisas erradas e se ajustando de acordo.

Empresas como o Google podem criar vieses na justiça pós-processamento por meio de uma “correção de política”. Isso significa que uma empresa de tecnologia diz ao algoritmo que uma imagem que eles consideram prejudicial não pode aparecer antes de um determinado ponto, como as primeiras 10.000 imagens.

CONTINUE LENDO APÓS O ANÚNCIO

Na literatura acadêmica, a justiça pós-processamento é chamada de “gerrymandering de justiça”. É quando uma empresa não pode ou não quer alterar o modelo com base nos dados inseridos ou nas associações aprendidas, então os pesquisadores editam a maneira como ele responde à saída. Os críticos normalmente descrevem isso quando falam sobre como as pessoas podem alterar as respostas fornecidas pela IA.

É o que acontece quando um modelo de IA como Gemini, ChatGPT, Copilot, Gronk, etc., diz que não pode gerar uma resposta baseada em algo como raça. O modelo em si não sabe disso. O ex-funcionário alegou que se trata de uma camada colocada no sistema entre a IA e as pessoas que a utilizam para garantir que as empresas não tenham problemas.

CONTINUE LENDO APÓS O ANÚNCIO

“Se alguém der um prompt com consultas específicas, sabe, ele tende a ser uma resposta geral, isso não significa que o modelo não possa produzir a resposta, mas eles editaram a maneira como ela aparece para o usuário para torná-la mais justa”, disse o ex-funcionário.

“Parece justo, mas não é justo”, acrescentaram.

CONTINUE LENDO APÓS O ANÚNCIO

 

CONTINUE LENDO APÓS O ANÚNCIO
Escrito Por

Destaques

Últimas Notícias

Na tarde desta segunda-feira (8), pelo menos 10 criminosos fortemente armados realizaram um audacioso ataque a dois carros-fortes na Rodovia Washington Luís (SP-330), próximo...

Últimas Notícias

Em mais um episódio de incursão na política brasileira, Elon Musk, magnata e CEO de empresas como SpaceX e Tesla, utilizou sua plataforma social,...

Brasil

A Agência Brasileira de Inteligência (Abin) revelou a identificação de um agente russo, disfarçado como diplomata da Embaixada da Rússia em Brasília (DF), cujo...

RESUMO DO DIA

✅Brasil Bate Recorde Histórico De Mortes Por Dengue Brasil bate recorde histórico de mortes por dengue CONTINUE LENDO APÓS O ANÚNCIO ✅Argentina Enfrenta Risco...

RESUMO DO DIA

Dólar: 5,03 Euro: 5,46 ✅3×1: Após Pedido De Vista, Desembargador Antecipa Voto Contra Cassação De Moro CONTINUE LENDO APÓS O ANÚNCIO 3×1: Após pedido...

Mundo

Nesta segunda-feira, dia 8, um espetáculo celestial hipnotizou os moradores da cidade de Mazatlán, no México, com a chegada do eclipse total do sol....

CONTINUE LENDO APÓS O ANÚNCIO

Brasil

São Paulo

Na segunda-feira (8), o Governador Tarcísio de Freitas anunciou a autorização para a elaboração dos projetos de construção da Estação ABC da Linha 10-Turquesa...

Derrite Derrite

Últimas Notícias

O policial civil Fernando Contreras Siqueira foi demitido pela segunda vez pelo Secretário de Segurança Pública de São Paulo, Guilherme Derrite. Contreras enfrenta 13...

Indígena Indígena

São Paulo

Na última sexta-feira (05), um indígena da aldeia Itaóca foi preso sob a suspeita de estuprar a própria irmã, de 25 anos, na noite...

Últimas Notícias

Os líderes do Comando Vermelho (CV) no Rio de Janeiro, Rogério da Silva Mendonça e Deibson Cabral Nascimento, mesmo oferecendo apoio à dupla, impuseram...

Brasil

Em uma reviravolta surpreendente, Gilberto Nogueira de Oliveira, um frentista de 39 anos cujo pênis foi amputado pela sua parceira, a cozinheira Daiane dos...

Brasil

A Operação Águas Limpas, criada para investigar o vazamento de tolueno que interrompeu o fornecimento de água em cinco cidades do Rio de Janeiro,...

CONTINUE LENDO APÓS O ANÚNCIO
Facebook
X\Twetter
LinkedIn
WhatsApp
Threads
Telegram
Reddit