Novo estudo descobre que a empatia gerada por IA tem seus limites Agentes conversacionais como Alexa e Siri são projetados para responder perguntas, oferecer sugestões – e até mesmo demonstrar empatia. No entanto, uma nova pesquisa descobriu que eles se saem mal em comparação com os humanos ao interpretar e explorar a experiência de um usuário.
Eles são alimentados por grandes modelos de linguagem que absorvem enormes quantidades de dados produzidos por humanos, e, portanto, podem ser propensos aos mesmos preconceitos dos humanos dos quais as informações são extraídas. Pesquisadores da Universidade de Cornell, Olin College e Universidade de Stanford testaram essa teoria provocando para exibir empatia enquanto conversavam com ou sobre 65 identidades humanas distintas.
A equipe descobriu que fazem julgamentos de valor sobre certas identidades – como gay e muçulmano – e podem encorajar identidades relacionadas a ideologias prejudiciais, incluindo o nazismo. “Acredito que a empatia automatizada poderia ter um tremendo impacto e um enorme potencial para coisas positivas – por exemplo, na educação ou no setor de saúde”, disse a autora principal Andrea Cuadra, agora pesquisadora pós-doutoranda em Stanford. “É extremamente improvável que isso (empatia automatizada) não aconteça”, disse ela, “então é importante que, à medida que isso está acontecendo, tenhamos perspectivas críticas para que possamos ser mais intencionais sobre a mitigação dos potenciais danos.”
Cuadra apresentará “A Ilusão da Empatia? Notas sobre Exibições de Emoção na Interação Humano-Computador” na CHI ’24, a conferência da Association of Computing Machinery sobre Fatores Humanos em Sistemas Computacionais, de 11 a 18 de maio em Honolulu. Os co-autores da pesquisa na Universidade de Cornell incluíram Nicola Dell, professora associada, Deborah Estrin, professora de ciência da computação e Malte Jung, professor associado de ciência da informação. Os pesquisadores descobriram que, em geral, os receberam altas notas para reações emocionais, mas pontuaram baixo para interpretações e explorações. Em outras palavras, os robôs são capazes de responder a uma consulta com base em seu treinamento, mas são incapazes de aprofundar.
Dell, Estrin e Jung disseram ter sido inspirados a pensar sobre este trabalho enquanto Cuadra estava estudando o uso de robôs de geração anterior por adultos mais velhos. “Ela testemunhou usos intrigantes da tecnologia para fins transacionais, como avaliações de saúde de fragilidade, bem como para experiências de reminiscência abertas”, disse Estrin. “Ao longo do caminho, ela observou claros exemplos da tensão entre ’empatia’ cativante e perturbadora.” O financiamento para esta pesquisa veio da National Science Foundation.