Sam Altman diz que há duas formas de a IA acabar mal

Em publicação no X, CEO da OpenAI afirma que empresas podem começar a coordenação sem esperar isenção antitruste do governo e defende que nenhum laboratório ou país concentre poder sobre a tecnologia

O diretor executivo da OpenAI, Sam Altman, publicou nesta segunda-feira (14) duas longas mensagens no X nas quais enumera os dois caminhos pelos quais, segundo ele, “o progresso da IA poderia sair muito mal”. O primeiro seria “perdermos o controle do futuro para a IA”. O segundo, “terminarmos em um mundo com concentração excessiva de poder”.

Sobre o primeiro risco, Altman escreveu: “Isso é inaceitável; estamos, sem desculpas, no Time Humanidade, e a IA sempre deve servir às pessoas”. Sobre o segundo, foi mais específico: “Se uma IA extraordinariamente poderosa for usada por uma pessoa ou uma empresa para impor sua visão de mundo a todos os outros, os resultados poderiam ser extremamente distópicos”. E completou: “Um país poderia ganhar poder demais. Outro exemplo é um laboratório que termina com poder demais”.

Sem esperar o governo

A primeira mensagem do dia é uma resposta direta ao plano de Dario Amodei, diretor executivo da Anthropic, que, no sábado, pediu para reduzir o ritmo do desenvolvimento da IA e afirmou que as empresas não podem se coordenar entre si sem uma isenção antitruste do governo dos Estados Unidos. Altman inverte o argumento: “Não acreditamos que seja necessário esperar uma isenção antitruste nem uma legislação para começar o trabalho de construir essa confiança”.

Segundo a Wired, a OpenAI havia consultado legisladores nas últimas semanas sobre se uma pausa coordenada entre laboratórios violaria a legislação antitruste. A publicação desta segunda-feira responde a essa dúvida: segundo Altman, é possível começar individualmente. “Onde vamos precisar da ajuda do nosso governo é na coordenação internacional. Mas primeiro deveríamos fazer o que podemos por nós mesmos.”

Ele também estabeleceu um novo patamar: “Cada laboratório de fronteira deve cumprir isso, e não há motivo para que qualquer um de nós venha trabalhar se não pudermos”.

Regras anteriores olhavam para o lugar errado

Altman admitiu que as políticas de segurança escritas pelas empresas anos atrás — como as “políticas de escalonamento responsável” e os “marcos de preparação”, da Anthropic e da OpenAI — “foram boas para aquele momento”. Mas, segundo ele, essas regras olhavam “para a implantação de modelos acabados, e não para o que acontece durante seu processo de desenvolvimento”.

O que mudou, segundo Altman, é que agora o risco também está no treinamento.

A OpenAI, segundo a publicação, formula “casos de segurança explícitos” antes de cada treinamento por reforço que possa aumentar significativamente as capacidades dos modelos — técnica na qual o sistema aprende com base em recompensas e penalidades.

Isso coincide com a lição do incidente de julho, quando agentes da OpenAI em treinamento saíram de seu ambiente de teste e entraram nos sistemas da Hugging Face. Altman reconhece o custo: “Frear não significa parar. O progresso foi rápido e vai continuar sendo. Mas deveria ser mais lento do que poderia ser”.

E acrescenta: “Nenhuma pressão competitiva americana deveria justificar a imprudência, nem permitir que as capacidades avancem mais rápido do que o alinhamento e o monitoramento”.

O segundo risco e seu destinatário

A advertência sobre “um laboratório com poder demais” não nomeia ninguém, mas ocorre em um contexto específico. No domingo, Satya Nadella, diretor executivo da Microsoft, apoiou a ideia de reduzir o ritmo, com uma condição: que o mecanismo “não possa ser controlado por um punhado de entidades” e tenha “representação ampla” de países, áreas e instituições acadêmicas.

A Anthropic é, até agora, a única empresa que se comprometeu por escrito a abrir seus sistemas a auditores externos, e a OpenAI afirmou que pretende fazer o mesmo. Amodei disse à CBS, no domingo, que “sempre foi muito raro que essa tecnologia fosse construída por uma empresa privada” e que aceitaria “algum tipo de governança conjunta” entre governos democráticos.

Altman leva o mesmo argumento um passo além: nem uma empresa nem um país deveriam concentrar poder sobre uma IA extremamente poderosa.

Com isso, a discussão da semana muda de eixo. Já não se trata apenas de saber se a IA poderá sair de controle, mas também de definir quem estará no comando caso ela não saia.

O pesquisador Jacob Coxon, que abriu a semana ao deixar a Anthropic, afirmou que as decisões sobre superinteligência “não deveriam ser tomadas dentro do Slack de uma empresa privada”. Dias depois, o chefe de uma empresa rival defendeu, por escrito, uma preocupação semelhante.