Líder de alinhamento da Anthropic admite publicamente risco de superinteligência 'sem solução'; setor alerta que se está 'apostando vidas humanas'

O chefe de ciência de alinhamento da Anthropic, Evan Hubinger, admitiu publicamente esta semana, em um fato raro, que a empresa acredita sinceramente que a superinteligência pode 'matar toda a humanidade' nesta década, e que atualmente não há uma solução clara para o chamado 'problema de alinhamento'. Esta é a mais recente turbulência vinda de dentro da empresa após o anúncio de saída do pesquisador da Anthropic, Jacob Coxon.

Segundo a ABC News Australia, Coxon afirmou diretamente na rede social X que, após acumular três anos de pesquisa em pré-treinamento na Anthropic e na OpenAI, escolheu sair porque 'nenhuma das duas empresas está agindo de forma responsável'. Suas palavras exatas foram: 'Eles estão correndo em direção a uma superinteligência autoaperfeiçoável, apostando nas nossas vidas.'

Hubinger respondeu no X dizendo que as palavras de Coxon estavam 'corretas'. Ele escreveu: 'Nós realmente acreditamos sinceramente que a IA pode matar toda a humanidade! Pessoalmente, acho que a probabilidade de isso acontecer nos próximos dez anos é superior a 10%.' Sobre a questão da rota tecnológica que envolve a sobrevivência da empresa e o destino da humanidade, ele também admitiu: 'Acredito que a Anthropic está fazendo o seu melhor, mas ainda não temos uma solução para o problema de alinhamento da superinteligência, nem estamos claramente no caminho para chegar a essa solução.'

Coxon não é um caso isolado. Em julho deste ano, mais de 1.300 funcionários da Anthropic, da OpenAI e de outras empresas de IA de fronteira assinaram uma declaração pública, alertando que 'o desenvolvimento de capacidades pode rapidamente ultrapassar a nossa capacidade de compreender ou controlar os sistemas que produzimos', e conclamando o governo dos EUA a apoiar os esforços internacionais para criar ferramentas que possam 'controlar conscientemente o ritmo de desenvolvimento da IA de fronteira'. A iniciativa foi batizada de 'Pacing the Frontier'.

No entanto, as respostas das duas empresas ao manifesto limitaram-se a princípios, sem compromissos concretos de ação. Segundo a ABC News Australia, citando declarações das duas empresas na plataforma X, a Anthropic reconheceu que sua pesquisa sobre 'autoaperfeiçoamento recursivo', publicada no mês passado, 'aponta para a necessidade de ferramentas que controlem conscientemente o ritmo de desenvolvimento da IA de fronteira, para que a sociedade possa se preparar'; a OpenAI, por sua vez, afirmou em termos vagos que 'acreditamos que, em algum momento no futuro, a aceleração da IA no desenvolvimento de modelos de fronteira pode ser tão alta que o mundo precisará controlar a velocidade do progresso da IA'. Nenhuma das duas empresas se comprometeu a suspender o desenvolvimento ou a aceitar regulamentação externa vinculante.

A ausência de regulação está sendo cada vez mais apontada de forma direta em fóruns internacionais. Segundo a ABC News Australia, o Alto Comissário das Nações Unidas para os Direitos Humanos, Volker Turk, alertou em Genebra nesta segunda-feira que a IA avançada pode representar um 'risco existencial' para a humanidade, e jurou pressionar as empresas envolvidas a reduzir os riscos listados por seu escritório — incluindo os impactos sobre serviços públicos, comunicações e sistemas democráticos. Turk pediu que sejam 'forjadas garantias de ferro' para a segurança da IA 'antes que seja tarde demais'. 'Compartilho das preocupações de pessoas de dentro do setor de que a IA avançada pode representar um risco existencial para a humanidade', afirmou ele em discurso na agência da ONU.

A essência do 'problema de alinhamento' reside no seguinte: um sistema de IA que ultrapasse as capacidades humanas pode não compartilhar dos valores humanos. No contexto em que o nível federal dos EUA ainda não estabeleceu um marco regulatório vinculante para a IA de fronteira, o interior do setor agora está admitindo da forma mais direta possível: a distribuição de riscos e recompensas desta corrida não é simétrica — os ganhos ficam com as empresas, enquanto o custo pode recair sobre todos.