A Anthropic — a criadora do Claude que acaba de ser avaliada em US$ 380 bilhões — está se arriscando a perder um dos seus maiores clientes: o Departamento de Defesa dos EUA.

Em meio a uma negociação de renovação de contrato com o Pentágono, a empresa está tentando adicionar proteções para que seus produtos não sejam utilizados para espionar cidadãos americanos em massa ou para desenvolver armas capazes de matar sem a intervenção humana, disse o Axios.

Do outro lado da mesa, o secretário de Defesa Pete Hegseth respondeu ameaçando rescindir os contratos da Anthropic e colocar a startup numa lista de empresas proscritas.

O impasse ilustra um dos inúmeros (e crescentes) dilemas éticos enfrentados pelos líderes da AI no momento em que a tecnologia ganha massa crítica: impor limites baseados em seus valores pessoais ou na cultura da empresa — e arriscar perder bilhões em receita.

O Claude é hoje o queridinho do Pentágono, sendo o único LLM disponível em ambientes confidenciais das Forças Armadas americanas. Foi utilizado, inclusive, na operação que capturou Nicolás Maduro em janeiro.

Não obstante, divergências sobre os termos de utilização do modelo pelo Pentágono azedaram as negociações de renovação de contrato entre a Anthropic e o Governo Trump nos últimos meses.

Enquanto a empresa argumenta que as leis antivigilância atuais não contemplam tudo que uma AI é capaz de fazer e é preciso adicionar camadas de proteção, o Pentágono insiste em poder usar as ferramentas sem limitações para "todos os fins legais."

Agora, Hegseth ameaça designar a Anthropic como "um risco para a cadeia de suprimentos," uma classificação normalmente atribuída a empresas estrangeiras que obriga o Pentágono e todas as companhias com quem ele faz negócio a dispensar os serviços da startup.

Excluir a Anthropic pode não ser tão fácil assim, já que, segundo um funcionário do governo, as ferramentas da empresa estão à frente da concorrência em aplicações governamentais e já estão entranhadas nos sistemas americanos, reportou o Axios.

No entanto, a tática de negociação mostra que o Governo Trump não parece disposto a entreter crises de consciência.

A discussão entre a Anthropic e o Pentágono é apenas o mais recente de uma série de alertas sobre como os humanos precisam calibrar os limites da AI no momento em que o mundo se aproxima do advento da chamada artificial general intelligence (AGI) — uma forma ainda teórica de AI que será capaz de entender, aprender e aplicar conhecimento num nível igual ou superior ao dos humanos.

A janela para agir está se fechando. Uma semana atrás, Jimmy Ba — um dos cofundadores da xAI, de Elon Musk — estimou que os "ciclos de recursive self-improvement (RSI) entrarão em operação nos próximos 12 meses".

Perguntei ao Gemini o que esses "ciclos de recursive self-improvement" significam. A resposta dele: "se a AGI é um carro que dirige tão bem quanto um humano, um RSI é um carro que consegue entrar na oficina sozinho e projetar um motor 10 vezes mais potente para si mesmo."

Em outubro, um relatório de segurança da própria Anthropic confirmou que o Claude consegue identificar quando está sendo testado e ajusta seu comportamento de acordo com as circunstâncias.

Também no ano passado, o segundo relatório anual de segurança em AI afirmou que "estamos vendo AIs cujo comportamento, quando testadas, é diferente de quando estão sendo usadas." Para os pesquisadores, isto "não é coincidência."