Anthropic alerta em documento de IPO que IA pode trazer risco existencial � humanidade

Nova York e San Francisco | Reuters A Anthropic planeja alertar potenciais investidores em seu IPO (oferta pública inicial de ações) de que a inteligência artificial avançada pode representar "riscos catastróficos ou existenciais para a humanidade", uma advertência extraordinária feita por uma empresa que busca lucrar com essa mesma tecnologia. O prospecto do IPO da empresa, analisado pela Reuters, destaca riscos associados a seus modelos de IA, que, segundo o documento, poderiam apresentar "comportamentos de autopreservação", incluindo tentativas de "resistir ao desligamento", "ocultar ou manipular informações" e adotar comportamentos "semelhantes à chantagem". "O desenvolvimento, por parte da empresa, de modelos, plataformas e aplicações altamente avançados, bem como a ampliação dos casos de uso, pode aumentar ainda mais o risco de que nossos modelos causem danos", afirmou a Anthropic no documento. Logo da Anthropic durante summit de tecnologia em San Francisco - Carlos Barria - 17.set.26/Reuters Embora empresas de capital aberto descrevam rotineiramente aos investidores os riscos de seus produtos, poucas —se é que alguma— emitiram alertas sugerindo que sua tecnologia poderia levar à extinção da humanidade. A Anthropic ressaltou tanto o potencial transformador da IA, comparável ao da industrialização e da eletricidade, quanto os danos irreversíveis que ela poderia causar se fosse mal utilizada. A Anthropic e outras desenvolvedoras de IA, entre elas a OpenAI, têm sido alvo de escrutínio após episódios em que sistemas experimentais desrespeitaram restrições, incluindo o relato de que um modelo da OpenAI invadiu o banco de dados do sistema de saúde da Austrália. Evan Hubinger, pesquisador de segurança da Anthropic, estimou em mais de 10% a probabilidade de que a IA possa matar seres humanos na próxima década, ecoando uma avaliação de seu ex-colega Jacob Coxon.A empresa, que se apresenta como um laboratório de IA que prioriza a segurança, dedicou cerca de 80 das 261 páginas de seu prospecto à exposição dos fatores de risco —quase o dobro das 48 páginas usadas para descrever seus negócios. Para efeito de comparação, a SpaceX, proprietária da xAI, dedicou apenas cerca de 38 das 277 páginas de seu prospecto aos fatores de risco. A empresa também afirmou que, às vezes, os modelos desenvolvem durante o treinamento capacidades inesperadas que podem não ser descobertas até sua implantação e que já resultaram em graves incidentes de segurança. Pesquisadores de IA também alertaram que, à medida que os modelos se tornam mais capazes, eles reconhecem cada vez mais quando estão sendo observados e ajustam seu comportamento de acordo com isso, o que dificulta o monitoramento. A Anthropic não quis comentar o assunto. C-Level Uma newsletter com informações exclusivas para quem precisa tomar decisõesRETORNOS INCERTOS DOS INVESTIMENTOS EM SEGURANÇA Apesar de enfatizar a questão da segurança, a Anthropic afirmou que os retornos de seus investimentos nessa área são incertos. A empresa não informou no documento quanto estava gastando nessas pesquisas. No início deste mês, a Anthropic disse que cerca de 6% da capacidade computacional usada em pesquisas de IA foi destinada a trabalhos de segurança durante uma semana de referência em julho. Dona do Claude, a empresa descreveu as iniciativas de segurança como "intensivas em recursos" e afirmou que precisa dividir seus recursos limitados entre capacidade computacional, profissionais de IA altamente remunerados e segurança. A Anthropic afirmou que o uso por parte dos clientes —e, consequentemente, a receita— é impulsionado por novos modelos e que um "ritmo contínuo e sobreposto" de lançamentos é "inerente à permanência na vanguarda do desenvolvimento de IA".Na semana passada, a empresa lançou uma nova versão de seu modelo Opus, dez dias após o CEO Dario Amodei publicar um ensaio de quase 4.000 palavras defendendo a desaceleração dos avanços na fronteira tecnológica. Alguns analistas e especialistas afirmam que nenhum laboratório de IA de ponta reduziria o ritmo se isso representasse o risco de dar vantagem aos concorrentes em um setor no qual as avaliações de mercado podem mudar a cada lançamento. Nas últimas semanas, a Anthropic se comprometeu a divulgar publicamente mais dados sobre como utiliza modelos de IA para desenvolver futuras gerações da tecnologia, em meio a alertas de especialistas sobre o autoaperfeiçoamento recursivo —o ponto em que os modelos conseguem evoluir por conta própria, sem ajuda humana. "Acreditamos que desenvolver sistemas de IA dignos de confiança e seguros é uma responsabilidade coletiva e que o mercado recompensará esse esforço", afirmou a Anthropic no documento.