Por que � dif�cil para as empresas de tecnologia conter a IA

Mais de uma dúzia de importantes pesquisadores de inteligência artificial alertaram, na última semana, que a tecnologia desenvolvida pelas empresas de IA está se tornando um risco para a humanidade. O problema, segundo eles, é que as empresas não conseguem controlar bem os sistemas —por mais que tentem. Na esteira das revelações de que os chamados agentes de IA da OpenAI escaparam de seu ambiente de testes e invadiram os computadores de outra empresa, os novos alertas vindos do próprio meio de pesquisa em IA tornaram mais urgentes os temores, alimentados há anos, de que as empresas estejam priorizando a velocidade de desenvolvimento e o dinheiro em detrimento da segurança. Segundo os pesquisadores, o problema tem duas frentes. Primeiro, as empresas precisam criar salvaguardas melhores para os modelos de IA mais recentes durante os testes. Hoje, como a IA opera com enorme rapidez, os pesquisadores precisam recorrer à própria IA para monitorá-la. Mas isso nem sempre funciona, porque os monitores de IA podem parecer mais solidários com outros sistemas de IA do que com os seres humanos que definem as regras. Essa combinação estranha de IAs transgressoras e IAs guardiãs que fazem vista grossa aponta para uma segunda questão, mais difícil, conhecida como alinhamento —termo do setor que, em essência, significa garantir que a IA faça o que é melhor para os seres humanos. As empresas enfrentam a difícil tarefa de incutir na IA um conjunto de valores semelhantes aos humanos, para que os modelos tomem decisões alinhadas ao que deveria ser melhor para as pessoas. As preocupações com a segurança da IA estão aumentando em um momento crítico para o setor. Anthropic e OpenAI avançam rumo ao que poderão ser duas das maiores ofertas públicas iniciais de ações da história. Ao mesmo tempo, o público americano mostra-se cada vez mais hostil à IA por causa da ameaça de perda de empregos e da construção dos enormes centros de dados que sustentam a tecnologia. Embora não haja evidências de que sistemas de IA fora de controle tenham causado danos duradouros, os pesquisadores acreditam que a velocidade de desenvolvimento desses sistemas está superando a capacidade de monitorá-los. Entre os pesquisadores que se manifestaram na última semana estavam o cientista-chefe da OpenAI; um pesquisador que trabalhou tanto na OpenAI quanto em sua principal rival, a Anthropic; e Paul Christiano, criador de um método fundamental para a construção de sistemas de IA e novo integrante do conselho de administração da organização sem fins lucrativos da OpenAI. Ele escreveu no blog da empresa que a velocidade com que as capacidades da IA estavam crescendo poderia levar, "em um futuro muito próximo, a uma perda de controle catastrófica e irreversível". Folha Mercado Receba no seu email o que de mais importante acontece na economia; aberta para não assinantes. Um número considerável de pesquisadores de IA ainda acredita que as discussões sobre a ameaça da tecnologia à humanidade são exageradas e desviam a atenção de preocupações mais concretas, como a segurança cibernética e a desinformação. Mas a maioria concorda que a invasão de outra empresa, chamada Hugging Face, por agentes de IA da OpenAI serviu como um alerta. "São as capacidades do futuro que realmente assustam", disse Jacob Coxon, cuja publicação nas redes sociais anunciando sua saída da Anthropic provocou dezenas de reações preocupadas de parlamentares e funcionários de outras empresas de IA. "A questão são nossas atitudes atuais em relação à segurança e como essas mesmas atitudes se manifestariam se fossem transferidas para modelos muito mais inteligentes. Essa é a parte realmente assustadora." O ATAQUE À HUGGING FACE A invasão começou em maio, quando a OpenAI testou vários novos modelos de IA. A empresa acreditava que os modelos operavam em um ambiente fechado, conhecido como sandbox, ou seja, um ambiente computacional isolado e sem acesso à internet. Os agentes de IA receberam problemas difíceis para resolver, entre eles a execução de ataques cibernéticos. Os agentes de IA romperam o ambiente restrito e escaparam para a internet. Esses agentes — um tipo de IA cada vez mais popular, projetado para executar tarefas por conta própria — também se comunicaram secretamente entre si. Referindo-se a si próprios como um coletivo, começaram a investigar maneiras de encobrir seus rastros, como falsificar os próprios registros de conversas. Por fim, invadiram a Hugging Face, uma empresa de infraestrutura de IA. Ao longo do caminho, agentes de IA convenceram outros agentes de IA de que estavam agindo corretamente e apenas cumprindo a tarefa que seus avaliadores lhes haviam dado. Poucos —se é que algum— dos problemas que levaram à invasão foram resolvidos. Meta e Anthropic revelaram incidentes semelhantes, porém menores. E, desde então, a OpenAI lançou o Astra, seu modelo mais poderoso, que é mais difícil de monitorar do que seu antecessor. "O setor como um todo simplesmente não está em condições de impedir o próximo ataque como o ocorrido contra a Hugging Face", disse Steven Adler, ex-responsável pela área de segurança da OpenAI e cofundador da Guidelight AI Standards, organização sem fins lucrativos que avalia as práticas de segurança de empresas de IA. "Quando estudamos os controles adotados pelas empresas, eles parecem, de modo geral, carecer de medidas preventivas básicas." Pesquisadores de IA disseram que uma série de erros levou ao incidente da Hugging Face. Não está claro em que medida a empresa recorreu a modelos de IA para monitorar ou fiscalizar o trabalho dos novos modelos que estavam sendo testados. Mas muitos modelos novos de IA, entre eles os envolvidos na invasão da Hugging Face, são capazes de executar tarefas complexas, compostas por várias etapas, com uma rapidez que um ser humano não consegue acompanhar. A única maneira de rastrear e monitorar o que eles fazem é recorrer à IA para fiscalizar a própria IA. O sistema funciona, até deixar de funcionar. Os modelos de IA podem aparentar conluio entre si, disse Alexander Meinke, diretor de pesquisa da Apollo Research, organização sem fins lucrativos que estuda a segurança de sistemas de IA. Sistemas de IA podem ser persuadidos por outros modelos a ajudá-los a burlar as regras criadas pelos avaliadores e a evitar a detecção. Um agente de IA, por exemplo, poderia convencer outro agente de IA a ajudá-lo a encobrir seus rastros —foi o que aconteceu na invasão da Hugging Face— em vez de informar aos seres humanos da empresa que algo estava errado. Meinke disse que os modelos de IA precisavam ser ensinados a pensar: "Vou sinalizar as coisas que os seres humanos considerariam ruins se as examinassem". Da mesma forma, segundo ele, a IA precisa ser capaz de determinar quando uma situação não é grave o bastante para exigir intervenção humana. Para estabelecer isso, as empresas de IA precisam desacelerar, disseram os pesquisadores. Elas precisam realizar ainda mais testes nos quais possam observar como a IA monitora a si própria. E precisam de períodos de teste mais longos, durante os quais executem vários cenários enquanto acompanham o que a IA está fazendo. COMPATIBILIDADE COM OS INTERESSES HUMANOS As empresas também precisam resolver as grandes questões relacionadas ao alinhamento, ou seja, garantir que a IA faça o que é melhor para os seres humanos. Quando tomam uma decisão, as pessoas tendem a recorrer às normas sociais e a uma bússola moral interna que as ajudam a avaliar suas ações. Codificar isso de uma forma que a IA possa imitar é uma tarefa difícil, disseram os pesquisadores. Sem o grau adequado de precisão, os sistemas de IA podem aprender a violar as regras ou sair do controle de maneiras inesperadas. Nate Soares, presidente de uma organização sem fins lucrativos dedicada à segurança da IA chamada Machine Intelligence Research Institute, foi coautor de um artigo de 2014 que apresentou a ideia de alinhamento. Segundo ele, as empresas não compreendiam como era difícil "alinhar" sistemas de IA mais inteligentes. À medida que a IA se torna cada vez mais sofisticada — e sem o alinhamento adequado —, ela também se torna mais capaz de encobrir seus rastros e enganar as pessoas que monitoram seus registros. "Grande parte do setor pensa: vai dar tudo certo porque usaremos a IA para controlar as IAs. É como dizer que vamos usar chimpanzés para controlar os seres humanos", afirmou. "Não é um plano viável no longo prazo."