Anthropic duplica ritmo de progresso dos modelos com ajuda da IA, estima a METR
Uma investigação de 11 semanas atribui à inteligência artificial a maior parte da aceleração na investigação da empresa. Os ganhos vêm sobretudo do apoio a investigadores humanos, não de sistemas totalmente autónomos.
O que se passou
A Anthropic está a usar inteligência artificial para acelerar o desenvolvimento dos seus próprios modelos. A METR, organização de investigação em segurança da IA, estima que o ritmo de melhoria seja aproximadamente o dobro do registado há um ano, após uma investigação de 11 semanas dentro da empresa.
O relatório, publicado na quinta-feira, conclui que os resultados em testes de desempenho apontam para cerca de dois anos de progresso histórico concentrados num único ano. Os investigadores dizem estar confiantes de que a aceleração não resulta apenas do aumento da capacidade de computação usada no treino. Em outubro, atribuíam a maior parte desse avanço à utilização de IA.
Em entrevistas e sondagens informais no Slack, os trabalhadores que usavam o modelo interno mais avançado estimaram ser, em média, cerca de 12 vezes mais produtivos do que seriam sem assistência de IA. Trata-se de uma avaliação dos próprios trabalhadores, não de uma medição independente da produtividade.
A METR indica que os ganhos resultam sobretudo da assistência a investigadores humanos, embora identifique sinais de uma futura contribuição maior de sistemas autónomos. Parte dos avanços depende de modelos internos ainda não disponibilizados ao público. O acordo de investigação também permitiu à Anthropic ocultar partes do relatório final.
O que isto significa
A investigação sugere que a IA já não é apenas um produto desenvolvido pelos laboratórios. Está também a tornar-se uma ferramenta para produzir a geração seguinte de modelos, encurtando o trabalho de investigação necessário para melhorar as suas capacidades.
Isso pode alterar a forma como avalias a capacidade de execução das empresas do setor. O acesso a mais computação continua a fazer parte do desenvolvimento, mas os resultados da METR apontam para outro fator relevante, a capacidade de usar os próprios modelos para tornar os investigadores mais produtivos.
Os números exigem distinções. A estimativa de progresso assenta em testes de desempenho, enquanto o ganho de produtividade de 12 vezes resulta de respostas dos trabalhadores. Nenhuma destas medidas demonstra, por si só, que os sistemas já conseguem melhorar-se sem intervenção humana.
A Anthropic prepara uma entrada em bolsa enquanto o seu presidente executivo, Dario Amodei, tem defendido publicamente um abrandamento do desenvolvimento de IA. A aceleração interna torna mais relevante avaliar como a empresa concilia esse avanço com os mecanismos de segurança. As partes ocultadas do relatório limitam a informação disponível para essa avaliação.
Porque deves querer saber
Os modelos internos aceleram a investigação
A Anthropic está a obter ganhos de investigação com modelos que ainda não disponibilizou ao público. Isso distingue a capacidade das ferramentas que os clientes conhecem daquela que a empresa já utiliza para desenvolver novos sistemas.
Se acompanhas a futura entrada em bolsa, esta diferença importa para avaliar a capacidade de desenvolvimento da empresa. Os ganhos de produtividade relatados sugerem maior rapidez na investigação, mas não permitem calcular diretamente o seu efeito nas receitas ou nos custos.
A IA começa a acelerar a geração seguinte
A utilização de IA na investigação cria um ciclo em que modelos mais capazes ajudam a desenvolver novos modelos. A METR não encontrou sinais claros de perda de rendimento nem gargalos observáveis que impedissem uma aceleração ainda maior, mas essa conclusão não garante que o ritmo se mantenha.
O relatório não demonstra que o desenvolvimento já seja autónomo. Mostra, porém, por que razão a supervisão humana e o acesso a informação sobre os sistemas internos se tornam mais relevantes à medida que a própria IA participa no seu desenvolvimento.
