O crepúsculo dos chatbots

Se você sente que as coisas estão acelerando na IA, provavelmente você está certo. Melhores modelos de IA dos principais laboratórios americanos de IA têm sido lançados mais rapidamente do que nunca (embora as intervenções governamentais tenham interrompido temporariamente o acesso a dois dos modelos mais poderosos, Claude Fable e GPT-5.6).

Mas não se trata apenas do momento do lançamento. As evidências apontam também para a aceleração dos ganhos de capacidade (embora a fronteira permaneça irregular e as IAs continuem fracas em muitos locais). Isto é especialmente óbvio quando olhamos para a capacidade das IAs de realizar um trabalho real. Existem algumas boas avaliações que tentam medir quanto trabalho humano as IAs podem realizar. Dois dos mais famosos, do METR e do governo oficial do Reino Unido AI Security Institute, estimam a quantidade de horas de esforço do programador humano que a IA pode realizar com um único prompt. O GDPval compara especialistas humanos em muitas áreas ao desempenho da IA ​​usando juízes profissionais. Todos eles estão aumentando a uma taxa melhor que a exponencial.

Outra organização que está fazendo experimentos semelhantes, a Epoch, descobriu recentemente que o Opus 4.7, trabalhando sozinho por 14 horas, foi capaz de construir um pacote de software que levaria de 2 a 17 semanas de trabalho de engenharia humana (custou US$ 251 em tokens). Mais uma vez, os sistemas de IA não conseguem passar em todos os testes, nem são sempre baratos de operar, mas estão definitivamente a melhorar a um ritmo muito rápido. Em meus próprios experimentos, descobri que o Fable foi capaz de trabalhar de forma autônoma por 9 horas para executar projetos de software muito complexos que levariam uma equipe bem mais de uma semana para serem executados.

Até agora, concentrei-me nos modelos de fronteira, aqueles com maior “inteligência”. Eles são fabricados por três empresas americanas – Anthropic, OpenAI e Google (embora já tenha passado algum tempo desde que o Google lançou um novo modelo). Mas há um segundo conjunto de modelos de IA próximos da fronteira que normalmente ficam 6 a 12 meses atrás da fronteira, todos provenientes da China. Estes são modelos de peso aberto, o que significa que qualquer pessoa pode usá-los ou modificá-los após o lançamento (ao contrário dos modelos de fronteira que são proprietários). Isso os torna muito baratos para operar. Eles também estão subindo uma curva de melhoria exponencial, embora ficando atrás dos modelos fechados americanos. Você pode ver isso em meu gráfico de desempenho de IA em um teste chamado AA-Briefcase, que simula um compromisso complexo de consultoria de várias semanas, onde a IA precisa fazer vários tipos de análise. Os modelos chineses de pesos abertos (outros países produzem modelos de pesos abertos, mas nenhum está perto da fronteira) estão na sua própria curva exponencial, atrás dos modelos fechados dos EUA.

Mas os gráficos abstratos só levam você até certo ponto e podem esconder o quão irregular é a fronteira (e também o fato de que os modelos de pesos abertos, embora muito impressionantes, nem sempre funcionam tão bem quanto seus benchmarks indicariam). Para obter insights reais, você precisa tentar usar IA para diferentes casos de uso e avaliar rigorosamente o quão bons eles são nas áreas que são importantes para você. Como exemplo divertido, criei um teste em que as IAs precisam construir uma simulação interativa de um porto evoluindo ao longo do tempo. Você pode brincar com todos os resultados aqui. Acho que dá uma perspectiva interessante sobre o quanto os modelos podem diferir uns dos outros em áreas como design, abordagem estilística e até mesmo julgamento. À medida que os sistemas realizam tarefas cada vez mais longas, esses fatores difíceis de avaliar se tornam mais importantes.

A forma como usamos a IA está mudando

Como as IAs podem realizar tarefas cada vez mais longas, a forma como as pessoas usam a IA está mudando. Até recentemente, a forma dominante de usar a IA era como co-inteligência. Você pediria à IA para fazer algo, verificaria os resultados e depois pediria que ela executasse a próxima etapa do seu trabalho. Com instruções cuidadosas e atenção humana, você poderá orientar as IAs para realizar tarefas complexas e de longo prazo.

Esta abordagem à utilização da IA ​​ainda é comum e útil, mas, cada vez mais, não é a forma como a IA está a ser utilizada para trabalhos valiosos. Sistemas de IA de longa duração, inteligentes e autocorretivos não precisam de intervenção humana constante e exigem uma maneira diferente de trabalhar (este também é o assunto do meu próximo livro, Coexistência, que você pode querer encomendar aqui). E, ao contrário dos chatbots, os agentes vêm com máquinas extras: equipamentos que dão à IA acesso a ferramentas e um ambiente para atuar, e aplicativos desenvolvidos para agentes como o Codex de Claude Code ou OpenAI. Como resultado, a capacidade já crescente dos modelos de IA pode ser melhorada ainda mais por um bom equipamento ou aplicativo.

Portanto, o trabalho envolve cada vez mais atribuir trabalho aos agentes, em vez de trabalhar em conjunto com chatbots. Um estudo conjunto realizado por OpenAI e economistas acadêmicos mostra a rapidez com que isso está acontecendo dentro de suas próprias organizações. É importante ressaltar que não são apenas os programadores que usam agentes. Jurídico, RH e outras funções não tecnológicas adotaram agentes quase na mesma proporção. OpenAI pode ser uma espécie de canário na mina de carvão para o que acontecerá em outras partes do trabalho.

Cada vez mais, trabalhar em OpenAI parece gerenciar IA. Um quarto dos OpenAI trabalhadores tem pelo menos quatro agentes trabalhando ao mesmo tempo toda semana. E, à medida que a codificação é feita por IAs em equipamentos e aplicativos especializados, outras funções começam a se tornar uma espécie de codificadores. E eles são bons nisso. Um estudo separado com usuários Claude Code descobriu que engenheiros de software tiveram uma taxa de sucesso semelhante a outras profissões quando realmente usaram o código Claude em tarefas de codificação.

O que realmente importava não era a profissão do usuário, mas sim sua expertise. Quanto mais experiência de domínio alguém tiver, mais sucesso terá ao usar Claude Code nesse domínio. E, o que é ainda mais interessante, os resultados mais úteis que obtiveram de Claude em cada solicitação.

Estamos mudando de um mundo onde não especialistas usam chatbots para preencher lacunas, para um mundo em que especialistas usam agentes para realizar o trabalho. E a melhor maneira de usar agentes é pensar em você como um gerente.

Um momento no tempo

Estar em um exponencial significa que cada mudança em uma janela fixa é maior que a anterior. Se a sua organização escrevesse um plano de IA em qualquer momento antes do inverno de 2025, ele descreveria um sistema que poderia realizar algumas horas de trabalho com uma taxa de erro bastante alta. Alguns meses depois, você pode obter dezesseis horas ou mais de trabalho com um único prompt. É por isso que a IA continua a sentir que está a dar saltos, mesmo sendo uma curva num gráfico, continuamos a experimentar uma duplicação constante da capacidade como uma série de choques. Somos muito ruins em sentir exponenciais por dentro e atualmente estamos dentro de uma.

Acho que isso também explica melhor a turbulência em torno da IA ​​do que as histórias habituais sobre exageros. A IA não é capaz de ser uma ameaça real à segurança cibernética até que de repente o é, causando mudanças políticas repentinas e improvisadas ao mais alto nível do governo. Os mercados desconsideram se a IA pode ameaçar minar um modelo de negócio até que de repente isso pode acontecer, levando a oscilações massivas nas ações. Essas oscilações são lidas como sinais de um campo imaturo que eventualmente se transformará em algo estável. Não acho que isso vá se resolver tão cedo. A instabilidade é o que acontece quando instituições que se movem à velocidade das pessoas (ou pior, dos comités) tentam acompanhar uma curva de capacidade que não é de natureza humana. E enquanto estivermos em algum tipo de exponencial, e enquanto isso durar, a diferença só aumenta.