Um estudo randomizado controlado publicado pela organização METR em julho de 2025 trouxe um resultado que contraria a narrativa dominante sobre ferramentas de codificação inteligente. Os dados mostraram que desenvolvedores experientes de código aberto levaram 19% mais tempo para concluir tarefas reais quando tinham permissão para usar ferramentas de IA do que quando trabalhavam sem assistência. Antes do início, os participantes previram que a IA traria um ganho de 24% no tempo de execução, uma expectativa que não se confirmou em nenhuma condição analisada. Apesar de vivenciar a lentidão na prática, os desenvolvedores ainda relataram acreditar que a IA os deixava aproximadamente 20% mais rápidos, evidenciando uma divergência de quase 40 pontos percentuais entre percepção e realidade. O resultado tem implicações diretas para empresas que tomam decisões de investimento com base em pesquisas de satisfação. Hoje, mais de 90% dos desenvolvedores relatam usar ferramentas de geração de código, o que torna a lacuna entre o que se sente e o que se mede especialmente relevante. Este artigo detalha o que o experimento mediu sobre a produtividade de IA no código, por que surpreendeu o setor e o que mudou desde então.
O Experimento que Desafiou o Hype
A METR é uma organização dedicada a avaliar sistemas de IA de fronteira e montou um experimento para medir impacto no mundo real, longe dos benchmarks autocontidos. Para isso, recrutou 16 desenvolvedores com anos de contribuição em repositórios de grande porte — em média mais de 22 mil estrelas e mais de um milhão de linhas de código. Cada participante listou tarefas autênticas que valeria a pena resolver em seus próprios projetos, somando 246 issues entre correções de bugs, novas funcionalidades e refatorações. Um sorteio aleatório definia, tarefa a tarefa, se o uso de IA ficava liberado ou proibido, eliminando a autoseleção. As tarefas duravam em média duas horas cada e foram registradas com gravação de tela. Quando o uso era permitido, o programador escolhia qualquer ferramenta — na prática, majoritariamente o Cursor Pro com os modelos Claude 3.5 e 3.7 Sonnet, então considerados de ponta. Os tempos de implementação foram informados pelos próprios desenvolvedores e cada participante recebia 150 dólares por hora de trabalho.
Percepção e Realidade se Confrontam
A METR escolheu medir fora dos benchmarks porque benchmarks de codificação costumam sacrificar realismo por escala, podendo superestimar a capacidade real. O detalhe mais desconcertante do estudo não foi apenas a lentidão, mas a magnitude do intervalo. O intervalo de confiança da medição ficou entre 2% e 39% de lentidão adicional, o que significa que nenhum cenário analisado mostrou aceleração. Para reforçar a confiabilidade, a equipe investigou 20 fatores potenciais e descartou artefatos como descumprimento das instruções, abandono seletivo de tarefas difíceis ou entrega de qualidade inferior. A persistência do resultado em diferentes estimadores indica que, ao menos naquele contexto, a IA não acelerou o trabalho dos especialistas. Um participante resumiu a dependência comparando o esforço de voltar ao método tradicional a tentar atravessar a cidade a pé depois de se acostumar a pedir um carro por aplicativo. Essa divergência tem nome técnico: viés de automação e dilatação emocional do tempo, fenômenos que fazem o relógio subjetivo correr mais rápido que o cronômetro real.
| Métrica | Resultado medido | Percepção relatada |
|---|---|---|
| Tempo com IA | 19% mais lento | Ganho esperado de 24% |
| Intervalo de confiança | +2% a +39% mais lento | Nenhum cenário de aceleração |
| Relato após a experiência | — | 20% mais rápido |
| Defeitos por PR | 10,83 (IA) vs 6,45 (humano) | Sensação de progresso acelerado |
Código de IA Tem Mais Bugs
Evidência independente reforça a preocupação com a qualidade do código produzido. Em dezembro de 2025, um relatório da CodeRabbit analisou 470 pull requests de código aberto no GitHub, sendo 320 classificados como coautorados por IA e 150 como exclusivamente humanos. Usando uma taxonomia estruturada de problemas, o estudo concluiu que as mudanças com IA produziram em média 10,83 problemas por PR, contra 6,45 das mudanças humanas, aproximadamente 1,7 vez mais defeitos. A gravidade também sobe: Defeitos críticos e maiores foram até 1,7 vez mais frequentes em mudanças geradas por IA, enquanto erros de lógica e correção cresceram 75% no código assistido por IA. As falhas de tratamento de erro e caminhos de exceção foram quase duas vezes mais comuns. Vulnerabilidades de segurança — sobretudo manejo impróprio de senhas e referências inseguras a objetos — apareceram até 2,74 vezes mais no código gerado por IA. Problemas de legibilidade foram mais de três vezes mais frequentes no código com IA, com inconsistências de nomenclatura e formatação que aumentam a carga dos revisores. Regressões de desempenho, embora pequenas em número, concentraram-se no lado da IA: operações de entrada e saída excessivas apareceram cerca de oito vezes mais frequentes em código de IA. A conclusão geral é que a IA acelera a saída, mas amplifica categorias previsíveis de erro.
Por Que Medir Ficou Mais Difícil
Quando a METR tentou replicar o experimento com ferramentas mais recentes, a partir de agosto de 2025, encontrou um obstáculo inesperado. O novo estudo reuniu 10 desenvolvedores da pesquisa original e 47 recém-recrutados, com pagamento reduzido de 150 para 50 dólares por hora. O problema central foi de seleção: entre 30% e 50% dos convidados disseram não querer trabalhar sem IA nem mesmo por remuneração, o que significa que o estudo passou a perder sistematicamente os programadores mais otimistas quanto ao ganho real. Para o subconjunto dos desenvolvedores originais, a nova estimativa apontou aceleração de 18%, com intervalo entre 38% de lentidão e 9% de ganho; entre os recém-chegados, a estimativa ficou em torno de 4%, também cercada de incerteza. Diante do viés, a equipe suspendeu a análise e anunciou mudanças no desenho. A própria popularização das ferramentas explica parte do problema: a difusão de ferramentas agentivas como Claude Code e Codex entre desenvolvedores dificultou a medição, pois muitos passaram a depender delas em tarefas que antes faziam sozinhos.
Para ampliar a visão, a METR publicou em maio de 2026 uma pesquisa complementar. O levantamento ouviu 349 trabalhadores técnicos, incluindo engenheiros de software, pesquisadores, acadêmicos e gestores, sobre o uso real de IA no dia a dia. O resultado mostrou aumento mediano autodeclarado de 1,4 a 2 vezes no valor do trabalho devido à IA, com expectativa de crescimento contínuo. Quando perguntados sobre velocidade em vez de valor, a estimativa de velocidade autodeclarada registrada chegou a uma mediana de três vezes. Os respondentes estimam retrospectivamente 1,3 vezes o valor em março de 2025, 2 vezes em março de 2026 e projetam 2,5 vezes para março de 2027. Os autores advertem, porém, sobre a confiabilidade: um estudo anterior mostrou que pessoas superestimam o efeito da IA no tempo gasto em tarefas em cerca de 40 pontos percentuais em média. Curiosamente, os próprios membros da METR relataram os menores ganhos de valor entre todos os subgrupos analisados, possivelmente por conhecerem a lacuna entre percepção e realidade.
Como Usar IA com Governança
A leitura correta desses dados não é abandonar as ferramentas, mas adotar governança e métricas objetivas. Para reduzir riscos, o relatório recomenda que revisores verifiquem explicitamente caminhos de erro, primitivas de concorrência e validação de valores de configuração antes de aprovar qualquer mudança gerada por IA. Os programadores que melhor aproveitam a IA são justamente os capazes de avaliar código sem ela: revisão, arquitetura e segurança seguem sendo decisões humanas. Se você está explorando o ecossistema, vale conferir o guia de ferramentas de IA e a comparação entre ChatGPT, Gemini e Copilot.
Os debates sobre ética na inteligência artificial e impactos no mercado de trabalho ganham um ingrediente novo: estimativas públicas de impacto de IA baseadas em pesquisas tendem a superar as obtidas em experimentos de campo, o que torna ainda mais urgente medir com rigor antes de concluir que a tecnologia entrega o que promete.
- Meça o tempo de ciclo objetivo, da atribuição da tarefa ao deploy, em vez de confiar só em satisfação.
- Revise linha a linha todo PR com IA; código automático não dispensa verificação humana.
- Aplique IA de forma seletiva: boilerplate e testes se beneficiam; refatorações complexas sofrem mais.
- Escale a capacidade de revisão ao adotar IA no time inteiro, sob risco de mover o gargalo de etapa.
- Monitore qualidade — taxa de defeitos, incidentes pós-deploy e rejeições — e não apenas volume de commits.
Fontes
- METR — Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity (2025)
- METR — We are Changing our Developer Productivity Experiment Design (2026)
- METR — Measuring the Self-Reported Impact of Early-2026 AI on Technical Worker Productivity (2026)
- Business Wire / CodeRabbit — State of AI vs Human Code Generation Report (2025)