“A desaceleração de 19% observada entre os desenvolvedores experientes não é uma acusação de IA como um todo, mas um reflexo do atrito do mundo real da integração de sugestões probabilísticas em fluxos de trabalho determinísticos”, explicou Gogia, enfatizando que a medição deve incluir “Representação a jusante, rotina de código e revisão de peer-não apenas o tempo de coda-code”.
Evidências mais amplas da indústria
As descobertas do METR estão alinhadas com as tendências relativas identificadas no relatório de pesquisa e avaliação do Google 2024 DevOps (DORA), com base nas respostas de mais de 39.000 profissionais. Enquanto 75% dos desenvolvedores relataram se sentir mais produtivos com as ferramentas de IA, os dados contam uma história diferente: cada aumento de 25% na adoção da IA mostra uma queda de 1,5% na velocidade de entrega e uma queda de 7,2% na estabilidade do sistema. Além disso, 39% dos entrevistados relataram ter pouca ou nenhuma confiança no código gerado pela IA.
Esses resultados contradizem estudos otimistas anteriores. Pesquisas do MIT, Princeton e da Universidade da Pensilvânia, analisando dados de mais de 4.800 desenvolvedores da Microsoft, Accenture e outra empresa da Fortune 100, descobriram que os desenvolvedores que usam o GitHub Copilot completaram 26% mais tarefas em média. Um experimento controlado separado descobriu que os desenvolvedores concluíram as tarefas de codificação 55,8% mais rapidamente com o GitHub Copilot. No entanto, esses estudos normalmente usavam tarefas mais simples e isoladas em comparação com os complexos cenários do mundo real examinados na pesquisa do METR.
Fonte: Computer World
