A nova ferramenta de desempenho da Intel lança dúvidas sobre pontuações de benchmark

Uma popular ferramenta de benchmark, Geekbench, afirma que emitirá um aviso quando os novos chips de desktop “Arrow Lake Refresh” da Intel habilitarem o novo recurso IBOT da Intel. Por que? Porque o fornecedor do benchmark não pode ter certeza de que as pontuações relatadas com ele possam ser consideradas confiáveis.

Os novos processadores de desktop Core Ultra 200S Plus da Intel (também conhecidos como geração Arrow Lake Refresh) não são muito diferentes de seus antecessores “Arrow Lake” de 2024. Mas uma das principais adições é a Intel Binary Optimization Tool (IBOT), que reorganiza o código em determinados aplicativos para uma execução mais eficiente, melhorando o desempenho. O IBOT também pode rodar nos chips Core Ultra Series 3 (também conhecidos como “Panther Lake”).

O problema é que o IBOT não está bem documentado… e o desenvolvedor do Geekbench, Primate Labs, publicou uma breve postagem no blog alertando sobre isso.

Essencialmente, se você testar seu PC ou processador Core Ultra 200S Plus usando a ferramenta Geekbench, ele emitirá um aviso como uma solução alternativa “esperançosamente temporária”: “Este resultado de benchmark pode ser inválido devido a ferramentas de modificação binária que podem ser executadas neste sistema.”

A “caixa preta” do IBOT precisa ser aberta, diz Primate Labs

O aviso do Geekbench aborda a grande questão que está no centro de todos os esforços de benchmarking. Quando você usa um laptop ou PC de mesa, você realmente não tem uma medida quantitativa de quão rápido ou lento ele está funcionando, então não pode comparar exatamente o desempenho com o de outras máquinas. É isso que um benchmark faz: emite um número específico que você pode usar como referência comparativa.

Então, o que o Primate Labs está dizendo são duas coisas. Em primeiro lugar, o laboratório de benchmark não tem certeza de como o IBOT funciona, mas tem certeza de que ele modifica o próprio código do benchmark. Isso significa que um chip Core Ultra 200S Plus está essencialmente executando um código diferente daquele que um processador AMD executaria, pelo menos de acordo com Primate Labs.

“Como a ferramenta modifica o benchmark e não está claro para o Primate Labs e para o público em geral como essas mudanças ocorrem, os resultados gerados com a ferramenta não são comparáveis ​​aos resultados gerados sem ela”, disse Primate Labs.

Em segundo lugar, a ferramenta Geekbench não consegue ver se o IBOT foi ou não ativado, o que também acrescenta um nível adicional de incerteza. Uma pontuação do Geekbench poderia ser melhor do que a relatada pela ferramenta? Primate Labs, por enquanto, não tem como saber.

O Geekbench, um benchmark respeitado, está no caminho certo: a Intel lançou os chips Core Ultra 200S sem realmente definir o que é o IBOT ou o que ele faz, o que nos levou a sentar virtualmente com os executivos da Intel e perguntar sobre isso. Infelizmente, tivemos essa conversa antes do Primate Labs emitir esta declaração. Entramos em contato com a Intel para comentar e relataremos o que foi dito. Como indicou o Primate Labs, esperamos que esta seja apenas uma falha de comunicação temporária.

Comparar um jogo, no entanto, deve ser um pouco mais simples. Nossos testes de revisão do Core Ultra 200S Plus registraram pontuações com IBOT ativado e desativado para o pequeno número de jogos suportados pela tecnologia IBOT, e você deverá ver os mesmos resultados. Mas para o pequeno número de benchmarks sintéticos que poderão beneficiar do IBOT, é possível que, por enquanto, alguns resultados permaneçam em dúvida.

Ainda assim, a história do Core Ultra 200S permanece relativamente inalterada: é um pouco melhor que o Arrow Lake original, ainda atrás dos chips Ryzen 9000X3D da AMD, mas significativamente mais barato.