O modelo menor e mais rápido de O4-mini foi pior, alucinando 41% do tempo no Pessoqa e 79% no SimpleQa. O modelo GPT-4.5 mais recente, lançado em fevereiro, teve um desempenho melhor, com uma taxa de alucinação de 37,1% no SimpleQA. O OpenAI publica os resultados mais recentes desses e de outros testes em seu hub de avaliações de segurança.
“O aumento das alucinações, com modelos de raciocínio, pode muito bem ser devido ao pensamento excessivo da IA”, disse Brandon Purcell, vice -presidente e analista principal da Forrester Research.
Os dados de pesquisa da Forrester se alinham a outro escrutínio à confiança da IA: mais da metade dos líderes empresariais se preocupa com a IA generativa, diminuindo a adoção e limitando seu valor, de acordo com a empresa de pesquisa. Para fechar essa lacuna de confiança, as empresas devem exigir transparência, investir em IA explicável e rastreável e monitorar o desempenho em tempo real, disse Purcell.
Fonte: Computer World
