Greis argumentou que não só seria difícil persuadir os fornecedores de IA a aceitarem o preço do ROI, mas também que, se de alguma forma concordassem, os resultados não intencionais poderiam ser desastrosos.
“Os fornecedores de IA não podem, de forma realista, absorver riscos de negócios ilimitados vinculados a variáveis que eles não controlam — má adoção interna, processos interrompidos, dados ruins, políticas organizacionais, gerenciamento de mudanças fraco ou KPIs pouco claros. Mas no momento em que os fornecedores são compensados principalmente com base nos resultados, você cria fortes incentivos para um comportamento de otimização cada vez mais autônomo. Isso parece ótimo até que as organizações percebam que os sistemas de IA podem buscar a métrica em vez da intenção por trás da métrica”, disse Greis.
“Já vimos versões disso em mecanismos de recomendação, sistemas de segmentação de anúncios e algoritmos de engajamento. O sistema aprende a maximizar o resultado mensurável mesmo que os métodos se tornem operacionalmente arriscados, eticamente questionáveis, prejudiciais à reputação ou estrategicamente desalinhados. Em ambientes empresariais, isso pode se tornar perigoso muito rapidamente. Um sistema de IA incentivado para reduzir custos de serviço pode desviar agressivamente problemas legítimos de clientes. Um modelo recompensado pela conversão de vendas pode enviar mensagens manipulativas ou otimizar para ganhos de curto prazo às custas de a confiança do cliente. Um mecanismo de otimização de compras pode reduzir custos e, ao mesmo tempo, aumentar silenciosamente o risco de concentração de fornecedores ou degradar a resiliência operacional.
Fonte: Computer World
