Um colapso na governança da IA na Deloitte Australia forçou a gigante da consultoria a reembolsar parte de um contrato governamental de US $ 440.000 em US $ 440.000 (US $ 290.000), após as fabricação gerada por IA foram incluídas em um relatório final, a exposição de vulnerabilidades que os analistas disseram ser sintomáticos de desafios mais amplos, pois a empresa aumentou a escala rápida da AI adotiva.
A Deloitte usou o OpenAI GPT-4O para ajudar a produzir uma revisão independente de 237 páginas para o Departamento de Emprego e Relações no Local de Trabalho da Austrália (DEWR), mas não detectou citações acadêmicas fabricadas e referências judiciais inexistentes antes do parto. A empresa também não divulgou seu uso de IA até que os erros fossem descobertos.
O governo australiano disse à Computerworld que a Deloitte “confirmou algumas notas de rodapé e as referências estavam incorretas” e concordou em pagar a parcela final sob seu contrato. A secretária forneceu uma atualização, observando que uma versão correta da declaração de garantia e relatório final foi divulgada.
“O valor do reembolso será divulgado quando o aviso do contrato for atualizado sobre o Austender”, disse um porta -voz da Dewr.
“É sintomático de desafios mais amplos, pois as empresas escalam IA sem governança madura”, disse Charlie Dai, vice -presidente e analista principal da Forrester. “A adoção rápida geralmente supera os controles e torna incidentes semelhantes provavelmente em domínios regulamentados e regulados.”
Apesar dos erros, “a substância da revisão independente é mantida e não há alterações nas recomendações”, acrescentou o porta -voz do Dewl.
Detecção por meio da experiência do domínio
O Dr. Christopher Rudge, pesquisador da Universidade de Sydney especializado em lei de saúde e bem -estar, descobriu as fabricação ao revisar o relatório. Ele reconheceu os autores citados como colegas que nunca haviam escrito as obras atribuídas.
“Uma das maneiras mais fáceis de dizer era que eu conhecia os autores pessoalmente, e então sabia que eles não haviam escrito os livros aos quais foram atribuídos”, disse Rudge à Computerworld. “Os trabalhos eram quase perfeitamente adaptados e sob medida para o texto, e isso era uma bandeira vermelha”.
Sam Higgins, vice -presidente e analista principal da Forrester, disse que o incidente serviu como “um lembrete oportuno de que a adoção da empresa de IA generativa está superando a maturidade das estruturas de governança projetadas para gerenciar seus riscos”.
“A presença de citações fabricadas e citada incorretamente levanta questões sérias sobre diligência, transparência e prestação de contas no trabalho entregue aos consultores”, disse Higgins.
Responsabilidade compartilhada pelo controle de qualidade
O fornecedor e o cliente compartilham a responsabilidade, argumenta Sanchit Vir Gogia, analista e CEO da Greyhound Research. “Os clientes não podem reivindicar surpresa quando as ferramentas que eles mesmos usam internamente aparecem no fluxo de trabalho de um fornecedor”, disse ele. “Por que essa verificação não foi feita antes do relatório ser público? A responsabilidade funciona nos dois sentidos”.
O relatório revisado, publicado na sexta -feira passada, incluiu uma divulgação ausente do original, reconhecendo que a Deloitte usou a ferramenta de IA para abordar “lacunas de rastreabilidade e documentação”.
A divulgação geralmente fica lenta porque as empresas enquadram o uso da IA como “ferramentas internas” em vez de materiais para os resultados, criando lacunas de transparência e confiança, disse Dai.
Higgins disse que a divulgação post-hoc prejudicou as próprias orientações do governo australiano que exigem transparência quando a IA é usada na tomada de decisões. “A divulgação post-hoc da Deloitte define um mau precedente para o uso responsável de IA nos compromissos do governo”, disse ele.
O incidente ocorreu quando a Deloitte anunciou uma grande parceria para implantar a IA Claude da Antrópica para seus quase 500.000 funcionários em todo o mundo.
A Deloitte não respondeu imediatamente a um pedido de comentário.
Modernização de contratos de fornecedores
As falhas de divulgação e as falhas de controle de qualidade no caso Deloitte apontam para lacunas fundamentais na maneira como as organizações se contraem com os fornecedores usando ferramentas de IA.
Rudge argumentou que as organizações que implantam as ferramentas de IA podem precisar institucionalizar a revisão de especialistas como um portão de qualidade final obrigatório, mesmo quando a IA promete economia significativa de custos e tempo.
“No final de qualquer projeto assistido pela AA, ou qualquer projeto significativo em que a IA tenha sido dominante a ferramenta de fabricação de conhecimento, empresas ou organizações ainda precisam empregar um revisor humano que é um especialista no assunto na área para verificar os documentos”, disse ele.
Rydge sugeriu que a economia ainda pudesse favorecer a adoção da IA, mesmo com a revisão de especialistas incorporada. “Talvez as coisas sejam tão mais baratas para produzir no mundo do conhecimento que o custo de um especialista no assunto que revise o artigo, o relatório ou o produto só será entendido como um pequeno custo”, disse Rudge. “Mas a verificação dos profissionais ainda deve continuar sendo o padrão -ouro”.
A Gogia disse que a maioria dos acordos atuais ainda assume a autoria somente para o ser humano, mesmo que a automação agora sustente grande parte do trabalho. “Quando algo dá errado, ambos os lados se esforçam para decidir quem carrega a culpa – o consultor, o modelo ou o revisor do cliente que o assinaram”, disse ele.
“Os líderes de tecnologia devem perguntar explicitamente sobre o envolvimento da IA, as etapas de validação e os processos de manipulação de erros”, disse Dai. “Eles também devem buscar clareza sobre revisão humana, verificação de fontes e responsabilidade por precisão factual antes de aceitar entregas”.
Higgins delineou as principais perguntas: “Quais ferramentas generativas de IA estão sendo usadas e para quais partes da entrega? Quais são as salvaguardas para detectar e corrigir alucinações? Existe um processo humano no circuito para validação? Como a proveniência é rastreada?”
Construindo estruturas de governança madura
Além do gerenciamento de fornecedores, os analistas disseram que as organizações precisam de estruturas abrangentes de governança que tratam a IA como um risco sistêmico que requer políticas formais e supervisão multifuncional.
A DAI disse que as equipes de compras e CIOs devem incluir cláusulas que determinam a divulgação da IA, padrões de garantia de qualidade, responsabilidade por erros de IA e direitos de auditoria. “Eles também devem buscar o alinhamento com estruturas como o NIST AI RMF ou ISO/IEC 42001 para gerenciamento de riscos”, disse ele.
Higgins disse que as disposições devem exigir divulgação iniciante, exigir a revisão humana, definir responsabilidade por erros de IA e incluir direitos de auditoria.
“Os líderes de TI devem tratar a IA como um risco sistêmico, não apenas uma ferramenta de produtividade”, disse Dai. “Eles devem implementar a governança da IA do fornecedor, aplicar a divulgação e integrar o controle de qualidade robusto para impedir a reputação e as consequências da conformidade”.
Gogia disse que viu um modelo emergente em que os conselhos de revisão conjuntos incluem representantes de clientes e fornecedores, garantindo que o conteúdo produzido pela AI seja examinado antes do endosso. “É assim que a maturidade se parece – não a ausência de IA, mas a presença de evidências”, disse ele. “A governança na era da IA recompensará a colaboração, não o confronto.”
Fonte: Computer World
