“A governança clássica foi construída para sistemas de registros e pipelines de análise conhecidos”, disse ele. “Esse mundo acabou. Agora você tem sistemas criando sistemas – novos dados, novos resultados e muito é feito em tempo real.” Nesse ambiente, as auditorias pontuais criam uma falsa confiança. Os controles focados nos resultados não percebem onde reside o risco real.
“Nenhuma violação é necessária para que ocorram danos – sistemas seguros ainda podem ter alucinações, discriminação ou deriva”, disse Butt, enfatizando que as entradas, e não as saídas, são agora a superfície de risco mais negligenciada. Isso inclui prompts, fontes de recuperação, contexto e quaisquer ferramentas que os agentes de IA possam acessar dinamicamente.
O que fazer: Antes de redigir uma política, estabeleça barreiras de proteção. Defina casos de uso proibidos. Restrinja entradas de alto risco. Limite o acesso à ferramenta para agentes. E observe como os sistemas se comportam na prática. A política deve vir depois da experimentação, não antes. Caso contrário, as organizações codificarão suposições que já estão erradas.
Fonte: Computer World
