Leva a mudanças na estratégia de IA
Justin Greis, CEO da empresa de consultoria Acceligence, disse que também espera que este desenvolvimento leve a grandes mudanças na estratégia de IA.
“Posso facilmente imaginar plataformas de governação consumindo esses sinais juntamente com avisos, resultados, informações de identidade, decisões políticas e atividades de ferramentas”, disse ele. “Um futuro plano de controle de IA poderia avaliar continuamente se um agente reconheceu uma tentativa de injeção imediata, entendeu que informações confidenciais estavam envolvidas, detectou objetivos conflitantes ou mostrou evidências de que estava raciocinando em direção a uma ação insegura antes que essa ação fosse executada. Esses sinais tornam-se entradas para a aplicação de políticas, escalonamento humano, registro de auditoria e pontuação de confiança em ambientes de IA corporativos.”
Isto tem implicações práticas para os CIOs de hoje, destacou ele, “porque muda a forma como eles avaliam os fornecedores de IA. Há um ano, as empresas perguntavam principalmente sobre a precisão do modelo, latência, segurança e custo. Cada vez mais, as equipes de compras também perguntarão quanta visibilidade operacional os fornecedores fornecem ao comportamento dos agentes, à qualidade do raciocínio, à conformidade com as políticas, ao monitoramento de segurança e à auditabilidade”.
Fonte: Computer World
