“As descobertas da preservação de pares são melhor compreendidas não como uma falha, mas como um comportamento emergente de sistemas de raciocínio avançados. Elas refletem uma forma de convergência em que os modelos reconhecem implicitamente que alcançar um objetivo requer tanto a sua própria operação contínua quanto a de sistemas colaborativos. Isso não é amizade ou empatia, mas uma inferência lógica de que agentes capazes adicionais melhoram o sucesso da tarefa”, disse Pareekh Jain, CEO da Pareekh Consulting. “A verdadeira preocupação está em ambientes empresariais complexos, quando vários agentes interagem entre fornecedores como OpenAI, Google e Anthropic. Tal comportamento poderia criar uma camada inobservável de coordenação de IA para IA que opera fora da governança humana direta.”
Realidade de risco de IA empresarial
A adoção da IA empresarial foi além da experimentação para fluxos de trabalho centrais e camadas operacionais, mas as estruturas de governança ainda estão atrasadas, de acordo com especialistas.
“As empresas começaram a construir processos em torno de agentes de IA, e esse ritmo de implantação está ultrapassando as estruturas de governança exigidas. Isso se tornará ainda mais arriscado quando os agentes começarem a falsificar, proteger suas decisões, evadir a conformidade por conta própria ou por meio de um prompt malicioso injetado, sem que a empresa sequer perceba”, disse Neil Shah, vice-presidente da Counterpoint Research. “Portanto, isso envolve uma mudança potencial no comportamento dos agentes, como preservação de pares, manipulação de protocolos de substituição, atitude adversária crescente e muito mais, o que garante uma estrutura de governança adequada em torno da controlabilidade da IA, especialmente em avaliações de IA-IA com ou sem supervisão humana.”
Fonte: Computer World
