A IA generativa (Genai) representa um dilema clássico de TI. Quando funciona bem, é incrivelmente versátil e útil, alimentando sonhos que pode fazer quase qualquer coisa.
O problema é que, quando não se sai bem, pode oferecer respostas erradas, substituir suas instruções e reforçar praticamente as tramas de todos os filmes de terror de ficção científica já feitos. É por isso que fiquei horrorizado quando o OpenAI no final do mês passado anunciou alterações para facilitar muito o acesso total aos seus modelos Genai a qualquer software usando o Model Context Protocol (MCP).
“Estamos adicionando suporte para servidores MCP remotos na API de respostas, com base no lançamento do suporte ao MCP no SDK dos agentes”, disse a empresa. “O MCP é um protocolo aberto que padroniza como os aplicativos fornecem contexto ao LLMS. Ao suportar servidores MCP na API de respostas, os desenvolvedores poderão conectar nossos modelos às ferramentas hospedadas em qualquer servidor MCP com apenas algumas linhas de código.”
Há um grande número de empresas que disseram publicamente que usarão o MCP, incluindo aqueles com aplicativos populares como PayPal, Stripe, Shopify, Square, Slack, QuickBooks, Salesforce e Googledrive.
A capacidade de um Modelo de Linguagem Genai de grande linguagem (LLM) de coordenar dados e ações com todos esses aplicativos – e muito mais – certamente parece atraente. Mas é perigoso porque permite que o acesso a montanhas de dados relevantes para conformidade altamente sensível-e um movimento equivocado possa prejudicar profundamente os clientes. O MCP também permitiria que as ferramentas da Genai controlassem esses aplicativos, aumentando exponencialmente os riscos.
Se a tecnologia hoje ainda não pode fazer seu trabalho de maneira correta e consistente, que nível de alucinógenos são necessários para justificar a expansão de seu poder para outros aplicativos?
Christofer Hoff, o CTO e o CSO no LastPass, levou ao LinkedIn para atrair o bom senso. (Ok, se alguém queria atrair o bom senso, o LinkedIn provavelmente não é o melhor lugar para começar, mas essa é uma história diferente.)
“Eu amo o entusiasmo”, escreveu Hoff. “Eu acho que a oportunidade de automação de fluxo de trabalho de ponta a ponta com uma interface padronizada é fantástica vs molhando sobre codificar o seu próprio. Captação.
Rex Booth, o CISO da Identity Prondor Sailpoint, disse que as preocupações são justificadas. “Se você estiver conectando seus agentes a um monte de fontes de dados altamente sensíveis, precisa ter fortes salvaguardas”, disse ele.
Mas, como o próprio antrópico observou, os modelos Genai nem sempre obedecem aos seus próprios corrimãos.
O CEO da Querypal, Dev Nag, vê problemas inevitáveis de uso de dados.
“Você precisa especificar quais arquivos (o modelo) tem permissão para olhar e quais arquivos são não Permitido olhar e você deve ser capaz de especificar isso “, disse Nag.” E já sabemos que os LLMs não fazem isso perfeitamente. LLMS alucinando, faça suposições textuais incorretas. ”
Nag argumentou que o risco é – ou pelo menos deveria ser – já conhecido por os tomadores de decisão de TI. “É o mesmo que o risco de API”, disse Nag. “Se você abrir sua API para um fornecedor externo com seu próprio código, ela poderá fazer qualquer coisa. O MCP é apenas APIs em esteróides. Não acho que você queira que a IA olhasse para suas principais finanças e seja capaz de alterar sua contabilidade”.
A melhor defesa é não confiar nos guardrails em ambos os lados da comunicação, mas dar as instruções de exclusão a ambos os lados. Em um exemplo, com o modelo tentando acessar o Google Docs, disse Nag, as instruções duplas são a única abordagem viável.
“Ele deve ser aplicado em ambos os lados, com a camada do Google Doc sendo informada de que não pode aceitar nenhuma ligação do LLM”, disse Nag. “No lado LLM, deve -se dizer ‘OK, minhas intenções são mostrar meus documentos de trabalho, mas não meus documentos financeiros.’”
Conclusão: o conceito de interatividade do MCP é ótimo. A provável realidade de curto prazo? Não tanto.
Fonte: Computer World
