“O Ai Edge, no local, é um segmento carente”, disse Chirag Dekate, vice-presidente do Gartner. “Hoje, a maioria dos genai infra (estrutura) assume a primeira nuvem. Existe uma oportunidade para soluções localizadas, especialmente se a latência, o custo ou a conformidade forem preocupações. Se o tempo de atividade fornece automatizados (aprendizado de máquina), otimização de energia e suporte para os modelos de entrada de três sítios e os membros do setor de entrada de um setor público. anos.”
Wyatt Mayham, consultor de IA líder da Northwest AI Consulting, concordou. “Trabalhamos com clientes que se recusam a colocar dados confidenciais na nuvem, mesmo que seja o Azure + Openai, que nunca toca na teia pública ou treina os modelos”, disse ele. “Os clientes costumam pensar que querem verdadeiros no local, mas na verdade construindo uma configuração no local com GPUs, hospedagem de modelos, orquestração e infraestrutura de pano é caro, de alta manutenção e geralmente muito exagerada pelo que realmente precisa.
“Isso realmente parece um meio termo sólido”, disse Mayham. “Não é a infra da empresa em larga escala, mas oferece às equipes pequenas um caminho para executar localmente os LLMs, permanecer compatíveis e evitar a nuvem”.
Fonte: Computer World
