É o novo MU da Microsoft para você?

A Microsoft anunciou nesta semana um novo sistema de IA generativo (Genai) chamado MU, e é um verdadeiro vislumbre do futuro de como usaremos tudo, de PCs a torradeiras.

A MU permite que as pessoas controlem seus computadores usando linguagem simples. Por exemplo, você pode digitar ou dizer: “Ligue o modo escuro” ou “Torne o ponteiro do meu mouse maior”, e o computador o fará. O primeiro lugar que MU aparece está no aplicativo Windows 11 Settings. Você diz ou digita como deseja uma configuração específica para alterar, e a ferramenta Genai descobre o que você deseja e faz a alteração para você.

Fundamentalmente, este não é um modelo de idioma grande (LLM) em execução na nuvem. O MU é um modelo de idioma pequeno (SLM) com 330 milhões de parâmetros comparativamente insignificantes, construído para ser executado em um chip AI especializado chamado unidade de processamento neural, ou NPU. (Este chip é encontrado nos mais recentes PCs Copilot+ da Microsoft, Dell, HP, Lenovo, Samsung e Acer. Esses novos PCs começaram a enviar em junho de 2024 e são os únicos computadores que podem usar o MU e outros recursos avançados de IA no Windows 11.)

Não é um chatbot baseado em LLM que vive na nuvem. É um SLM que funciona inteiramente no PC, mesmo quando desconectado da Internet.

A Microsoft Copilot+ PCs pode executar o MU porque possui uma NPU que pode lidar com pelo menos 40 trilhões de operações por segundo. A Microsoft colaborou com a Qualcomm, AMD e a Intel para garantir que o MU funcione sem problemas em suas NPUs, que agora são padrão em todos os PCs copilot+.

O MU usa um design do codificador do codificador de transformador, o que significa que divide o trabalho em duas partes. O codificador pega suas palavras e as transforma em uma forma compactada. O decodificador assume esse formulário e produz o comando ou resposta correta.

Esse design é mais eficiente que os modelos mais antigos, especialmente para tarefas como alterações de configurações. O MU possui 32 camadas do codificador e 12 camadas de decodificadores, uma configuração escolhida para ajustar os limites de memória e velocidade da NPU. O modelo utiliza incorporações posicionais rotativas para manter a ordem das palavras, a normalização da camada dupla para manter a estabilidade e a atenção da margem agrupada para usar a memória com mais eficiência. Essas opções técnicas permitem que a MU processe mais de 100 tokens por segundo e responda em menos de 500 milissegundos.

Comparado com chatbots baseados em LLM como o ChatGPT do OpenAI, o MU é super rápido.

A Microsoft treinou MU em 3,6 milhões de exemplos focados nas configurações do Windows e nas tarefas relacionadas. O treinamento aconteceu no Azure usando as GPUs da NVIDIA A100. Após o treinamento, o Microsoft ajustou o MU e usou a quantização para reduzir suas necessidades de memória, para que funcionasse bem nas NPUs dos três fabricantes de chips. Como resultado, o MU tem cerca de um décimo do tamanho do modelo PHI-3.5-mini da Microsoft, mas funciona quase tão bem para as tarefas que foi criado para realizar.

O MU é realmente inovador porque é o primeiro SLM construído para permitir que os usuários controlem as configurações do sistema usando a linguagem natural, executando inteiramente em um dispositivo de remessa convencional. Os iPhones, iPads e Macs da Apple têm uma NPU de motores neurais e executa a IA no dispositivo para recursos como Siri e Apple Intelligence. Mas a Apple não possui um pequeno modelo de idioma tão integrado às configurações do sistema como MU. A Siri e a Apple Intelligence podem alterar algumas configurações, mas não com o mesmo intervalo ou flexibilidade.

O Galaxy S25 da Samsung e outros telefones recentes possuem uma NPU e Galaxy AI personalizadas, que podem executar várias tarefas de controle de dispositivos e assistente pessoal. No entanto, eles também não têm um SLM para o controle abrangente de configurações do sistema.

Os dispositivos ChromeBook Plus do Google têm uma IA da NPU e suporte no dispositivo, mas não usa um SLM para configurações do sistema da maneira que o MU.

Ao processar dados diretamente no dispositivo, o MU mantém as informações pessoais privadas e responde instantaneamente. Essa mudança também facilita o cumprimento das leis de privacidade em lugares como a Europa e os EUA, pois nenhum dados sai do seu computador.

A indústria está se movendo nessa direção por razões óbvias. O SLMS agora é poderoso o suficiente para lidar com tarefas focadas em pé de igualdade com modelos maiores baseados em nuvem. Eles são mais baratos para correr, usar menos energia e podem ser adaptados para trabalhos ou idiomas específicos.

Observe que as NPUs não são raras. Atualmente, eles estão disponíveis em novos telefones, tablets e até eletrodomésticos. Esses chips foram projetados para executar redes neurais com eficiência e com baixa potência, possibilitando oferecer recursos inteligentes que funcionam em qualquer lugar, mesmo sem uma conexão confiável na Internet.

Mais importante ainda, os SLMs que funcionam nas NPUs são um BFD – não apenas para PCs, telefones e tablets, mas para tudo. À medida que a potência e os recursos aumentam e os custos diminuem, podemos esperar painéis de carro, termostatos, máquinas de lavar, tratores e tudo mais (incluindo torradeiras) para evitar menus aninhados para controle do usuário em favor de configurações controladas por voz.

Você entrará na cozinha e diz à torradeira para brindar levemente seu bagel em cerca de 20 minutos antes de dizer à cafeteira para torná -lo um branco liso. Após o café da manhã, você entrará no seu escritório em casa e controlará remotamente todos os tipos de dispositivos de IoT e outros objetos conversando com um SLM dedicado a cada dispositivo.

Observe que esses SLMs para controle de dispositivos também funcionarão diretamente com o LLMS para obter informações e outras ações, como escrever código, criar sites e aplicativos e facilitar todas as suas comunicações comerciais. Esse SLM com quem você estará conversando viverá principalmente e executará localmente em seus óculos inteligentes.

Você pode nunca possuir ou usar um copilot+ pc. Mas você definitivamente usará algo como MU todos os dias para a maior parte da sua vida profissional e pessoal em muitos dispositivos. É um verdadeiro vislumbre do futuro de como interagimos com máquinas.