Por muitos meses, a AMD oferece um tratamento especial aos entusiastas que desejam executar o AI Chatbot LLMs em seus PCs: VRAM configurável que melhorou significativamente o desempenho. Agora a Intel pode dizer o mesmo.
Bob Duffy, que supervisiona o aplicativo de playground da AI da Intel para executar a AI Art e os chatbots locais no seu PC, twittou que o mais recente driver ARC da empresa para suas GPUs integradas agora oferece uma “substituição de memória da GPU compartilhada” que oferece a capacidade de ajustar o VRAM do seu PC, desde que você tenha um processador suportado.
Isso é um grande negócio para a IA e até alguns jogos, embora não seja óbvio. Até agora, os laptops com um processador Intel Core dividiram a memória disponível no meio, atribuindo metade ao sistema operacional do PC e metade ao VRAM. Se você possuía um laptop Intel Core com 32 GB de memória, 16 GB seria atribuído a IA e Games. A AMD seguiu uma rota diferente: embora um laptop Ryzen geralmente faça o mesmo por padrão, os usuários poderiam usar o software de adrenalina da AMD ou o BIOS do laptop para ajustar manualmente o VRAM.
No trabalho diário do escritório, a divisão significa pouco. Mas, para um modelo de IA, mais teoricamente o VRAM significa mais desempenho.
Nos meus testes com o Ryzen AI Max da AMD em março, por exemplo, simplesmente realocando 24 GB do ASUS ROG Flow Z13 Gaming Tablet’s Disponle Memory to VRAM aumentou o desempenho em até 64 % em alguns benchmarks de IA. Um teste semelhante com 64 GB de memória dentro da estrutura da estrutura aumentou significativamente o desempenho na AI Art, Chatbots e alguns jogos.
Para um modelo de IA, o VRAM é basicamente a memória do sistema. Mais VRAM significa que você pode executar um chatbot AI maior com um número maior de parâmetros. Em geral, a IA com o maior número de parâmetros oferece as respostas mais perspicazes; Mais VRAM também permite que um número maior de tokens seja processado, tanto como entrada quanto como a resposta que o AI Chatbot fornece. Números maiores são melhores, basicamente.
Colocar o recurso Substituição de memória compartilhada da GPU dentro do pacote de software Intel Graphics significa que você poderá reatribuir a RAM gratuita para servir como VRAM antes de carregar um AI Chatbot. Embora eu não tenha testado o novo software, presumo que o comportamento padrão seja deixar uma quantidade mínima de RAM (8 GB é típica) para o Windows e atribuir o restante ao VRAM. Por enquanto, este é um procedimento manual, embora pareça provável que o Playground AI da Intel e o pacote de software gráfico da Intel funcionem juntos para reatribuir memória quando o último pacote for inicializado. O único problema é que a memória realocada normalmente exige que você reinicie seu PC.
Observe que isso funciona apenas com laptops com uma GPU ARC integrada, não cartões discretos.
Você ainda precisará comprar um laptop com uma quantidade substancial de memória para poder tirar proveito dos novos recursos, e os usuários estão relatando (via Videocardz) que ele só funciona com os processadores Core Ultra Série 2 da Intel, não os chips do “Meteor Lake” dentro da linha Intel Core Ultra 1. No entanto, este é um grande impulso para os laptops Intel que está muito atrasado.
Fonte: PC World
