À medida que as empresas passam do teste de ferramentas e modelos de IA generativos em uso do mundo real-também conhecido como inferência-estão tendo problemas para prever o que esse uso levará em termos de custos em nuvem, de acordo com um novo relatório da empresa de analistas Canalys.
“Ao contrário do treinamento, que é um investimento único, a inferência representa um custo operacional recorrente, tornando-o uma restrição crucial no caminho da comercialização da IA”, disse Rachel Brindley, diretora sênior da Canalys. “À medida que a IA passa da pesquisa para a implantação em larga escala, as empresas estão cada vez mais focadas na relação custo-benefício na inferência, comparando modelos, plataformas em nuvem e arquiteturas de hardware, como GPUs versus aceleradores personalizados”.
De acordo com o pesquisador da Canalys, Yi Zhang, muitos serviços de IA dependem de modelos de preços baseados em uso que cobram por token ou chamada de API; Isso dificulta a previsão de custos ao aumentar o uso.
Fonte: Computer World
