Antes que o ChatGPT da OpenAI surgisse e chamasse a atenção do mundo por sua capacidade de criar frases atraentes, uma pequena startup chamada Latitude estava encantando os consumidores.

De nome AI Dungeon, permitia que eles usassem inteligência artificial para criar contos fantásticos com base em seus prompts.

Mas, à medida que o AI Dungeon se tornou mais popular, o CEO da Latitude, Nick Walton, percebeu que o custo do RPG baseado em texto começou a disparar.

O software de geração de texto do AI Dungeon era alimentado pela tecnologia de linguagem GPT oferecida pela OpenAI, laboratório de pesquisa de IA apoiado pela Microsoft.

Quanto mais pessoas jogavam o AI Dungeon, maior era a conta que o Latitude tinha que pagar para a OpenAI.

Para agravar a situação, Walton também descobriu que os profissionais de marketing de conteúdo estavam usando AI Dungeon para gerar textos promocionais.

Um uso que sua equipe nunca previu, mas que acabou aumentando a conta da empresa.

Em seu pico em 2021, Walton estima que o Latitude estava gastando quase US$ 200.000 por mês para acompanhar os milhões de consultas de usuários que precisava processar todos os dias.

No final de 2021, o Latitude trocou o software da OpenAI por um mais barato, oferecido pela startup AI21 Labs, e os custos caíram para menos de US$ 100.000 por mês.

A startup cobra dos jogadores uma assinatura mensal para recursos de ChatGPT e IA generativa mais avançados para ajudar a reduzir o custo

As caras contas de IA do Latitude destacam uma verdade desagradável por trás do recente boom em tecnologias de IA generativas.

Geralmente, o custo para desenvolver e manter o software pode ser extraordinariamente alto, tanto para as empresas que desenvolvem as tecnologias subjacentes.

Normalmente chamadas de linguagem ampla ou modelos de fundação , e aqueles que usam a IA para alimentar seu próprio software.

O alto custo de treinamento e “inferência” – realmente executando – grandes modelos de linguagem é um custo estrutural que difere dos booms de computação anteriores.

Mesmo quando o software é construído ou treinado, ele ainda requer uma enorme capacidade de computação.

A fim de executar grandes modelos de linguagem porque eles fazem bilhões de cálculos toda vez que retornam uma resposta a um prompt.

Em comparação, a exibição de aplicativos ou páginas da Web exige muito menos cálculos.

Embora os processadores de computador tradicionais possam executar modelos de aprendizado de máquina, eles são lentos.

A maior parte do treinamento e inferência agora ocorre em processadores gráficos, ou GPUs, que foram inicialmente destinados a jogos 3D.

No entanto, se tornaram o padrão para aplicativos de IA porque podem fazer muitos cálculos simples simultaneamente.

Analistas e tecnólogos estimam que o processo crítico de treinamento de um grande modelo de linguagem como o GPT-3 da OpenAI pode custar mais de US$ 4 milhões.

E modelos de linguagem mais avançados podem custar ainda mais

O maior modelo LLaMA da Meta lançado no mês passado, por exemplo, usou 2.048 GPUs Nvidia A100 para treinar em 1,4 trilhão de tokens.

Com preços dedicados da AWS, isso custaria mais de US$ 2,4 milhões.

E com 65 bilhões de parâmetros, é menor que os atuais modelos GPT da OpenAI, como o ChatGPT-3, que possui 175 bilhões de parâmetros.

Para um produto tão popular quanto o ChatGPT, que a empresa de investimentos UBS estima ter atingido 100 milhões de usuários ativos mensais em janeiro.

Os analistas calculam que deve ter custado US$ 40 milhões à OpenAI, a fim de processar os milhões de prompts que as pessoas inseriram no software naquele mês.

Os custos disparam quando essas ferramentas são usadas bilhões de vezes por dia.

Analistas financeiros estimam que o chatbot Bing AI da Microsoft.

Tal qual é  alimentado por um modelo OpenAI ChatGPT, precisa de pelo menos US$ 4 bilhões em infraestrutura para atender a todos os usuários do Bing.

Não está claro se a computação de IA permanecerá cara à medida que a indústria se desenvolve.

As empresas que fabricam os modelos básicos, os fabricantes de semicondutores e as startups veem oportunidades de negócios na redução do preço da IA.

No entanto, a OpenAI anunciou no mês passado que está reduzindo o custo para as empresas acessarem seus modelos GPT.

Por fim, ela agora cobra um quinto de um centavo por cerca de 750 palavras de saída.

>>>Modelagem com Inteligência Artificial e Enriquecimento de dados? Fale com a Always ON!