As coisas estão se movendo à velocidade da luz na Terra da Inteligência Artificial.
Na sexta-feira, um desenvolvedor de software chamado Georgi Gerganov criou uma ferramenta chamada “llama.cpp” que pode executar o novo modelo de linguagem grande da classe GPT-3 da Meta, LLaMA, localmente em um laptop Mac.
Logo em seguida, as pessoas descobriram como rodar LLaMA também no Windows. Em seguida, alguém mostrou que podia rodar em um telefone Pixel 6. Em seguida veio um Raspberry Pi (embora muito lentamente).
Se esta tendência continuar, em breve vamos ter algo equivalente ao ChatGPT rodando em nossos smartphones
Desde o lançamento do ChatGPT, algumas pessoas têm sido frustradas pelos limites embutidos do modelo AI que o impedem de discutir tópicos que a OpenAI considera sensíveis.
Assim começou o sonho de um modelo de linguagem de código aberto de grande porte (LLM), que qualquer pessoa poderia operar localmente sem censura e sem pagar taxas API ao OpenAI.
Soluções exigem muito poder de processamento
Existem soluções de código aberto (como o GPT-J), mas elas requerem muita memória RAM e e poder de GPU. Outras alternativas Open Source não poderiam apresentar um desempenho de nível GPT-3 em hardware prontamente disponível ao consumidor.
É ai que entra a LLaMA, uma LLM (Large language models) disponível em tamanhos de parâmetros que variam de 7B a 65B (que é “B” como em “bilhões de parâmetros”, que são números de ponto flutuante armazenados em matrizes que representam o que o modelo “sabe”).
E a LLaMA fez uma afirmação e tanto: que seus modelos de tamanho menor poderiam se igualar ao GPT-3 da OpenAI, o modelo fundacional que alimenta o ChatGPT, na qualidade e velocidade de sua produção.
Havia apenas um problema – a Meta lançou o código aberto LLaMA, mas ele retém os “pesos” (o “conhecimento” treinado armazenado em uma rede neural) apenas para pesquisadores qualificados.
Tudo tem um jeito….
As restrições da Meta à LLaMA não duraram muito, porque em 2 de março, alguém vazou os pesos da LLaMA no BitTorrent.
Desde então, houve uma explosão de desenvolvimento em torno da LLaMA. O pesquisador independente de IA Simon Willison comparou esta situação ao lançamento do Stable Diffusion, um modelo de síntese de imagem de código aberto que foi lançado em agosto passado. Aqui está o que ele escreveu em um post em seu blog:
“Parece-me que aquele momento do Stable Diffusion em agosto deu início a toda a nova onda de interesse em IA generativa – que então alcançou sucesso ainda maior pelo lançamento do ChatGPT no final de novembro.
Esse momento Stable Diffusion está acontecendo novamente agora mesmo, para modelos de linguagem de grande porte – a tecnologia por trás do próprio ChatGPT.
Porque isto é importante
Normalmente, rodar o GPT-3 requer várias GPUs de classe A100 (também, os pesos para GPT-3 não são públicos), mas a LLaMA está dando o que falar porque poderia rodar em uma única GPU .
Mas por enquanto é tudo um grande exercício técnico, mas um bem significativo, podemos arriscar prever que daqui a um ano é bem plausível que tenhamos algo a nível de consumidor, o que seria uma grande ameaça ao modelo de negócios da OpenAI, que hoje cobra mais de R$100 reais mensais por acesso prioritário ao seu sistema.
De qualquer forma agora é esperar, vamos acompanhar de perto o desenvolvimento destas alternativas para uso portátil por assim dizer.
E para quem quer se aventurar, no blog do Simon tem instruções de como rodar o modelo.
