Uma vez que você se familiarizou com o ChatGPT, provavelmente tenha notado sua capacidade impressionante em gerar respostas detalhadas e coerentes. Mas, você poderá estar procurando algo mais flexível e escalável para atender às suas necessidades específicas de modelagem de linguagem. Aqui entra o Ollama! Este é um modelo aberto de linguagem altamente escalável, desenvolvido por uma comunidade global de cientistas da computação e pesquisadores em inteligência artificial.
Antes de começar, vamos configurar um ambiente adequado para rodar o Ollama no seu computador. Nós iremos utilizar uma distribuição Linux dentro do Windows (WSL), que fornece uma camada de compatibilidade com Linux diretamente no seu sistema operacional.
Requisitos:
- Sistema Operacional Windows 11
- Placa de Video Geforce (de preferência 1660Ti 6GB (mobile) para cima, ideal 3060 12GB desktop)
Instalação do WSL no Windows 11
Para instalar o WSL e Ubuntu, siga estas etapas em um prompt elevado (Vá até o menu iniciar e digite CMD, executar como administrador
wsl --installVocê pode acessar sua instância do WSL em um nova janela com:
wsl -d UbuntuInstalação do Ollama
Agora, é hora de instalar o Ollama em seu computador! Vamos utilizar as seguintes etapas para fazer isso:
curl -fsSL https://ollama.com/install.sh | shComo utilizar o Ollama em modo texto
Após ter instalado o Ollama, é fácil começar a utilizar ele em sua aplicação. Você pode gerar respostas utilizando comandos simples como:
ollama -q "Qual é a capital da França?"Você também pode personalizar o Ollama para atender às suas necessidades específicas. Por exemplo, você pode treinar o modelo com dados específicos de sua área ou indústria, para que ele gere respostas mais relevantes e precisas.
Interface WEB
Primeiramente, vamos instalar o Docker em sua máquina Ubuntu. Segue abaixo as etapas para realizar a instalação:
- Adicione a chave GPG oficial do Docker:
sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc- Adicione o repositório ao Apt sources:
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update- Instale o Docker:
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-pluginApós a instalação do Docker, podemos executar um container webui do Open WebUI:
docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:mainAgora você tem o Open WebUI funcionando em um container do Docker na sua máquina Ubuntu, para acessar basta colocar o endereço http://localhost:8080/ na barra de endereços do seu navegador, sempre que for usar o Ollama você precisar iniciar o Ubuntu antes.
Abaixo você confere a velocidade de geração de texto usando uma RTX 3060 de 12GB de VRAM
Performance GPU
Para monitorar a performance da GPU no Linux, siga estas etapas:
watch -n 0.5 nvidia-smiEssa linha de comando utiliza o watch para atualizar as informações do NVIDIA-SMI a cada meio segundo, permitindo-o monitorar a utilização da GPU ao longo do tempo.
Como ativar e desativar o Ollama
Depois de feita a instalação do WSL e Ollama esta é a sequência para utilizar o sistema
1- Abrir prompt de comando elevado
2- Digitar o comando wsl -d Ubuntu para inicializar o sistema
3- Para sair basta digitar “exit” , voltando assim ao prompt do Windows
4- Em seguida digitar wsl –shutdown, isto irá desligar todas as máquinas virtuais do wsl, como você só vai ter o Ubuntu rodando, então ele será desativado
Vantagens do Ollama em relação ao ChatGPT
- Código Aberto: o Ollama é um modelo aberto, isso significa que qualquer pessoa pode contribuir com dados ou código para melhorar o modelo. Isso torna o Ollama mais flexível e escalável do que outros modelos de linguagem.
- Flexibilidade: o Ollama oferece vários modelos diferentes, cada um especializado em tarefas específicas. Você pode utilizar o modelo mais adequado para sua aplicação, permitindo que você obtenha melhores resultados.
- Escalabilidade: o Ollama foi projetado para escalar horizontalmente em vários nós de computador, isso significa que ele pode gerar respostas mais rápidas e precisas do que outros modelos de linguagem.
- Comunidade: o Ollama é desenvolvido por uma comunidade global de cientistas da computação e pesquisadores em inteligência artificial, isso significa que você tem acesso a uma ampla gama de recursos e suporte para aprender a utilizar o modelo.
Como vocês podem ver a instalação é realmente simples, não tem mistério e é uma forma de ter algo independente, mesmo sem internet, você ainda vai ser um LLM a sua disposição, além de questão da privacidade e garantia que só você tem acesso as perguntas e conteúdo gerado.
Em breve teremos um curso/tutorial mais abrangente, onde iremos explicar várias funções avançadas do Ollama.
