O DeepSeek bagunçou o mundo da tecnologia esta semana, prometendo performance bem maior a um custo menor do que o ChatGPT e até agora, pelo menos a versão online, parece estar surpreendendo, especialmente pela sua velocidade de resposta.
Mas tanto pelo fato do DeepSeek estar com problemas em processar novos registros, quanto pela questão da privacidade, resolvemos rodar este modelo de linguagem de forma local, utilizando o Ollama para isto.
Para quem não conhece, o Ollama é um modelo aberto de linguagem altamente escalável, desenvolvido por uma comunidade global de cientistas da computação e pesquisadores em inteligência artificial e que iremos posteriormente utilizar para rodar o modelo de linguagem do momento, o DeepSeek.
Antes de começar, vamos configurar um ambiente adequado para rodar o Ollama no seu computador. Nós iremos utilizar uma distribuição Linux dentro do Windows (WSL), que fornece uma camada de compatibilidade com Linux diretamente no seu sistema operacional.
Requisitos:
- Sistema Operacional Windows 11
- Placa de Video Geforce (de preferência 1660Ti 6GB (mobile) para cima, ideal 3060 12GB desktop)
- Mínimo de 16GB de ram, recomendado 32GB
Instalação do WSL no Windows 11
Para instalar o WSL e Ubuntu, siga estas etapas em um prompt elevado (Vá até o menu iniciar e digite CMD, executar como administrador
wsl --installVocê pode acessar sua instância do WSL em um nova janela com:
wsl -d UbuntuInstalação do Ollama
Agora, é hora de instalar o Ollama em seu computador! Vamos utilizar as seguintes etapas para fazer isso:
curl -fsSL https://ollama.com/install.sh | shComo utilizar o Ollama em modo texto
Após ter instalado o Ollama, é fácil começar a utilizar ele em sua aplicação. Você pode gerar respostas utilizando comandos simples como:
ollama -q "Qual é a capital da França?"Você também pode personalizar o Ollama para atender às suas necessidades específicas. Por exemplo, você pode treinar o modelo com dados específicos de sua área ou indústria, para que ele gere respostas mais relevantes e precisas.
Interface WEB
Primeiramente, vamos instalar o Docker em sua máquina Ubuntu. Segue abaixo as etapas para realizar a instalação:
- Adicione a chave GPG oficial do Docker:
sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc- Adicione o repositório ao Apt sources:
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update- Instale o Docker:
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-pluginApós a instalação do Docker, podemos executar um container webui do Open WebUI:
docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:mainAgora você tem o Open WebUI funcionando em um container do Docker na sua máquina Ubuntu, para acessar basta colocar o endereço http://localhost:8080/ na barra de endereços do seu navegador, sempre que for usar o Ollama você precisar iniciar o Ubuntu antes.
Abaixo você confere a velocidade de geração de texto usando uma RTX 3060 de 12GB de VRAM
Performance GPU
Para monitorar a performance da GPU no Linux, siga estas etapas:
watch -n 0.5 nvidia-smiEssa linha de comando utiliza o watch para atualizar as informações do NVIDIA-SMI a cada meio segundo, permitindo-o monitorar a utilização da GPU ao longo do tempo.
Como Instalar o modelo DeepSeek
Algo realmente interessante quando trabalhamos com o Ollama é a possibilidade de fazer o download de diferentes modelos de linguagem, como o DeepSeek é o modelo que está causando um terremoto no mundo da tecnologia, vamos fazer o download deste e ver sua capacidade em relação aos modelos existentes, lembrando que:
Para modelos de 7B, é recomendável pelo menos 8GB de RAM.
Para modelos de 13B, é recomendável pelo menos 16GB de RAM. (ideal 32GB)
Para modelos de 70B, é recomendável pelo menos 64GB de RAM.
Se você tentar rodar um modelo sem a memória suficiente, você irá receber uma mensagem de erro, removi alguns pentes de memória (ficando com 32GB) para fazer o teste com o modelo de 70B para confirmar e a mensagem abaixo é exibida:
Mas vamos ao que interessa, para baixar o modelo, basta você visitar o site ollama em https://ollama.com/search e buscar modelo “Deepseek” ,
Agora vamos por partes
1- Como no video acima, você pode notar que o campo a direita informa o comando para rodar o modelo, mas nós queremos apenas o nome desta para realizar um “pull” via linha de comando, copie apenas o nome, como por exemplo
deepseek-r1:14b
2- Em seguida volte para a linha de comando do WSL, onde você irá digitar
ollama pull deepseek-r1:14b3- Agora basta aguardar o download, que deve proceder como abaixo com a mensagem de sucesso ao final
4- Voltando a Interface
1- Agora ao abrir a interface web do Ollama, você pode selecionar o modelo desejado na lista ANTES de fazer a pergunta:
E é isso! Vou dizer que em nossos testes ele “viajou” bastante, claro que a versão online tem bem mais instruções, mas comparando com os modelos para uso offline, ele não é nada do outro mundo, mesmo a mesmo com 32B, o ideal seria teste o modelo completo de forma local, mas o hardware para isso ainda está fora de nosso alcance, sem recorrer a um cluster, talvez um projeto para mais adiante.
Agora para quem deseja uma alternativa que não envolva compartilhar dados com empresas estrangeiras ou tenha informação sensível a ser processada por um LLM, o Ollama e seus diversos modelos continua sendo o ideal.
Confiar em uma empresa chinesa, rodando dados importantes, de qualquer natureza, ainda não me parece a coisa mais segura do mundo, não que eu confie lá muito próximo de 100% na OpenAI, mas ainda sim prefiro uma empresa americana com meus dados.
Como ativar e desativar o Ollama
Depois de feita a instalação do WSL e Ollama esta é a sequência para utilizar o sistema
1- Abrir prompt de comando elevado
2- Digitar o comando wsl -d Ubuntu para inicializar o sistema
3- Para sair basta digitar “exit” , voltando assim ao prompt do Windows
4- Em seguida digitar wsl –shutdown, isto irá desligar todas as máquinas virtuais do wsl, como você só vai ter o Ubuntu rodando, então ele será desativado
Vantagens do Ollama em relação ao ChatGPT
- Código Aberto: o Ollama é um modelo aberto, isso significa que qualquer pessoa pode contribuir com dados ou código para melhorar o modelo. Isso torna o Ollama mais flexível e escalável do que outros modelos de linguagem.
- Flexibilidade: o Ollama oferece vários modelos diferentes, cada um especializado em tarefas específicas. Você pode utilizar o modelo mais adequado para sua aplicação, permitindo que você obtenha melhores resultados.
- Escalabilidade: o Ollama foi projetado para escalar horizontalmente em vários nós de computador, isso significa que ele pode gerar respostas mais rápidas e precisas do que outros modelos de linguagem.
- Comunidade: o Ollama é desenvolvido por uma comunidade global de cientistas da computação e pesquisadores em inteligência artificial, isso significa que você tem acesso a uma ampla gama de recursos e suporte para aprender a utilizar o modelo.
Como vocês podem ver a instalação é realmente simples, não tem mistério e é uma forma de ter algo independente, mesmo sem internet, você ainda vai ser um LLM a sua disposição, além de questão da privacidade e garantia que só você tem acesso as perguntas e conteúdo gerado.
Em breve teremos um curso/tutorial mais abrangente, onde iremos explicar várias funções avançadas do Ollama.
