Como executar um AI semelhante ao ChatGPT em seu próprio PC

Você pode executar uma IA semelhante ao ChatGPT em seu próprio PC com o Alpaca, um chatbot criado por pesquisadores de Stanford. É compatível com Windows, macOS e Linux. Você só precisa de pelo menos 8 GB de RAM e cerca de 30 GB de espaço de armazenamento gratuito.

Os chatbots estão na moda agora e todo mundo quer uma parte da ação. O Google tem o Bard, a Microsoft tem o Bing Chat e o ChatGPT da OpenAI é praticamente sinônimo de IA no momento. Mas e se você não quiser contar com um serviço de nuvem para o seu chatbot? Temos um AI semelhante ao ChatGPT que você pode baixar: um Alpaca.

O que são alpacas?

Alpaca é um modelo de linguagem (um chatbot, basicamente), muito semelhante ao ChatGPT. Ele é capaz de responder a perguntas, raciocinar, contar piadas e praticamente qualquer outra coisa que esperamos dos chatbots. A Alpaca foi criada por pesquisadores de Stanford que aperfeiçoaram o LLaMA do Facebook.

Ao contrário do ChatGPT e da maioria dos outros chatbots disponíveis hoje, o Alpaca é executado inteiramente em seu próprio PC. Isso significa que ninguém pode escutar suas conversas ou o que você pede para o Alpaca fazer, e suas trocas também não podem vazar acidentalmente. Isso também significa que você não precisa pagar nenhuma mensalidade, pode treinar ainda mais o modelo para atender melhor às suas necessidades se tiver o hardware e pode integrá-lo a qualquer aplicativo que desejar. Você está limitado apenas pelo seu hardware e suas habilidades de programação.

No entanto, ele também funciona maravilhosamente como um antigo chatbot comum com o qual você pode conversar, e mostraremos como executá-lo em praticamente qualquer PC.

Como o Alpaca se compara ao ChatGPT?

Vamos deixar claro desde o início: o ChatGPT 4 é mais inteligente e rápido que o Alpaca no momento.

A velocidade do Alpaca é limitada principalmente pelo computador em que é executado: se você tiver um PC para jogos extremamente rápido com uma tonelada de núcleos e muita RAM, obterá um bom desempenho dele. PCs mais lentos com menos núcleos levarão mais tempo para gerar respostas. Claro, não é exatamente justo ou razoável compará-lo com o ChatGPT a esse respeito: não sabemos em que tipo de computador o ChatGPT está sendo executado, mas certamente é mais robusto do que um PC de mesa comum.

Existem três variantes principais do Alpaca atualmente, 7B, 13B e 30B. De um modo geral, quanto maior o número, mais inteligente será o chatbot.

Alpaca, especialmente o modelo 7B, é visivelmente “mais burro” que o ChatGPT. Você não raciocina tão bem e certamente não passará no teste de Turing. No entanto, o 7B ainda é ótimo se você quiser uma sugestão de receita.

Os modelos 13B e 30B são outra história. 13B é capaz de uma conversa coerente e humana e pode responder a perguntas complexas. 30B é ainda mais impressionante, se você tiver o hardware para executá-lo e estiver a uma curta distância do ChatGPT. Ele vai ficar filosófico ou contar uma piada sem perder o ritmo, se solicitado.

O que você precisa para executar alpacas?

Alpaca tem requisitos de sistema bastante flexíveis. Essas diretrizes estão acima do mínimo, mas são boas diretrizes. Também vamos instalá-lo no Windows. Se você estiver instalando em um sistema executando Linux ou macOS, basta pular a seção Windows Subsystem for Linux; não é relevante para você.

• 16 GB RAM
• 35 GB de armazenamento em um SSD se você quiser todos os três modelos.
  • 4 GB para o modelo 7B, 8 GB para o modelo 13B e 20 GB para o modelo 30B
  • 500 MB para Ubuntu padrão com WSL2
  • Mais alguns GB entre outras dependências
• Uma CPU moderna é ideal
  • Qualquer CPU Ryzen
  • Processador Intel de 7ª geração ou mais recente
• Subsistema do Windows para Linux 2 (WSL2)
• git
• estivadores
• Um projeto comunitário, Serge, que dá ao Alpaca uma interface web agradável

Avisos: Atualmente, não há motivos para suspeitar que esse projeto em particular tenha grandes falhas de segurança ou seja malicioso. Nós revisamos o código e rodamos o software nós mesmos e não encontramos nada preocupante. Isso não significa que é ou será seguro. Tenha sempre cuidado com o que encontra na Internet e reavalie a segurança periodicamente.

Como executar o Alpaca localmente no seu PC

É importante que você siga estas etapas na ordem em que são dadas. O Docker provavelmente irá quebrar se você não fizer isso, o que exigirá uma reinstalação completa do WSL2 e do Docker.

Instale o subsistema do Windows para Linux 2

O Windows Subsystem for Linux 2 (WSL2) da Microsoft permite que você execute o software Linux no Windows. Tem uma sobrecarga baixa e é realmente útil em muitos casos. O Docker para Windows é baseado no WSL2, então precisamos instalar o WSL2 primeiro.

Observação: Se você já tiver o WSL2 instalado, basta executar wsl –update no PowerShell para garantir que tudo esteja atualizado.

Abra uma janela do PowerShell como administrador e digite o comando:

wsl --install

Vai demorar um pouco para baixar todos os arquivos WSL2 e Ubuntu. Você precisa reiniciar o seu PC após a conclusão da instalação.

Quando a reinicialização estiver concluída, abra o PowerShell novamente (não necessariamente como administrador) e execute:

wsl -l -v 

Você deve ver algo como a imagem abaixo se tudo funcionou corretamente. Você também não precisa instalar o Ubuntu em particular. Você pode instalar qualquer distro que desejar, o Ubuntu é apenas o padrão.

Instalar janela de encaixe

Docker é um programa que permite executar programas em um “container”. Os contêineres são semelhantes às máquinas virtuais, mas tendem a ter menor sobrecarga e maior desempenho para muitos aplicativos. Serge usa Docker para que a instalação seja muito confortável.

RELACIONADO: O que o docker faz e quando você deve usá-lo?

Primeiro, baixe o instalador do Docker no site do Docker. Se você for executar o Docker no Linux ou macOS, certifique-se de obter o instalador adequado.

Observação: Se você estiver executando um servidor Linux sem periféricos, siga as instruções apropriadas para sua distribuição Linux para executar o Docker.

Execute o instalador e prepare-se para aguardar alguns minutos. O Docker vai demorar um pouco e configurar um monte de coisas nos bastidores. Assim que estiver pronto, você vai querer reiniciar o seu PC.

Após a reinicialização, abra o PowerShell e execute wsl -l -v de novo. Desta vez, você também deve ver algumas entradas relacionadas ao Docker.

Instale o GIT no Windows

O último pré-requisito é o Git, que usaremos para baixar (e atualizar) automaticamente o Serge do Github. Não é estritamente necessário, pois você sempre pode baixar o ZIP e extraí-lo manualmente, mas o Git é melhor.

Acesse o site do Git e baixe a versão correta para o seu sistema operacional. Os usuários do Windows precisam apenas executar o executável. Certifique-se de pelo menos olhar para as opções de instalação em vez de apenas clicar rapidamente em todas as opções. Um, mostrado na captura de tela abaixo, é absolutamente crítico.

Depois que o Git terminar de instalar, você estará pronto para instalar o Serge e o Alpaca.

Instalar Serge e Alpaca

Primeiro, verifique se o Docker Desktop está em execução. Em seguida, abra o PowerShell ou o Terminal do Windows com uma janela do PowerShell aberta (não como administrador) e execute o seguinte comando:

git clone https://github.com/nsarrazin/serge.git && cd serge

Isso baixa os arquivos do GitHub para uma pasta no seu PC e, em seguida, altera o diretório ativo para a pasta que foi criada.

O próximo comando que você precisa executar é:

cp .env.sample .env

Essa linha cria uma cópia de .env.sample e nomeia a cópia “.env”. O arquivo contém argumentos relacionados ao local banco de dados que armazena suas conversas e a porta que o servidor web local usa ao se conectar.

Então corra:

docker compose up -d

O Docker comp une vários contêineres diferentes em um pacote organizado. Você pode verificar o arquivo docker-compose.yml na pasta Serge se quiser ver mais especificamente o que está envolvido aqui.

O último comando iniciará um download, e aqui você deve escolher antes de prosseguir. Existem três variantes diferentes que você pode baixar: 7B, 13B e 30B. O 7B é o modelo mais simples e “burro”, enquanto o 30B é o mais sofisticado e inteligente. 13B é o meio termo.

As instalações do Linux (e provavelmente do macOS) poderão funcionar com menos RAM do sistema do que as instalações do Windows: o Windows consome bastante RAM. Você provavelmente deve começar com a variante 7B primeiro, pois é a opção menos exigente. Você sempre pode baixar 13B ou 30B mais tarde, se quiser.

Execute o seguinte comando para baixar o modelo 7B (ou substitua 13B ou 30B).

docker compose exec api python3 /usr/src/app/utils/download.py tokenizer 7B

Esteja preparado para esperar, especialmente se você optar pela variante 30B. O servidor Huggingface parece chegar a cerca de 20 megabytes por segundo, portanto, na melhor das hipóteses, você verá 50 segundos por gigabyte baixado.

Use sarja e alpacas

O Docker e todos os contêineres necessários estão em execução se você seguiu estas instruções; no entanto, você precisará reativá-los se reiniciar o computador. Para fazer isso, basta abrir o Docker Desktop e clicar nos pequenos botões triangulares. Os ícones à esquerda da coluna “Nome” ficam verdes quando os contêineres estão em execução.

Tudo está instalado e pronto para ir neste momento. Basta abrir seu navegador e digitar “localhost:8008” na barra de endereço, como faria para visitar o Facebook ou qualquer outro site.

Observação: Se você hospedar Alpaca/Serge em outro computador, precisará inserir o endereço IP local desse dispositivo em vez de localhost.

A tela principal mostra suas conversas anteriores à esquerda e as configurações para um novo chat no meio.

Há um bom número de configurações disponíveis, mas há cinco às quais você realmente deve prestar atenção:

• temperaturas – Determina a liberdade com que a IA responde. Números mais baixos resultam em respostas mais rígidas, enquanto números mais altos são mais criativos.
• Comprimento máximo do texto gerado em tokens – Quanto tempo as respostas que o bot escreve podem durar.
• escolha do modelo – Escolha entre 7B, 13B, 30B e qualquer outro modelo que você instalar.
• n_threads – O número de threads que o Serge/Alpaca pode usar em sua CPU. Alocar mais melhorará o desempenho
• aviso prévio para iniciar uma conversa – Forneça contexto antes que a conversa comece para distorcer como o chatbot responde.

Nesse caso, aumentamos a temperatura e os fios, selecionamos o modelo 13B e dissemos ao chatbot que é um pirata.

Aqui está uma amostra de como foi a conversa.

Você pode falar sobre o que quiser com a Alpaca e não precisa se preocupar com o que está acontecendo com o seu encontro. Ele permanece no seu dispositivo, sob seu controle o tempo todo.

Lembre-se, ChatGPT, Alpaca e outros chatbots parecem confiáveis, mas não são no momento. Eles incorporam muito bem o sentimento: “Se você não pode deslumbrá-los com brilhantismo, confunda-os com BS.” Sua tendência de inventar coisas foi chamada de “alucinação”. Não conte com eles para nada essencial, especialmente algo crítico para seu trabalho ou sua saúde. Eles devem ser usados ​​apenas para entretenimento ou fins experimentais neste momento.

A tecnologia só vai melhorar com o tempo – não demorará muito para vermos o Alpaca (ou outra IA executada localmente) integrada aos servidores Discord, mods do Minecraft e vários outros aplicativos criativos. Melhorias adicionais também resultarão em modelos mais rápidos e precisos que podem ser executados em hardware mais fraco.