9 Melhores LLMs Locais/Offline que Você Pode Experimentar Agora Mesmo

Com LLMs quânticos agora disponíveis no HuggingFace e ecossistemas de IA como H20, Text Gen e GPT4All permitindo que você carregue pesos de LLM no seu computador, agora você tem uma opção de IA gratuita, flexível e segura. Aqui estão os 9 melhores LLMs locais/offline que você pode experimentar agora mesmo!

Índice

• 1. Hermes 2 Pro GPTQ
• 2. Zephyr 7B Beta
• 3. Falcon Instruir GPTQ
• 4. GPT4ALL-J Groovy
• 5. Instrutor do DeepSeek Coder V2
• 6. Mixtral-8x7B
• 7. Wizard Vicuna sem censura-GPTQ
• 8. Orca Mini-GPTQ
• 9. Llama 2 13B Chat GPTQ

1. Hermes 2 Pro GPTQ

Hermes 2 Pro é um modelo de linguagem avançado aprimorado pela Nous Research. Ele usa uma versão atualizada e simplificada do conjunto de dados OpenHermes 2.5, juntamente com os novos conjuntos de dados Function Calling e JSON desenvolvidos pela própria empresa. Este modelo é baseado na arquitetura Mistral 7B e foi treinado em 1.000.000 de instruções/conversas de qualidade GPT-4 ou melhor, principalmente dados sintéticos.

O Hermes 2 Pro no Mistral 7B é o novo modelo principal do Hermes 7B, oferecendo desempenho aprimorado em uma variedade de benchmarks, incluindo AGIEval, BigBench Reasoning, GPT4All e TruthfulQA. Seus recursos avançados o tornam adequado para muitas tarefas de processamento de linguagem natural (PLN), como geração de código, criação de conteúdo e aplicativos de IA conversacional.

2. Zephyr 7B Beta

Zephyr é uma série de modelos de linguagem treinados para atuar como assistentes úteis. Zephyr-7B-Beta é o segundo modelo da série, refinado a partir do Mistral-7B-v0.1 usando Otimização de Preferência Direta (DPO) em uma mistura de conjuntos de dados sintéticos disponíveis publicamente.

Ao eliminar o alinhamento interno de conjuntos de dados de treinamento, o Zephyr-7B-Beta demonstra desempenho aprimorado em benchmarks como o MT-Bench, aumentando sua utilidade em uma variedade de tarefas. No entanto, esse ajuste pode levar à geração problemática de texto quando solicitado de determinadas maneiras.

3. Falcon Instruir GPTQ

Esta versão quantizada do Falcon é baseada em uma arquitetura somente decodificadora refinada no modelo bruto Falcon-7b do TII. O modelo base do Falcon é treinado usando 1,5 trilhão de tokens pendentes provenientes da Internet pública. Como um modelo somente de decodificador baseado em comando licenciado pelo Apache 2, o Falcon Instruct é perfeito para pequenas empresas que buscam um modelo para usar em tradução de idiomas e ingestão de dados.

Entretanto, esta versão do Falcon não é ideal para ajustes finos e serve apenas para inferência. Se quiser ajustar o Falcon, você terá que usar o modelo bruto, o que pode exigir acesso a hardware de treinamento de nível empresarial, como NVIDIA DGX ou AMD Instinct AI Accelerators.

4. GPT4ALL-J Groovy

GPT4All-J Groovy é um modelo somente decodificador ajustado pela Nomic AI e licenciado sob Apache 2.0. O GPT4ALL-J Groovy é baseado no modelo original GPT-J, que é conhecido por ser ótimo em gerar texto a partir de prompts. GPT4ALL -J Groovy foi ajustado para um modelo de conversação, o que é ótimo para aplicações de geração de texto rápidas e criativas. Isso torna o GPT4All-J Groovy ideal para criadores de conteúdo, auxiliando-os na escrita e composição de poesias, músicas ou histórias.

Infelizmente, o modelo GPT-J de base foi treinado em um conjunto de dados somente em inglês, o que significa que mesmo esse modelo GPT4ALL-J ajustado só consegue conversar e executar aplicações de geração de texto em inglês.

5. Instrutor do DeepSeek Coder V2

O DeepSeek Coder V2 é um modelo de linguagem avançado que aprimora a programação e o raciocínio matemático. O DeepSeek Coder V2 suporta diversas linguagens de programação e oferece comprimento de contexto estendido, tornando-o uma ferramenta versátil para desenvolvedores.

Comparado ao seu antecessor, o DeepSeek Coder V2 mostra melhorias significativas em tarefas relacionadas a código, raciocínio e capacidades gerais. Ele estende o suporte para linguagens de programação de 86 para 338 e estende o comprimento do contexto de 16K para 128K tokens. Em benchmarks, ele supera modelos como GPT-4 Turbo, Claude 3 Opus e Gemini 1.5 Pro em benchmarks criptográficos e matemáticos.

6. Mixtral-8x7B

Mixtral-8x7B é uma mistura de modelos especialistas (MoE) desenvolvida pela Mistral AI. Possui 8 especialistas por MLP, totalizando 45 bilhões de parâmetros. No entanto, apenas dois especialistas são ativados por token durante a inferência, tornando-a computacionalmente eficiente, com velocidade e custo comparáveis ​​a um modelo de 12 bilhões de parâmetros.

O Mixtral suporta um comprimento de contexto de 32 mil tokens e supera o Llama 2 em 70 bilhões na maioria dos benchmarks, igualando ou excedendo o desempenho do GPT-3.5. Ele é fluente em vários idiomas, incluindo inglês, francês, alemão, espanhol e italiano, o que o torna uma escolha versátil para uma variedade de tarefas de PNL.

7. Wizard Vicuna sem censura-GPTQ

Wizard-Vicunha GPTQ é a versão quântica do Wizard Vicuna baseada no modelo LlaMA. Diferentemente da maioria dos LLMs lançados ao público, Wizard-Vicunha é um modelo sem censura e com a associação removida. Isso significa que o modelo não tem os mesmos padrões de segurança e éticos que a maioria dos outros modelos.

Embora possa representar um problema para o controle de alinhamento da IA, ter um LLM sem censura também traz o melhor do modelo, permitindo que ele responda sem quaisquer restrições. Isso também permite que os usuários adicionem seu próprio alinhamento personalizado sobre como a IA deve agir ou responder com base em um determinado prompt.

8. Orca Mini-GPTQ

Você quer testar um modelo treinado usando um método de aprendizado exclusivo? Orca Mini é uma implementação não oficial do artigo de pesquisa Orca da Microsoft. Este modelo é treinado usando uma abordagem de aprendizagem professor-aluno, onde o conjunto de dados é preenchido com explicações em vez de apenas avisos e respostas. Em teoria, isso deve tornar o aluno mais inteligente, pois o modelo pode entender o problema em vez de apenas procurar pares de entrada e saída, como funciona o LLM convencional.

9. Llama 2 13B Chat GPTQ

O Llama 2 é o sucessor do Llama LLM original, oferecendo melhor desempenho e versatilidade. A variante 13B Chat GPTQ é ajustada para aplicativos de IA de conversação otimizados para diálogos em inglês.

Alguns dos modelos listados acima vêm em diversas versões em termos de especificações. Em geral, versões com especificações mais altas produzem resultados melhores, mas exigem hardware mais potente, enquanto versões com especificações mais baixas produzem resultados de menor qualidade, mas podem ser executadas em hardware de baixo custo. Se você não tiver certeza se seu PC pode executar este modelo, tente primeiro uma versão com especificações mais baixas e depois continue até sentir que a queda de desempenho não é mais aceitável.