Como instalar e executar o LLM localmente em um telefone Android

Executar modelos de linguagem de grande porte (LLMs) localmente no seu telefone Android significa que você pode acessar esses modelos de IA sem depender de servidores em nuvem ou de uma conexão com a Internet . Essa configuração local garante privacidade, mantendo seus dados seguros e no dispositivo. Com os avanços no hardware móvel, executar modelos de IA localmente se tornou uma realidade. O aplicativo MLC Chat facilita a experiência dessa poderosa tecnologia diretamente no seu telefone.

Este artigo explicará a importância de executar o LLM localmente em telefones Android e fornecerá instruções passo a passo para instalá-los e executá-los usando o aplicativo MLC Chat.

Por que executar o LLM em um telefone Android?

Os LLMs geralmente são executados em servidores em nuvem, pois exigem poder de computação significativo. Embora os telefones Android tenham certas limitações ao executar o LLM, eles também abrem algumas possibilidades interessantes.

  • Privacidade aprimorada : como toda a computação acontece no seu telefone, seus dados permanecem locais, o que é importante para qualquer informação confidencial que você compartilhe.
  • Acesso offline : não é necessária conexão persistente com a Internet para acessar ou interagir com esses modelos. Isso é especialmente útil para usuários em áreas remotas ou com conectividade de internet limitada.
  • Custo-benefício : executar o LLM em servidores em nuvem envolve custos operacionais, como armazenamento em nuvem e poder de processamento. Este método fornece uma solução econômica para os usuários.

Guia passo a passo para instalar e executar o MLC Chat no Android

O aplicativo MLC Chat foi projetado para permitir que os usuários executem e interajam com grandes modelos de linguagem (LLMs) localmente em uma variedade de dispositivos, incluindo celulares, sem depender de serviços baseados em nuvem. Siga as etapas abaixo para executar o LLM localmente no seu dispositivo Android.

Etapa 1: instalar o aplicativo MLC Chat

Primeiro, você precisa baixar o APK do aplicativo MLC Chat (112 MB) no link abaixo.

Arquivo APK do aplicativo MLC Chat

Como instalar e executar o LLM localmente em um telefone Android
Instalar o aplicativo MLC Chat

Após o download do APK, toque no arquivo para iniciar a instalação.

Etapa 2: Baixe o LLM

Após instalar o aplicativo com sucesso, abra-o e você verá uma lista de LLMs disponíveis para download. Estão disponíveis modelos de diferentes tamanhos e capacidades, como o LLama-3.2, Phi-3.5 e Mistral. Selecione o modelo de acordo com suas necessidades e clique no ícone de download ao lado para iniciar o download. Por exemplo, se você estiver usando um telefone de médio porte, como o Redmi Note 10, escolha um modelo leve, como o Qwen-2.5, para um desempenho mais suave.

Como instalar e executar o LLM localmente em um telefone Android
Baixar LLM

Etapa 3: execute o LLM instalado

Depois que o modelo for baixado, um ícone de bate-papo aparecerá ao lado dele. Clique no ícone para iniciar a modelagem.

Como instalar e executar o LLM localmente em um telefone Android
Execute o LLM instalado

Quando o modelo estiver pronto, você pode começar a digitar prompts e interagir com o LLM local.

Como instalar e executar o LLM localmente em um telefone Android

Por exemplo, em um dispositivo como o Redmi Note 10, executar um modelo menor como o Qwen2.5 proporciona uma experiência bastante tranquila, gerando cerca de 1,4 tokens por segundo. Embora esse desempenho seja mais lento do que o de dispositivos de última geração, como o Galaxy S23 Ultra , ele ainda funciona bem para tarefas básicas, como bate-papos curtos e criação de conteúdo simples.

Executar o LLM localmente em dispositivos Android por meio do aplicativo MLC Chat fornece uma maneira acessível e protegida de privacidade para interagir com modelos de IA. O desempenho depende muito do hardware do telefone. Esta solução é ideal para usuários que precisam de acesso offline a modelos de IA, testam LLMs em tempo real ou estão preocupados com privacidade. À medida que o hardware móvel continua a melhorar, os recursos do LLM local só aumentarão, tornando esta uma fronteira interessante para a tecnologia de IA.

Sign up and earn $1000 a day ⋙

Leave a Comment

4 melhores aplicativos de limpeza para Android

4 melhores aplicativos de limpeza para Android

A Quantrimang selecionou uma lista dos melhores aplicativos de limpeza de lixo para Android. Confira abaixo.

Como corrigir fotos desfocadas no Android

Como corrigir fotos desfocadas no Android

Vamos aprender como corrigir (parcialmente) fotos borradas em celulares Android.

6 melhores gerenciadores de arquivos para Android TV

6 melhores gerenciadores de arquivos para Android TV

Todo usuário do Android TV precisa instalar um gerenciador de arquivos por vários motivos.

Como verificar quais aplicativos estão usando mais RAM no Android

Como verificar quais aplicativos estão usando mais RAM no Android

Se um aplicativo “consome” muita memória RAM do dispositivo, ele reduzirá severamente a capacidade multitarefa do sistema, além de causar lentidão, afetando seriamente a experiência.

Como criar seu próprio mascote personalizado para Android

Como criar seu próprio mascote personalizado para Android

Agora você pode criar sua própria versão de um mascote Android chamado The Bot . Ao escolher materiais, roupas, acessórios e adereços, você pode personalizar o The Bot ao seu gosto.

Como usar o FaceTime no Android?

Como usar o FaceTime no Android?

Finalmente, a Apple está permitindo que usuários de dispositivos Android usem o FaceTime.

Divirta-se com estes 6 aplicativos para mudar a voz no Android

Divirta-se com estes 6 aplicativos para mudar a voz no Android

Já quis pregar uma peça nos seus amigos com uma voz engraçada? Graças a alguns aplicativos de smartphone, você não precisa mais de softwares pesados ​​para fazer isso.

Como se proteger dos aplicativos SpyLoan para Android que usam seus dados para chantageá-lo

Como se proteger dos aplicativos SpyLoan para Android que usam seus dados para chantageá-lo

Um caso típico é o aplicativo SpyLoan, que engana os usuários com promessas de empréstimos com juros baixos, mas, em vez disso, coleta dados pessoais e chantageia as vítimas com esses dados.

Como consertar o Android Auto que não funciona

Como consertar o Android Auto que não funciona

No artigo abaixo, a Quantrimang apresentará algumas dicas para corrigir o problema do Android Auto não funcionar, seja no telefone ou na tela do carro.

Instruções para fazer uma captura de tela de rolagem de um dispositivo Android para capturar a página da web inteira

Instruções para fazer uma captura de tela de rolagem de um dispositivo Android para capturar a página da web inteira

Em vez de “bombardear” as mensagens dos seus amigos com dezenas de capturas de tela, você pode fazer uma captura de tela e enviá-la.

Como corrigir erros recentes de travamento de aplicativos no Android

Como corrigir erros recentes de travamento de aplicativos no Android

Os smartphones Android parecem estar apresentando um bug irritante que faz com que os aplicativos do dispositivo travem com frequência.

4 sinais de que aplicativos Android estão rastreando você

4 sinais de que aplicativos Android estão rastreando você

O consumo estranho de bateria ou picos de dados não são necessariamente um bug. Pode ser um aplicativo malicioso que está rastreando secretamente sua localização, hábitos, etc.

6 maneiras de ocultar e restringir aplicativos no Android

6 maneiras de ocultar e restringir aplicativos no Android

É fácil se distrair com tantos aplicativos no seu telefone. A melhor maneira de reduzir o tempo de tela é tirar esses aplicativos da sua vista.

Tencent traz jogos para Android na Microsoft Store Windows 11

Tencent traz jogos para Android na Microsoft Store Windows 11

No início deste ano, a Microsoft anunciou sua decisão de descontinuar o Subsistema Windows para Android, que foi projetado para permitir que aplicativos Android sejam executados nativamente no Windows 11.

Como nunca pagar por jogos e aplicativos no Android

Como nunca pagar por jogos e aplicativos no Android

Quando se trata de fazer compras na Play Store, muitas pessoas não gastam dinheiro de verdade há anos, graças ao Google Opinion Rewards.

Como alterar o navegador e o e-mail padrão no iPhone

Como alterar o navegador e o e-mail padrão no iPhone

Para definir seu aplicativo de navegador preferido como padrão no iOS 14, siga estas etapas. Vá em Ajustes > role para baixo e clique em qualquer navegador que você tenha instalado no seu iPhone, por exemplo, aqui eu escolhi o Chrome.

7 configurações de câmera do iPhone para ajustar e obter vídeos melhores

7 configurações de câmera do iPhone para ajustar e obter vídeos melhores

Embora seu iPhone possa gravar ótimos vídeos imediatamente, você pode obter melhores resultados ajustando algumas configurações da câmera.

4 melhores aplicativos de limpeza para Android

4 melhores aplicativos de limpeza para Android

A Quantrimang selecionou uma lista dos melhores aplicativos de limpeza de lixo para Android. Confira abaixo.

Como limpar o lixo do iPhone, excluir arquivos inúteis para liberar espaço de armazenamento no iPhone

Como limpar o lixo do iPhone, excluir arquivos inúteis para liberar espaço de armazenamento no iPhone

Após um período de uso, você notará que seu iPhone ou iPad está ficando cada vez mais lento e que o espaço livre restante é insuficiente. É hora de limpar seu iPhone ou iPad, excluindo arquivos desnecessários para liberar o espaço ocupado.

Dicas de segurança para iPhone que você não viu

Dicas de segurança para iPhone que você não viu

Existem alguns recursos de segurança do iPhone aos quais não damos atenção e que acabamos ignorando. Abaixo, um resumo dos melhores métodos de segurança do iPhone para você verificar e implementar.

3 aplicativos para ajudar você a aprender a tirar fotos com seu smartphone

3 aplicativos para ajudar você a aprender a tirar fotos com seu smartphone

Esses aplicativos não só ajudam você a melhorar suas habilidades, mas também inspiram você a dar a próxima tacada incrível enquanto pratica.

Como consertar o e-mail do iPhone que não está atualizando

Como consertar o e-mail do iPhone que não está atualizando

Se o seu e-mail do iPhone não estiver atualizando, pode haver uma série de problemas, incluindo configurações de sistema incompatíveis, problemas de software, diferenças nos protocolos de e-mail, etc.

Como inserir emojis em fotos no iPhone de forma extremamente simples

Como inserir emojis em fotos no iPhone de forma extremamente simples

Para poder inserir emojis em fotos no iPhone, precisaremos de alguns pequenos truques, de acordo com as instruções abaixo.

10 maneiras surpreendentes de usar seu telefone Android

10 maneiras surpreendentes de usar seu telefone Android

De carregador sem fio e rastreador de atividades físicas a fita métrica, seu telefone Android tem um número surpreendente de recursos ocultos.

Como desativar o AirDrop no iPhone/iPad e Mac

Como desativar o AirDrop no iPhone/iPad e Mac

Você pode desativar o AirDrop no seu iPhone ou iPad na Central de Controle ou em Ajustes. No Mac, você pode desativar o AirDrop no Centro de Controle, Preferências do Sistema ou Finder.

Imagem em Imagem no iPhone: Como Habilitar e Usar Imagem em Imagem (PIP)

Imagem em Imagem no iPhone: Como Habilitar e Usar Imagem em Imagem (PIP)

Você pode usar o Picture in Picture (PiP) para assistir a vídeos do YouTube fora da tela no iOS 14, mas o YouTube bloqueou esse recurso no aplicativo, então você não pode usar o PiP diretamente. Você precisa adicionar mais alguns pequenos passos que explicaremos em detalhes abaixo.

Como corrigir fotos desfocadas no Android

Como corrigir fotos desfocadas no Android

Vamos aprender como corrigir (parcialmente) fotos borradas em celulares Android.

O Chrome é a razão pela qual a bateria do seu iPhone se esgota tão rapidamente

O Chrome é a razão pela qual a bateria do seu iPhone se esgota tão rapidamente

Algumas pessoas compartilharam dicas para melhorar a duração da bateria desinstalando um único aplicativo: o Chrome. A duração da sua bateria será melhor!

6 melhores gerenciadores de arquivos para Android TV

6 melhores gerenciadores de arquivos para Android TV

Todo usuário do Android TV precisa instalar um gerenciador de arquivos por vários motivos.

Recursos úteis do Galaxy que os usuários do iPhone gostariam de ter

Recursos úteis do Galaxy que os usuários do iPhone gostariam de ter

Capturas de tela são ótimas para salvar informações, mas muitas vezes deixam você sem saber onde encontrou as informações. Os dispositivos Samsung Galaxy resolvem esse problema com um ótimo recurso: capturas de tela que direcionam para o site original.