Como instalar e executar o LLM localmente em um telefone Android

Executar modelos de linguagem de grande porte (LLMs) localmente no seu telefone Android significa que você pode acessar esses modelos de IA sem depender de servidores em nuvem ou de uma conexão com a Internet . Essa configuração local garante privacidade, mantendo seus dados seguros e no dispositivo. Com os avanços no hardware móvel, executar modelos de IA localmente se tornou uma realidade. O aplicativo MLC Chat facilita a experiência dessa poderosa tecnologia diretamente no seu telefone.

Este artigo explicará a importância de executar o LLM localmente em telefones Android e fornecerá instruções passo a passo para instalá-los e executá-los usando o aplicativo MLC Chat.

Por que executar o LLM em um telefone Android?

Os LLMs geralmente são executados em servidores em nuvem, pois exigem poder de computação significativo. Embora os telefones Android tenham certas limitações ao executar o LLM, eles também abrem algumas possibilidades interessantes.

• Privacidade aprimorada : como toda a computação acontece no seu telefone, seus dados permanecem locais, o que é importante para qualquer informação confidencial que você compartilhe.
• Acesso offline : não é necessária conexão persistente com a Internet para acessar ou interagir com esses modelos. Isso é especialmente útil para usuários em áreas remotas ou com conectividade de internet limitada.
• Custo-benefício : executar o LLM em servidores em nuvem envolve custos operacionais, como armazenamento em nuvem e poder de processamento. Este método fornece uma solução econômica para os usuários.

Guia passo a passo para instalar e executar o MLC Chat no Android

O aplicativo MLC Chat foi projetado para permitir que os usuários executem e interajam com grandes modelos de linguagem (LLMs) localmente em uma variedade de dispositivos, incluindo celulares, sem depender de serviços baseados em nuvem. Siga as etapas abaixo para executar o LLM localmente no seu dispositivo Android.

Etapa 1: instalar o aplicativo MLC Chat

Primeiro, você precisa baixar o APK do aplicativo MLC Chat (112 MB) no link abaixo.

Arquivo APK do aplicativo MLC Chat

Após o download do APK, toque no arquivo para iniciar a instalação.

Etapa 2: Baixe o LLM

Após instalar o aplicativo com sucesso, abra-o e você verá uma lista de LLMs disponíveis para download. Estão disponíveis modelos de diferentes tamanhos e capacidades, como o LLama-3.2, Phi-3.5 e Mistral. Selecione o modelo de acordo com suas necessidades e clique no ícone de download ao lado para iniciar o download. Por exemplo, se você estiver usando um telefone de médio porte, como o Redmi Note 10, escolha um modelo leve, como o Qwen-2.5, para um desempenho mais suave.

Etapa 3: execute o LLM instalado

Depois que o modelo for baixado, um ícone de bate-papo aparecerá ao lado dele. Clique no ícone para iniciar a modelagem.

Quando o modelo estiver pronto, você pode começar a digitar prompts e interagir com o LLM local.

Por exemplo, em um dispositivo como o Redmi Note 10, executar um modelo menor como o Qwen2.5 proporciona uma experiência bastante tranquila, gerando cerca de 1,4 tokens por segundo. Embora esse desempenho seja mais lento do que o de dispositivos de última geração, como o Galaxy S23 Ultra , ele ainda funciona bem para tarefas básicas, como bate-papos curtos e criação de conteúdo simples.

Executar o LLM localmente em dispositivos Android por meio do aplicativo MLC Chat fornece uma maneira acessível e protegida de privacidade para interagir com modelos de IA. O desempenho depende muito do hardware do telefone. Esta solução é ideal para usuários que precisam de acesso offline a modelos de IA, testam LLMs em tempo real ou estão preocupados com privacidade. À medida que o hardware móvel continua a melhorar, os recursos do LLM local só aumentarão, tornando esta uma fronteira interessante para a tecnologia de IA.