Cerebras lança a tecnologia de inferência de IA mais rápida do mundo, com desempenho 20 vezes maior que o da NVIDIA

A Cerebras Systems acaba de anunciar oficialmente o Cerebras Inference, considerado a solução de inferência de IA mais rápida do mundo. Esta inferência Cerebras oferece desempenho de até 1.800 tokens por segundo para modelos Llama 3.1 8B (8 bilhões de parâmetros) e 450 tokens por segundo para Llama 3.1 70B, o que é até quase 20 vezes mais rápido do que as soluções de inferência de IA baseadas em GPU NVIDIA disponíveis nas nuvens de hiperescala atuais em todo o mundo, incluindo o Microsoft Azure.

Além do seu desempenho incrível, o preço do serviço desta nova solução de inferência também é muito barato, uma fração do preço das populares plataformas de nuvem de GPU. Por exemplo, um cliente pode obter um milhão de tokens por apenas 10 centavos, proporcionando assim um desempenho de preço 100 vezes maior para cargas de trabalho de IA.

A precisão de 16 bits e a velocidade de inferência 20x mais rápida da Cerebras permitirão que os desenvolvedores criem aplicativos de IA de alto desempenho de última geração sem comprometer a velocidade ou o custo. Essa inovadora relação preço/desempenho é possível graças ao sistema Cerebras CS-3 e ao processador de IA Wafer Scale Engine 3 (WSE-3). O CS-3 oferece 7.000 vezes mais largura de banda de memória que o Nvidia H100, resolvendo o desafio técnico da largura de banda de memória para IA generativa.

O Cerebras Inference está atualmente disponível nos três níveis a seguir:

• O nível gratuito oferece acesso gratuito à API e limites de uso generosos para qualquer pessoa que se inscrever.
• O nível de desenvolvedor foi projetado para implantações flexíveis e sem servidor, fornecendo aos usuários endpoints de API por uma fração do custo das alternativas existentes no mercado, com os modelos Llama 3.1 8B e 70B custando apenas 10 centavos e 60 centavos por milhão de tokens, respectivamente.
• Os planos Enterprise Tier oferecem modelos ajustados, acordos de nível de serviço personalizados e suporte dedicado. Ideal para cargas de trabalho persistentes, as empresas podem acessar o Cerebras Inference por meio da nuvem privada gerenciada pela Cerebras ou no local.

Com desempenho recorde, preços competitivos e acesso à API aberta, o Cerebras Inference define um novo padrão para desenvolvimento e implantação de LLM aberto. Como a única solução capaz de fornecer treinamento e inferência de alta velocidade, a Cerebras abre possibilidades inteiramente novas para a IA.

Com as tendências de IA evoluindo rapidamente e a NVIDIA atualmente ocupando uma posição dominante no mercado, o surgimento de empresas como Cerebras e Groq sinaliza uma possível mudança na dinâmica de todo o setor. À medida que a demanda por soluções de inferência de IA mais rápidas e econômicas aumenta, soluções como a Cerebras Inference estão bem posicionadas para arriscar no domínio da NVIDIA, especialmente no espaço de inferência.