Cerebras lança a tecnologia de inferência de IA mais rápida do mundo, com desempenho 20 vezes maior que o da NVIDIA

A Cerebras Systems acaba de anunciar oficialmente o Cerebras Inference, considerado a solução de inferência de IA mais rápida do mundo. Esta inferência Cerebras oferece desempenho de até 1.800 tokens por segundo para modelos Llama 3.1 8B (8 bilhões de parâmetros) e 450 tokens por segundo para Llama 3.1 70B, o que é até quase 20 vezes mais rápido do que as soluções de inferência de IA baseadas em GPU NVIDIA disponíveis nas nuvens de hiperescala atuais em todo o mundo, incluindo o Microsoft Azure.

Além do seu desempenho incrível, o preço do serviço desta nova solução de inferência também é muito barato, uma fração do preço das populares plataformas de nuvem de GPU. Por exemplo, um cliente pode obter um milhão de tokens por apenas 10 centavos, proporcionando assim um desempenho de preço 100 vezes maior para cargas de trabalho de IA.

A precisão de 16 bits e a velocidade de inferência 20x mais rápida da Cerebras permitirão que os desenvolvedores criem aplicativos de IA de alto desempenho de última geração sem comprometer a velocidade ou o custo. Essa inovadora relação preço/desempenho é possível graças ao sistema Cerebras CS-3 e ao processador de IA Wafer Scale Engine 3 (WSE-3). O CS-3 oferece 7.000 vezes mais largura de banda de memória que o Nvidia H100, resolvendo o desafio técnico da largura de banda de memória para IA generativa.

Cerebras lança a tecnologia de inferência de IA mais rápida do mundo, com desempenho 20 vezes maior que o da NVIDIA

O Cerebras Inference está atualmente disponível nos três níveis a seguir:

  • O nível gratuito oferece acesso gratuito à API e limites de uso generosos para qualquer pessoa que se inscrever.
  • O nível de desenvolvedor foi projetado para implantações flexíveis e sem servidor, fornecendo aos usuários endpoints de API por uma fração do custo das alternativas existentes no mercado, com os modelos Llama 3.1 8B e 70B custando apenas 10 centavos e 60 centavos por milhão de tokens, respectivamente.
  • Os planos Enterprise Tier oferecem modelos ajustados, acordos de nível de serviço personalizados e suporte dedicado. Ideal para cargas de trabalho persistentes, as empresas podem acessar o Cerebras Inference por meio da nuvem privada gerenciada pela Cerebras ou no local.

Com desempenho recorde, preços competitivos e acesso à API aberta, o Cerebras Inference define um novo padrão para desenvolvimento e implantação de LLM aberto. Como a única solução capaz de fornecer treinamento e inferência de alta velocidade, a Cerebras abre possibilidades inteiramente novas para a IA.

Com as tendências de IA evoluindo rapidamente e a NVIDIA atualmente ocupando uma posição dominante no mercado, o surgimento de empresas como Cerebras e Groq sinaliza uma possível mudança na dinâmica de todo o setor. À medida que a demanda por soluções de inferência de IA mais rápidas e econômicas aumenta, soluções como a Cerebras Inference estão bem posicionadas para arriscar no domínio da NVIDIA, especialmente no espaço de inferência.

Sign up and earn $1000 a day ⋙

Leave a Comment

Os últimos recursos da grande atualização do Meta Llama AI

Os últimos recursos da grande atualização do Meta Llama AI

A Meta acaba de lançar uma atualização para seu modelo Llama AI, passando da versão 3.1 para a 3.2 e trazendo muitos novos recursos interessantes.

5 exemplos que provam que verificadores de conteúdo de IA são inúteis

5 exemplos que provam que verificadores de conteúdo de IA são inúteis

Na realidade, os verificadores de conteúdo de IA nem sempre são confiáveis, e os cinco exemplos a seguir demonstram o porquê.

X-Pirates: New World - Código mais recente e como resgatar o código para obter recompensas

X-Pirates: New World - Código mais recente e como resgatar o código para obter recompensas

Code X-Pirate New World dá aos jogadores muitos fragmentos de personagens SSR, moedas de ouro, diamantes e uma série de baús de recompensas atraentes.

Os 10 castelos mais bonitos do mundo

Os 10 castelos mais bonitos do mundo

Os castelos em nossas mentes são frequentemente associados a contos de fadas, ao amor romântico de princesas e príncipes. Existem muitos castelos antigos no mundo que são grandes obras, testemunhas da história da humanidade.

19 fotos que decifram os mistérios do mundo

19 fotos que decifram os mistérios do mundo

Abaixo estão 19 fotos que desvendam segredos estranhos do mundo sobre os quais muitas pessoas se perguntam. Depois de assistir, muitas pessoas provavelmente ficarão surpresas!

Como criar uma caixa de brinquedos de IA no ChatGPT

Como criar uma caixa de brinquedos de IA no ChatGPT

O ChatGPT ou outra tecnologia de IA cria muitas tendências de fotos criativas, como a tendência AI Toy Box com personagens e conteúdo projetados pelos próprios usuários.

Por que você realmente não precisa de um PC com IA agora

Por que você realmente não precisa de um PC com IA agora

Embora a promessa de integração perfeita de IA em computadores pareça atraente, para a maioria dos usuários, um PC focado em IA pode não ser necessário.

Como corrigir o erro de tráfego incomum ao pesquisar no Google

Como corrigir o erro de tráfego incomum ao pesquisar no Google

O erro Tráfego Incomum aparece quando o Google pensa que as pesquisas estão sendo enviadas automaticamente da sua rede e presume que pode ser um robô ou algo malicioso, como um vírus, realizando a pesquisa e não um humano.

Maneiras de baixar músicas do YouTube, baixar MP3 do YouTube, extrair músicas de vídeos do YouTube com extrema facilidade

Maneiras de baixar músicas do YouTube, baixar MP3 do YouTube, extrair músicas de vídeos do YouTube com extrema facilidade

Baixar músicas do YouTube ou baixar MP3 do YouTube ajuda você a colocar músicas no seu telefone ou computador para ouvir quando não houver internet, definir como toque,... Com essas 12 maneiras de baixar músicas em MP3 do YouTube, você obterá músicas do YouTube extremamente rápido.

Última coleção de códigos do Roblox My Toilet

Última coleção de códigos do Roblox My Toilet

Roblox My Toilet é um jogo exclusivo do Roblox. Em particular, você pode usar o código Roblox My Toilet para trocar por muitos presentes valiosos.

O que você precisa saber sobre o Mountain-Bracing Bolt em Genshin Impact

O que você precisa saber sobre o Mountain-Bracing Bolt em Genshin Impact

O Raio Reforçador de Montanha é útil para sua exploração em Genshin Impact? Este artigo fornecerá tudo o que você precisa saber sobre o Raio de Reforço de Montanha em Genshin Impact.

Como encontrar e usar cobre no Minecraft

Como encontrar e usar cobre no Minecraft

Veja como encontrar e usar cobre no Minecraft, incluindo como criar itens de cobre e como branquear cobre oxidado.

Gemma 2 ou Llama 3 é o melhor modelo de código aberto?

Gemma 2 ou Llama 3 é o melhor modelo de código aberto?

Dizem que o novo modelo Gemma 2 27B é muito promissor, superando alguns modelos maiores, como o Llama 3 70B e o Qwen 1.5 32B.

O Figma pode usar seu conteúdo para treinar IA: como evitar isso?

O Figma pode usar seu conteúdo para treinar IA: como evitar isso?

Com o último anúncio de IA do Figma, surgem preocupações sobre como a ferramenta pode usar o trabalho criativo dos usuários para treinar a IA.

Google confirma problema com Chromecast de segunda geração e Chromecast Audio

Google confirma problema com Chromecast de segunda geração e Chromecast Audio

Após alguns dias de confusão, o Google confirmou oficialmente o problema com o Chromecast de segunda geração e o Chromecast Audio.