Cerebras lança a tecnologia de inferência de IA mais rápida do mundo, com desempenho 20 vezes maior que o da NVIDIA

A Cerebras Systems acaba de anunciar oficialmente o Cerebras Inference, considerado a solução de inferência de IA mais rápida do mundo. Esta inferência Cerebras oferece desempenho de até 1.800 tokens por segundo para modelos Llama 3.1 8B (8 bilhões de parâmetros) e 450 tokens por segundo para Llama 3.1 70B, o que é até quase 20 vezes mais rápido do que as soluções de inferência de IA baseadas em GPU NVIDIA disponíveis nas nuvens de hiperescala atuais em todo o mundo, incluindo o Microsoft Azure.

Além do seu desempenho incrível, o preço do serviço desta nova solução de inferência também é muito barato, uma fração do preço das populares plataformas de nuvem de GPU. Por exemplo, um cliente pode obter um milhão de tokens por apenas 10 centavos, proporcionando assim um desempenho de preço 100 vezes maior para cargas de trabalho de IA.

A precisão de 16 bits e a velocidade de inferência 20x mais rápida da Cerebras permitirão que os desenvolvedores criem aplicativos de IA de alto desempenho de última geração sem comprometer a velocidade ou o custo. Essa inovadora relação preço/desempenho é possível graças ao sistema Cerebras CS-3 e ao processador de IA Wafer Scale Engine 3 (WSE-3). O CS-3 oferece 7.000 vezes mais largura de banda de memória que o Nvidia H100, resolvendo o desafio técnico da largura de banda de memória para IA generativa.

Cerebras lança a tecnologia de inferência de IA mais rápida do mundo, com desempenho 20 vezes maior que o da NVIDIA

O Cerebras Inference está atualmente disponível nos três níveis a seguir:

  • O nível gratuito oferece acesso gratuito à API e limites de uso generosos para qualquer pessoa que se inscrever.
  • O nível de desenvolvedor foi projetado para implantações flexíveis e sem servidor, fornecendo aos usuários endpoints de API por uma fração do custo das alternativas existentes no mercado, com os modelos Llama 3.1 8B e 70B custando apenas 10 centavos e 60 centavos por milhão de tokens, respectivamente.
  • Os planos Enterprise Tier oferecem modelos ajustados, acordos de nível de serviço personalizados e suporte dedicado. Ideal para cargas de trabalho persistentes, as empresas podem acessar o Cerebras Inference por meio da nuvem privada gerenciada pela Cerebras ou no local.

Com desempenho recorde, preços competitivos e acesso à API aberta, o Cerebras Inference define um novo padrão para desenvolvimento e implantação de LLM aberto. Como a única solução capaz de fornecer treinamento e inferência de alta velocidade, a Cerebras abre possibilidades inteiramente novas para a IA.

Com as tendências de IA evoluindo rapidamente e a NVIDIA atualmente ocupando uma posição dominante no mercado, o surgimento de empresas como Cerebras e Groq sinaliza uma possível mudança na dinâmica de todo o setor. À medida que a demanda por soluções de inferência de IA mais rápidas e econômicas aumenta, soluções como a Cerebras Inference estão bem posicionadas para arriscar no domínio da NVIDIA, especialmente no espaço de inferência.

Sign up and earn $1000 a day ⋙

Leave a Comment

Problemas comuns de Smart TV e como corrigi-los

Problemas comuns de Smart TV e como corrigi-los

Smart TVs são ótimas para transmitir conteúdo, mas não importa o quão inteligentes elas sejam, você pode ter mais problemas do que com uma TV comum. Veja como corrigir problemas comuns de Smart TV!

4 maneiras de ligar o ar condicionado sem usar o controle remoto

4 maneiras de ligar o ar condicionado sem usar o controle remoto

Quando você quer ligar o ar condicionado, mas não consegue lembrar onde deixou o controle remoto, ou se a bateria do controle remoto acabar repentinamente ou ele quebrar, por exemplo, você pode usar estes métodos. Não é só o controle remoto que pode ligar o ar condicionado.

Como configurar o Google Maps para ativar a localização automaticamente em telefones Samsung

Como configurar o Google Maps para ativar a localização automaticamente em telefones Samsung

O Google Maps solicita que você ative a localização sempre que você abre o aplicativo no seu telefone Samsung, o que pode ser extremamente inconveniente. Felizmente, você pode automatizar seu telefone Samsung para fazer exatamente isso.

Fusos horários de países ao redor do mundo e mapa de fuso horário mundial

Fusos horários de países ao redor do mundo e mapa de fuso horário mundial

Quais são os fusos horários dos países ao redor do mundo? O artigo resumirá para você os fusos horários do mundo.

Como evitar drama e problemas

Como evitar drama e problemas

Seja por causa de drama dos pais, amigos, colegas de trabalho ou vizinhos, você pode estabelecer limites e ficar longe disso para sempre. Aqui estão algumas dicas para evitar o drama e a negatividade que o acompanha.

Os 5 melhores controles do PlayStation 5

Os 5 melhores controles do PlayStation 5

Embora a quantidade possa ser insuficiente, a qualidade dos gamepads disponíveis é impecável. Do DualSense padrão ao Nacon Revolution 5 Pro de última geração, aqui estão os 5 melhores controles de PS5 disponíveis no momento.

Último código do Dragon Age e como inserir o código para resgatar recompensas

Último código do Dragon Age e como inserir o código para resgatar recompensas

Digite o código do Dragon Age abaixo para resgatá-lo e ganhar uma recompensa.

Uma série de erros engraçados em dispositivos tecnológicos que fazem os usuários gritarem

Uma série de erros engraçados em dispositivos tecnológicos que fazem os usuários gritarem

Abaixo está uma série de imagens engraçadas relacionadas a erros tecnológicos bobos cometidos por pessoas ao redor do mundo e compartilhadas online. Certamente, depois de assistir a isso, muitas pessoas ainda não entendem por que os dispositivos tecnológicos exibem erros tão bobos.

Como trocar itens em Jujutsu Infinite

Como trocar itens em Jujutsu Infinite

Há uma opção "Troca" no JJKINF que facilita a troca de itens entre jogadores. Então, neste guia simples, vamos aprender como trocar itens em Jujutsu Infinite.

Samsung traz One UI para geladeiras e TVs

Samsung traz One UI para geladeiras e TVs

A Samsung anunciou que sua interface de usuário da marca One UI será gradualmente implantada nos produtos de tecnologia restantes da empresa, incluindo geladeiras e TVs inteligentes.

Diagnóstico da Língua: 13 Sinais que Você Não Pode Ignorar

Diagnóstico da Língua: 13 Sinais que Você Não Pode Ignorar

Você pode prever a doença renal olhando para sua língua? Este artigo lhe dirá como observar a língua para diagnosticar doenças.

Por que a Áustria e a Austrália são frequentemente confundidas?

Por que a Áustria e a Austrália são frequentemente confundidas?

Áustria e Austrália são dois países distintos, mas facilmente confundidos. Então, qual a diferença entre Áustria e Austrália? Vamos descobrir juntos!

Vermelho, branco ou amarelo? O que a cor da sua língua diz sobre sua saúde?

Vermelho, branco ou amarelo? O que a cor da sua língua diz sobre sua saúde?

Especialistas dizem que o formato, a cor e a morfologia da sua língua podem fornecer informações sobre seu estado de saúde. Vamos aprender sobre o significado das cores da língua!

Os últimos recursos da grande atualização do Meta Llama AI

Os últimos recursos da grande atualização do Meta Llama AI

A Meta acaba de lançar uma atualização para seu modelo Llama AI, passando da versão 3.1 para a 3.2 e trazendo muitos novos recursos interessantes.

5 exemplos que provam que verificadores de conteúdo de IA são inúteis

5 exemplos que provam que verificadores de conteúdo de IA são inúteis

Na realidade, os verificadores de conteúdo de IA nem sempre são confiáveis, e os cinco exemplos a seguir demonstram o porquê.