Home
» Wiki
»
Por que você não deve confiar em briefings de notícias de chatbots de IA
Por que você não deve confiar em briefings de notícias de chatbots de IA
Você definitivamente deve pensar duas vezes antes de usar um chatbot de IA para fornecer resumos rápidos de notícias. Um novo relatório da BBC descobre que chatbots populares cometem grandes erros em seus resultados resumidos.
O Google Gemini tem a maior taxa de resumos problemáticos
O teste inclui ChatGPT , Google Gemini , Microsoft Copilot e Perplexity AI . Para começar, a BBC fez 100 perguntas de notícias a cada chatbot, exigindo que eles usassem fontes da BBC News sempre que possível.
Especialistas da BBC avaliaram então a qualidade desses resumos. Dos resumos, 51% continham algum tipo de erro, que poderia ser imprecisões factuais, citações incorretas ou informações desatualizadas.
Destes, 19% apresentaram algum tipo de erro factual, como datas incorretas. E 13% das citações atribuídas à BBC em resumos foram alteradas do original ou não existiam nos artigos fornecidos aos chatbots.
Quando analisado pelo chatbot, o Gemini do Google foi o pior infrator, com mais de 60% dos resumos contendo informações problemáticas. O Microsoft Copilot ficou em segundo lugar com 50%, enquanto o ChatGPT e o Perplexity tiveram cerca de 40% de respostas problemáticas.
Em sua conclusão, a BBC disse que muitos dos problemas não eram apenas desinformação:
O estudo também descobriu que a gama de erros cometidos por assistentes de IA vai além de imprecisões factuais. Os assistentes de IA que testamos tiveram dificuldade para distinguir entre opinião e fato, editorializando e muitas vezes falhando em incluir o contexto necessário. Mesmo que todas as declarações no feedback sejam precisas, esses tipos de problemas podem levar a um feedback enganoso ou tendencioso.
Muitas pessoas nunca tentaram usar chatbots de IA para resumir notícias porque não confiam na confiabilidade da tecnologia. Mas os resultados do estudo ainda foram surpreendentes, dado o grande número de resultados problemáticos. A IA ainda tem um longo caminho a percorrer antes de se tornar uma maneira confiável de aprender mais sobre notícias.
Os recursos de IA ainda estão em andamento
A tecnologia de IA, especialmente chatbots, continua a melhorar rapidamente. Mas, como mostra uma pesquisa da BBC, esperar informações precisas sobre as notícias é uma área extremamente problemática.
A BBC reclamou de outro recurso de IA: o Apple Intelligence Notification Summary. Em dezembro de 2024, um resumo de notícias do canal afirmou incorretamente que Luigi Mangione atirou em si mesmo. Ele é o homem acusado de matar a tiros o CEO da empresa de saúde Brian Thompson.