Por que não confiar no ChatGPT para resumir texto?

Há limites para o que o ChatGPT sabe, mas ele certamente fornecerá o que você solicitar, mesmo que os resultados estejam incorretos. Isso significa que o ChatGPT pode cometer erros, até mesmo alguns comuns, especialmente ao resumir informações às quais você não estava prestando atenção.

O ChatGPT pode ignorar ou interpretar mal os avisos

Se você der a um chatbot muitos dados para classificar, mesmo um prompt complexo, ele pode se desviar das instruções e seguir sua própria interpretação.

Fazer muitas solicitações de uma só vez é um dos erros a evitar. Mas também pode ser que o chatbot não reconheça uma palavra ou frase específica que você usa.

No exemplo a seguir, o ChatGPT recebe muitas informações sobre a função linguística do emoji. O prompt intencionalmente simples pede ao chatbot para resumir tudo e explicar a conexão entre emojis e culturas.

O chatbot uniu as duas respostas em um parágrafo. O próximo prompt, com instruções mais explícitas, pede que ele se aprofunde em sua base de conhecimento.

É por isso que você deve garantir que suas instruções sejam precisas, fornecer contexto quando necessário e monitorar os resultados do ChatGPT. Se você relatar algum erro imediatamente, o chatbot poderá produzir resultados mais precisos.

O ChatGPT pode ignorar as informações que você fornecer.

O ChatGPT é inteligente, mas não deve encher de detalhes um tópico específico sem deixar claro o que é importante.

O problema aqui é que, sem orientação adequada, o algoritmo selecionará informações que considera relevantes para o relatório ou lista que você precisa.

Para testar o ChatGPT, foi solicitado que o ChatGPT resumisse um longo texto sobre destinos imperdíveis na Escócia e criasse um itinerário para férias em família.

Quando questionado se havia esquecido de algum detalhe, a empresa admitiu que havia deixado de fora certas informações, como atrações específicas e opções de transporte. A precisão é seu objetivo.

Não há garantia de que o ChatGPT usará os detalhes que você espera. Portanto, planeje e redija seu prompt com cuidado para garantir que o resumo do seu chatbot seja expresso com precisão.

O ChatGPT pode usar alternativas incorretas

A OpenAI atualizou o GPT-4o com dados disponíveis até outubro de 2023, enquanto o GPT-4 Turbo está disponível até dezembro do mesmo ano. Entretanto, o conhecimento do algoritmo não é infinito nem confiável em eventos em tempo real: ele não sabe tudo sobre o mundo. Além disso, ele nem sempre revela que não possui dados sobre um tópico específico, a menos que você pergunte diretamente.

Ao resumir textos contendo referências tão obscuras, o ChatGPT pode substituí-las por alternativas que ele entenda ou inventar detalhes sobre elas.

O exemplo a seguir envolve uma tradução para o inglês. O ChatGPT não entende o nome grego do prêmio Toque d'Or, mas em vez de destacar o problema, ele apenas fornece uma tradução literal e incorreta.

Nomes de empresas, livros, prêmios, links de pesquisa e outros elementos podem desaparecer ou ser alterados no resumo do chatbot. Para evitar grandes erros, esteja ciente dos limites de criação de conteúdo do ChatGPT.

O ChatGPT pode errar nos fatos

É importante aprender tudo o que puder sobre como evitar erros com ferramentas de IA generativa . Como o exemplo acima demonstra, um dos maiores problemas com o ChatGPT é que ele perde certas informações ou aprende coisas incorretamente. Isso pode afetar qualquer texto gerado.

Se você solicitar um resumo de diferentes pontos de dados que contenham eventos ou conceitos estranhos ao ChatGPT, o algoritmo poderá interpretá-los mal.

No exemplo abaixo, o prompt pede ao ChatGPT para resumir quatro tendências do TikTok e explicar o que cada uma significa.

A maioria das explicações está um pouco incorreta ou não contém informações específicas sobre o que o pôster deve fazer. A descrição da tendência da UMG Music é particularmente enganosa. A tendência mudou depois que a categoria foi removida do TikTok e os usuários agora estão postando vídeos para criticar em vez de apoiar a UMG, algo que o ChatGPT desconhecia.

A melhor solução é não confiar cegamente em chatbots de IA. Mesmo que o ChatGPT compile informações fornecidas por você, certifique-se de verificar descrições e declarações e anotar quaisquer imprecisões. Então você saberá como estruturar seu prompt para obter melhores resultados.

O ChatGPT pode identificar incorretamente os limites de palavras ou caracteres.

Embora o OpenAI tenha melhorado o ChatGPT com novos recursos, ele ainda parece ter dificuldades com instruções básicas, como seguir limites específicos de palavras ou caracteres.

O teste abaixo mostra que o ChatGPT precisa de alguns prompts. Ainda fica aquém ou excede o número necessário de palavras.

Esse não é o pior erro que pode acontecer com o ChatGPT. Mas esse é mais um fator a ser considerado ao editar os resumos gerados por essa ferramenta.

Seja específico sobre o comprimento desejado do conteúdo. Talvez seja necessário adicionar ou remover algumas palavras em algum lugar. Vale a pena reservar um tempo para verificar se você está trabalhando em projetos com limites rígidos de palavras.

No geral, o ChatGPT é rápido, intuitivo e está em constante melhoria, mas ainda tem suas falhas. Portanto, não confie totalmente no ChatGPT para resumir com precisão o texto que você precisa.

A causa geralmente está relacionada a informações ausentes ou incorretas no banco de dados do ChatGPT. O algoritmo do ChatGPT também foi projetado para responder automaticamente sem precisar verificar constantemente a precisão. Por enquanto, o melhor a fazer é desenvolver seu próprio conteúdo com o ChatGPT como um assistente poderoso que precisa ser monitorado regularmente.