Home
» Wiki
»
Microsoft anuncia nova ferramenta para detectar e corrigir conteúdo alucinatório em saídas de IA
Microsoft anuncia nova ferramenta para detectar e corrigir conteúdo alucinatório em saídas de IA
O Azure AI Content Safety é o serviço de IA da Microsoft que ajuda a detectar conteúdo prejudicial gerado por IA em aplicativos, serviços e plataformas. Este utilitário fornece APIs de texto e imagem, permitindo que os desenvolvedores identifiquem conteúdo indesejado.
A API Groundedness no Azure AI Content Safety é capaz de identificar se a resposta de um modelo de linguagem grande é baseada em um documento de origem selecionado pelo usuário. Como os atuais modelos de linguagem de grande porte podem produzir informações imprecisas ou falsas (informações ilusórias), esta API ajuda os desenvolvedores a identificar esse conteúdo nos dados de saída da IA.
Hoje, a Microsoft anunciou uma prévia da correção. Como resultado, os desenvolvedores agora podem detectar e corrigir conteúdo “ilusório” em dados de saída de IA em tempo real, garantindo que os usuários finais sempre recebam conteúdo gerado por IA com precisão factual. Este recurso funciona da seguinte maneira:
O desenvolvedor do aplicativo habilita recursos de edição.
Quando dados infundados são detectados, uma nova solicitação é enviada ao modelo de IA para corrigir o erro.
O algoritmo LLM avaliará a pontuação geral com base em documentos confiáveis.
Frases que não são relevantes para o documento subjacente autenticado podem ser filtradas completamente.
Se o conteúdo for derivado de um documento base, o modelo base reescreverá a frase infundada para corresponder ao documento.
Além do recurso de edição, a Microsoft também anunciou uma prévia pública do Hybrid Azure AI Content Safety (AACS). Esse recurso permite que os desenvolvedores implementem mecanismos de segurança de conteúdo na nuvem e no dispositivo. O SDK incorporado do AACS permite verificações de segurança de conteúdo em tempo real diretamente no dispositivo, mesmo sem conexão com a Internet.
Por fim, a Microsoft anunciou uma prévia do Protected Materials Detection for Code, que pode ser usado com aplicativos de IA de geração de código para detectar se o LLM está gerando algum código protegido. Anteriormente, esse recurso só estava disponível por meio do Azure OpenAI Service. A Microsoft agora está disponibilizando a Detecção de Materiais Protegidos para Código aos clientes para uso em conjunto com outros modelos de IA de geração de código.