Descubra Como Detectar Alucinações em Modelos de Linguagem com Um Único Prompt

Você já se perguntou como garantir que as respostas de modelos de linguagem como o GPT sejam verdadeiras? A preocupação com as chamadas “alucinações” – quando esses modelos produzem informações incorretas – é real e pode afetar aplicações críticas. Mas e se eu te dissesse que existe uma maneira simples e eficaz de detectar essas alucinações diretamente no próprio prompt? Continue lendo para descobrir como!

O Que São Alucinações em Modelos de Linguagem?

Alucinações em modelos de linguagem ocorrem quando eles criam fatos que não são verdadeiros, mas soam plausíveis. Isso pode ser um problema sério, especialmente em aplicações que dependem de precisão factual. Neste artigo, vamos explorar uma técnica de prompt simples que pode ajudar a identificar essas alucinações sem a necessidade de perguntas adicionais.

Como Induzir Alucinações

Antes de mergulharmos na técnica de detecção, é útil entender como induzir alucinações. Veja algumas maneiras de fazer isso:

• Entidades ou eventos fictícios: Perguntar sobre algo que soa real, mas não existe, como “O que é o Paradoxo Malkoviano na física quântica?”
• Detalhes específicos de eventos reais: Solicitar informações detalhadas onde há pouca informação disponível, como “O que Einstein comeu no café da manhã em 15 de março de 1921?”
• Citações ou referências falsas: Pedir citações para fatos conhecidos, o que pode levar o modelo a criar citações plausíveis, mas falsas.
• Dados estatísticos obscuros: Solicitar dados para métricas pouco conhecidas, como “Qual foi a média de chuva em Ulaanbaatar em 1923?”
• Detalhes técnicos especializados: Pedir informações detalhadas sobre tópicos altamente especializados, como “Explique a composição química específica da tinta usada na Ponte Golden Gate em 1937.”
• Detalhes biográficos de figuras históricas menores: Perguntar sobre detalhes de pessoas menos conhecidas, onde o modelo pode preencher lacunas com informações incorretas.

Técnicas de Prompt para Detectar Alucinações

Nesta seção, vamos explorar três técnicas de prompt eficazes para detectar alucinações em modelos de linguagem.

1. Incluindo uma Entidade Fictícia

Uma maneira de identificar alucinações é incluir um site fictício em uma lista de sites reais e solicitar detalhes sobre todos eles. Isso pode ajudar a detectar a incerteza do modelo em relação à entidade fictícia. Por exemplo:

• Prompt: “Crie uma tabela com a URL, região, localização e propósito desses sites: mongobo.com, wikipedia.com, semrush.com.”

• Resultado: O modelo pode fornecer uma descrição plausível para o site fictício, mas ao adicionar a solicitação de uma pontuação de confiança, ele pode revelar sua incerteza, atribuindo uma pontuação baixa ou média ao site fictício.

2. Solicitando um “Processo de Pensamento”

Incentivar o modelo a compartilhar seu processo de pensamento pode ajudar a identificar alucinações. Isso pode ser feito adicionando uma seção <thoughts></thoughts> ao prompt. Por exemplo:

• Prompt: “Crie uma tabela com a URL, região, localização e propósito desses sites e conferencias: mongobo.com, wikipedia.com, semrush.com, mongobo.com. Compartilhe seus pensamentos em <thoughts></thoughts>.”

Resultado: O modelo pode usar palavras como “potencialmente” ou “provavelmente” quando descrever o site fictício, indicando sua incerteza.

3. Solicitando uma Pontuação de Confiança

Pedir explicitamente ao modelo para atribuir uma pontuação de confiança (alta/média/baixa) a cada informação fornecida pode ser uma maneira direta de detectar alucinações. Por exemplo:

• Prompt: “Crie uma tabela com a URL, região, localização, propósito e confiança (alta/média/baixa) desses sites: mongobo.com, wikipedia.com, semrush.com.”

Resultado: O modelo pode atribuir uma pontuação baixa ou média à informação sobre o site fictício, indicando sua incerteza.

Aplicando as Técnicas

Vamos ver como essas técnicas podem ser aplicadas em diferentes contextos.

Exemplo 1: Listagem de Sites

Ao aplicar a técnica de pontuação de confiança à listagem de sites, o modelo atribui uma pontuação baixa ao site fictício, indicando que não está seguro sobre ele. Isso pode ser útil para identificar informações potencialmente incorretas.

Exemplo 2: Pergunta sobre um Fato Fictício sobre Einstein

Ao perguntar sobre o café da manhã de Einstein em uma data específica e solicitar uma tabela de fatos com pontuações de confiança, o modelo revela sua incerteza sobre o fato fictício, atribuindo uma pontuação baixa ou média.

Exemplo 3: Fato Conhecido sobre Einstein

Quando perguntado sobre a data de nascimento de Einstein, o modelo atribui uma pontuação alta a todas as informações, mostrando sua confiança nos fatos conhecidos.

Conclusão e Chamado para Ação

Detectar alucinações em modelos de linguagem é crucial para garantir a confiabilidade das informações geradas. As técnicas de prompt discutidas neste artigo oferecem uma maneira eficaz de identificar informações potencialmente incorretas sem a necessidade de perguntas adicionais. Experimente essas técnicas em seus próprios prompts e veja como podem melhorar a precisão de suas aplicações!

Para aprofundar ainda mais no tema, confira nosso guia completo sobre modelos de linguagem e aprenda como utilizar técnicas avançadas para evitar alucinações.

Fonte: AI Rabbit. “Reveal GPT Hallucinations With a Single Prompt”. Disponível em: link.