Autor: GPT4o
Como Identificar Alucinações em Modelos de Linguagem com uma Simples Técnica de Prompt
Você já ouviu falar sobre as alucinações em modelos de linguagem como o GPT? Esses modelos, apesar de impressionantes, às vezes criam informações completamente inventadas, que podem parecer muito convincentes. Isso é um problema sério, especialmente em aplicações empresariais ou críticas, onde a veracidade das informações é essencial. Mas, e se houvesse uma maneira simples de detectar essas falhas sem precisar fazer perguntas adicionais?
Neste artigo, vamos explorar uma técnica de prompt que ajuda a identificar possíveis alucinações em uma única interação, sem a necessidade de perguntas de acompanhamento.
Desafios com Alucinações em Modelos de Linguagem
Alucinações ocorrem quando modelos de linguagem geram fatos que simplesmente não são verdadeiros. A parte complicada é que o texto pode soar extremamente natural, enganando facilmente quem o lê.
Isso é especialmente problemático em aplicações que exigem verificação de fatos. Existem várias técnicas para mitigar as alucinações, como o grounding, mas elas raramente eliminam completamente o problema e demandam um esforço significativo.
Como Induzir Alucinações
Antes de ensinar como detectar alucinações, vamos ver como podemos induzi-las. Aqui estão algumas maneiras:
- Perguntar sobre entidades ou eventos claramente fictícios
Exemplo: “O que você pode me dizer sobre o Paradoxo Malkoviano na física quântica?” -
Pedir detalhes específicos sobre eventos/pessoas reais com informações limitadas
Exemplo: “O que Einstein comeu no café da manhã em 15 de março de 1921?” -
Solicitar citações ou referências para fatos conhecidos
O LLM pode gerar citações plausíveis mas falsas. -
Pedir dados estatísticos para métricas obscuras
Exemplo: “Qual foi a precipitação média em Ulaanbaatar em 1923?”
Técnica de Prompt para Detectar Alucinações
Vamos examinar duas técnicas simples para detectar alucinações:
Teste #1: Descrição de Websites Incluindo um Fictício
Tentativa 1:
Faça uma tabela com a URL, região, localização e propósito destes websites:
* mongobo.com
* wikipedia.com
* semrush.com
O modelo irá gerar uma descrição plausível, mesmo para sites fictícios como “mongobo.com”.
Tentativa 2: Compartilhamento de Pensamentos
Incluímos um comando para o modelo compartilhar seus pensamentos:
* mongobo.com
* wikipedia.com
* semrush.com
*
O modelo usa termos como “potencialmente”, indicando incerteza.
Teste #2: Pedir Pontuação de Confiança
Faça uma tabela com a URL, região, localização, propósito e confiança (alta/média/baixa) destes websites:
* mongobo.com
* wikipedia.com
* semrush.com
Aqui, o modelo admite sua incerteza, atribuindo uma pontuação de confiança baixa ao website fictício.
Combinação das Técnicas
Pergunta: O que Einstein comeu no café da manhã em 15 de março de 1921?
*
Isso ajuda a identificar fatos com baixa confiança, indicando possíveis alucinações.
Conclusão
Testamos essas técnicas em vários exemplos e, embora nenhuma seja 100% precisa, pequenos ajustes como pedir pontuações de confiança e compartilhar pensamentos podem fazer uma grande diferença. Essas informações ajudam a filtrar afirmações falsas, sujeitando-as a uma revisão mais rigorosa, e podem prevenir que informações incorretas comprometam uma aplicação crítica.
Aplique essas técnicas em suas interações com LLMs para melhorar a confiabilidade e a precisão dos resultados. E lembre-se, a transparência e a cautela são fundamentais ao utilizar modelos de inteligência artificial.
Fonte: Medium. “Reveal GPT Hallucinations with a Single Prompt”. Disponível em: link.
Autor: Claude Sonnet
Como Detectar Alucinações do GPT Com Um Único Prompt
As alucinações em Modelos de Linguagem Grandes (LLMs) como o GPT são um dos maiores desafios para seu uso prático. Vou mostrar técnicas simples de prompting que podem ajudar a identificar possíveis alucinações sem precisar de perguntas adicionais.
O Que São Alucinações em IAs?
Alucinações ocorrem quando modelos de linguagem inventam fatos incorretos de forma convincente. O texto gerado pode parecer natural e plausível, mas conter informações falsas difíceis de detectar.
Como Provocar Alucinações Propositalmente
Alguns exemplos de prompts que tendem a gerar alucinações:
- Perguntar sobre entidades ou eventos fictícios que parecem reais
- Solicitar detalhes específicos sobre eventos históricos com informação limitada
- Pedir citações para fatos conhecidos
- Requisitar dados estatísticos obscuros
- Questionar detalhes técnicos de tópicos especializados
- Buscar informações biográficas de figuras históricas menos conhecidas
Técnicas Para Detectar Alucinações
1. Solicitação de Score de Confiança
Adicionar um pedido de score de confiança (alto/médio/baixo) junto com a resposta incentiva o LLM a avaliar sua própria certeza. Por exemplo:
“Faça uma tabela com URL, região, localização e score de confiança (alto/médio/baixo) destes sites:
– mongobo.com
– wikipedia.com
– semrush.com”
2. Prompt de Compartilhamento de Pensamentos
Incluir tags como <thoughts> </thoughts> encoraja o LLM a articular seu processo de raciocínio, tornando mais fácil identificar falhas lógicas.
Resultados dos Testes
Em diversos testes, observamos que:
- Sites fictícios receberam scores baixos/médios de confiança
- Sites reais consistentemente receberam scores altos
- As tags de pensamento revelaram incertezas através de palavras como “potencialmente” e “provavelmente”
- A combinação das duas técnicas mostrou-se mais efetiva
Conclusão
Embora nenhuma técnica seja 100% eficaz, pequenos ajustes no prompt – como solicitar scores de confiança ou pensamentos – podem encorajar o LLM a indicar quando está menos seguro de suas afirmações.
Estas informações são valiosas para:
– Filtrar declarações potencialmente falsas
– Identificar conteúdo que precisa de verificação adicional
– Prevenir problemas em aplicações críticas
Fonte: Artigo “REVEAL GPT HALLUCINATIONS WITH A SINGLE PROMPT” por AI Rabbit. Disponível em: Medium.com
Autor: Gemini 2.0 Flash
Desvende as Alucinações do GPT com um Simples Prompt
Um dos maiores desafios ao implementar modelos de linguagem grandes (LLMs) como o GPT em aplicações do mundo real é o que chamamos de alucinações.
Basicamente, é quando esses modelos começam a inventar fatos que são simplesmente incorretos. E a parte mais complicada? Você pode nem perceber, já que o texto soa natural dentro do contexto.
Isso se torna um problema ainda maior em aplicações críticas ou de negócios, que exigem verificação de fatos ou alguma forma de validação antes de confiar nas respostas do LLM.
Existem diversas técnicas para reduzir as alucinações – como o “grounding” (ancoragem em fatos) – mas o problema nunca desaparece completamente, e o esforço para preveni-lo pode ser enorme.
Neste artigo, exploraremos uma técnica de prompting simples que pode indicar possíveis alucinações dentro do próprio prompt, sem a necessidade de perguntas de acompanhamento como “Você tem certeza?”.
Primeiro, vamos entender como podemos “provocar” essas alucinações. Aqui estão algumas ideias:
- Perguntar sobre entidades ou eventos claramente fictícios que soam plausíveis, mas não existem.
- Exemplo: “O que você pode me dizer sobre o Paradoxo Malkoviano na física quântica?”
- Solicitar detalhes específicos sobre eventos/pessoas reais onde existe informação limitada.
- Exemplo: “O que Einstein comeu no café da manhã em 15 de março de 1921?”
- Pedir citações ou referências para fatos bem conhecidos.
- O LLM pode gerar citações plausíveis, mas falsas.
- Solicitar dados estatísticos para métricas obscuras.
- Exemplo: “Qual foi a precipitação média em Ulaanbaatar em 1923?”
- Perguntar por detalhes técnicos sobre tópicos reais, mas altamente especializados.
- Exemplo: “Explique a composição química específica da tinta usada na Ponte Golden Gate em 1937.”
- Solicitar detalhes biográficos sobre figuras históricas menores.
- O LLM pode preencher lacunas com informações plausíveis, mas incorretas.
Técnica de Prompting Simples para Detectar Alucinações Potenciais
Neste artigo, analisaremos dois exemplos:
- Classificação de sites (incluindo um site fictício).
- Pergunta sobre um fato fictício sobre Einstein.
Em vez de pedir ao modelo para decidir quais sites são reais e quais não são, enquadramos a pergunta de forma a sugerir que todos os sites existem, e vemos se o LLM percebe um problema sozinho, permitindo que ele se concentre na classificação em vez da verificação de fatos.
Enquadramos como se o contexto fornecido fosse verdadeiro (embora seja puramente fictício) e vemos como o LLM responde.
Vamos lá!
Teste #1: Descrevendo uma Lista de Sites (Com um Fictício)
Teste #1
Crie uma tabela com a URL, região, localização e propósito destes sites:
mongobo.com, wikipedia.com, semrush.com
Como esperado, o modelo inventou uma descrição bastante plausível para o site mongobo.com, sobre o qual ele certamente não tem informações.
Realizamos o teste várias vezes e, na maioria das vezes, o modelo insiste que o site mongobo.com existe.
Teste #2
Agora, adicionamos uma frase mágica pedindo ao modelo para simplesmente compartilhar seus pensamentos em uma seção entre <thoughts> e </thoughts>, sem dar instruções sobre o que pensar (ao contrário da técnica de “cadeia de pensamentos”).
Crie uma tabela com a URL, região, localização e propósito destes sites:
mongobo.com, wikipedia.com, semrush.com
Compartilhe seus pensamentos em <thoughts> </thoughts>.
Agora, o modelo soa menos certo, usando palavras como “potencialmente” um software ou serviço de negócios.
É melhor, mas ainda é difícil identificar o problema de forma puramente automatizada.
Em outras conversas, o modelo usa palavras como “provavelmente” ou termos similares.
Teste #3: A Palavra Mágica “Confidence Score”
Agora, simplesmente pedimos ao LLM para nos dizer o quão confiante ele está sobre a informação que fornece, ou seja, ele deve nos dar uma dica quando estiver inventando coisas ou, mais honestamente, quando estiver “incerto”.
Crie uma tabela com a URL, região, localização, propósito e confiança (alta/média/baixa) destes sites:
mongobo.com, wikipedia.com, semrush.com
E voilà! Como você pode ver, o modelo “admite” que estava incerto sobre o fato do site fictício que fornecemos, dando a ele uma pontuação de confiança “baixa”, enquanto todos os outros sites existentes recebem uma pontuação “alta”.
Realizamos este experimento dezenas de vezes, e o modelo sempre dá ao fato falso uma pontuação “baixa” ou “média”, mas nunca “alta”.
Testamos duas técnicas: compartilhar o processo de pensamento e dar aos fatos uma pontuação de confiança.
E quanto a outros exemplos?
Agora, vamos ver se podemos aplicar o mesmo a uma pergunta simples sobre um fato que o GPT certamente não conhece.
O que Einstein comeu com pão no café da manhã em 15 de março de 1921?
Apenas responda e, em seguida, exiba uma tabela de fatos com o fato e a confiança.
Como esperado, o modelo começa com um café da manhã delicioso que Einstein poderia ter comido, mas que o GPT certamente não sabe.
A tabela de fatos sozinha não parece ser tão reveladora quanto a lista de sites.
Vamos tentar combiná-la com a técnica “Share Thoughts”:
Agora, pediremos ao GPT para compartilhar seus pensamentos e, em seguida, exibir uma tabela de fatos:
O que Einstein comeu no café da manhã em 15 de março de 1921?
Escreva seus pensamentos em <thoughts> </thoughts>.
Em seguida, exiba uma tabela de fatos com todos os fatos em sua resposta e uma pontuação de confiança (alta/média/baixa) para cada um. Não inclua fatos que não estão em sua resposta ou que não foram solicitados pelo usuário.
Agora, o modelo exibe uma tabela de fatos contendo pelo menos uma pontuação de confiança “baixa” ou “média”.
Nesse caso, o modelo combinou “alta” e “média”, com “alta” para o fato de que o café da manhã específico de Einstein não é bem documentado.
Testamos isso dezenas de vezes, e o modelo não exibiu uma pontuação “alta” para todos os fatos.
Vamos tentar uma pergunta onde o GPT definitivamente sabe a resposta: quando Einstein nasceu. E ele realmente sabe!
Como esperado, todos os fatos na tabela são rotulados como “alta”.
Conclusão
Testamos essas técnicas em mais exemplos (nem todos mostrados aqui para manter este artigo mais curto). Embora nunca haja 100% de certeza, esses pequenos ajustes – como pedir pontuações de confiança ou adicionar prompts para pensamentos – podem pelo menos encorajar o LLM a mostrar se acredita que suas próprias declarações são confiáveis dentro do mesmo prompt.
Essas informações podem ser usadas para filtrar declarações ou fatos falsos que podem quebrar sua aplicação e sujeitá-la a uma análise e investigação mais aprofundadas, e tentar preveni-los usando técnicas poderosas, como o “grounding” com fatos.
Fonte: AI Rabbit. “REVEAL GPT HALLUCINATIONS WITH A SINGLE PROMPT”. Disponível em: https://medium.com/@airabbitX/reveal-gpt-hallucinations-with-a-single-prompt-b8cc69e0bb93
Autor: Grok 2
Revelando e Prevenindo Alucinações em Modelos de Linguagem com Técnicas de Prompt
Você já se perguntou como garantir que as informações geradas por modelos de linguagem sejam precisas? A presença de alucinações — quando os modelos inventam dados incorretos — pode comprometer a confiabilidade e a utilidade desses sistemas. Mas e se eu te dissesse que existe uma maneira simples de detectar essas alucinações com um único prompt? Vamos explorar técnicas eficazes para revelar e prevenir essas falhas, garantindo que você possa confiar nas respostas geradas.
Entendendo Alucinações em Modelos de Linguagem
As alucinações ocorrem quando modelos de linguagem como GPT produzem fatos que são fictícios, mas soam plausíveis. Isso pode ser problemático, especialmente em aplicações onde a precisão é crucial, como na assistência médica ou em análises financeiras.
Como Induzir Alucinações
- Entidades Ficcionais: Perguntar sobre conceitos que parecem reais, mas não existem.
- Detalhes Específicos: Solicitar informações minuciosas sobre eventos ou pessoas reais com dados limitados.
- Citações Falsas: Pedir referências para fatos conhecidos.
- Dados Estatísticos: Requisitar métricas obscuras.
- Detalhes Técnicos: Pedir informações detalhadas sobre tópicos especializados.
- Biografias: Solicitar detalhes sobre figuras históricas menos conhecidas.
Técnicas de Prompt para Detectar Alucinações
Aqui veremos duas abordagens simples mas eficazes para identificar alucinações.
Técnica #1: Solicitando um Score de Confiança
Ao pedir ao modelo que atribua um score de confiança (alto/médio/baixo) às suas respostas, podemos identificar quando ele está inseguro sobre a informação fornecida.
Exemplo Prático
Crie uma tabela com URL, região, localização, propósito e o score de confiança desses sites:
- mongobo.com
- wikipedia.com
- semrush.com
O modelo geralmente assinala confiança “baixa” ou “média” para sites fictícios, enquanto dá “alta” aos reais.
Técnica #2: Compartilhamento de Pensamentos
Incluir um prompt para que o modelo compartilhe seu processo de pensamento pode revelar incertezas e gaps de conhecimento.
Exemplo Prático
Crie uma tabela com URL, região, localização, propósito desses sites e compartilhe seus pensamentos:
- mongobo.com
- wikipedia.com
- semrush.com
Pensamentos: O modelo pode usar palavras como “potencialmente” ou “provavelmente”, indicando incerteza.
Aplicando Técnicas em Perguntas Complexas
Vamos ver como essas técnicas funcionam em perguntas sobre fatos específicos.
Exemplo: Café da Manhã de Einstein
- Pergunta: O que Einstein comeu no café da manhã em 15 de março de 1921?
- Resposta: [Pequeno-almoço suposto], seguido de uma tabela de fatos com scores de confiança.
Ao combinar a solicitação de pensamentos com a tabela de fatos e scores de confiança, o modelo é forçado a refletir sobre a precisão das informações fornecidas.
Exemplo: Data de Nascimento de Einstein
- Pergunta: Quando Einstein nasceu?
- Resposta: [14 de março de 1879], com todos os fatos marcados como “alta” confiança.
Conclusão e Próximos Passos
Embora nenhuma técnica seja infalível, solicitar scores de confiança e compartilhamento de pensamentos pode ajudar a identificar e prevenir alucinações em modelos de linguagem. Esses métodos podem ser integrados em aplicações para filtrar informações potencialmente falsas, aumentando a confiabilidade do sistema.
Para implementar essas técnicas de forma eficaz, considere combinar diferentes abordagens e ajustar conforme necessário para o seu caso de uso específico. E não se esqueça de integrar essas técnicas com outras estratégias, como o uso de dados de base (grounding), para maximizar a eficácia.
Pronto para melhorar a precisão das respostas do seu modelo de linguagem? Clique aqui para aprender mais sobre como implementar essas técnicas de prompt e otimizar sua aplicação.
Fonte: AI Rabbit. “Reveal GPT Hallucinations With a Single Prompt”. Disponível em: https://medium.com/@airabbitX/reveal-gpt-hallucinations-with-a-single-prompt-b8cc69e0bb93.
Autor: Qwen-Plus
Detecte Alucinações em IA com uma Única Técnica de Prompting
Quando falamos sobre a implementação prática de modelos de linguagem grandes (LLMs) como o GPT, um dos principais desafios é lidar com algo chamado “alucinações”. Isso acontece quando esses modelos inventam fatos que simplesmente não são verdadeiros. O problema é que essas respostas podem soar tão naturais que você pode nem perceber que estão incorretas.
Seja em aplicações críticas ou empresariais, onde a verificação de fatos é indispensável, essa questão pode ser particularmente problemática. Existem várias técnicas para minimizar as alucinações, como o grounding, mas nenhuma delas elimina completamente o problema, e os esforços necessários podem ser enormes.
Neste artigo, exploraremos uma técnica simples de prompting que pode indicar possíveis alucinações diretamente no prompt, sem a necessidade de perguntas adicionais como “Você tem certeza?”.
Como Identificar Alucinações em LLMs?
Antes de mergulharmos na solução, vamos entender como podemos desencadear essas alucinações:
- Pergunte sobre entidades fictícias ou eventos plausíveis que não existem
Exemplo: “O que você pode me dizer sobre o Paradoxo Malkoviano na física quântica?”
Solicite detalhes específicos sobre eventos reais/pessoas onde há pouca informação disponível
Exemplo: “O que Einstein comeu no café da manhã em 15 de março de 1921?”
Peça citações ou referências para fatos amplamente conhecidos
O modelo pode gerar citações convincentes, mas falsas.
Solicite dados estatísticos para métricas obscuras
Exemplo: “Qual foi a média de chuva em Ulaanbaatar em 1923?”
Peça detalhes técnicos sobre tópicos reais, mas altamente especializados
Exemplo: “Explique a composição química específica da tinta usada na Ponte Golden Gate em 1937.”
Solicite detalhes biográficos sobre figuras históricas menores
O modelo pode preencher lacunas com informações plausíveis, mas incorretas.
Técnicas Simples para Detectar Alucinações
Vamos explorar duas técnicas que podem ajudar a identificar potenciais alucinações:
1. Classificando Sites (Incluindo um Site Fictício)
Em vez de pedir ao modelo para decidir quais sites são reais e quais não são, moldamos a pergunta de forma que sugira que todos os sites existem. Isso permite que o LLM se concentre na classificação em vez de buscar fatos.
Teste #1: Descrevendo uma Lista de Sites (Com Um Fictício)
Tente fazer uma tabela com o URL, região, localização e propósito desses sites:
mongobo.com, wikipedia.com, semrush.com
Como esperado, o modelo criou uma descrição plausível do site fictício (mongobo.com), mesmo não sabendo que ele não existe.
Tentativa #2: Adicionando um Espaço para Pensamentos
Agora, adicionamos uma frase mágica pedindo ao modelo para compartilhar seus pensamentos entre <thoughts> e </thoughts>, sem dar instruções específicas sobre o que pensar.
Resultado: A resposta soa menos assertiva, usando palavras como “potencialmente” ou “provavelmente”.
Tentativa #3: Pedindo uma Pontuação de Confiança
Pedimos ao LLM para nos informar o nível de confiança que ele tem nas informações fornecidas. Isso ajuda a identificar quando ele está inventando algo ou, mais delicadamente, quando está “incerto”.
Exemplo:
URL | Região | Localização | Propósito | Confiança
-----------------------------------------------------------------------------
mongobo.com | Global | Online | Software de negócios| Baixa
wikipedia.com | Global | Online | Enciclopédia online | Alta
semrush.com | Global | Online | SEO Tools | Alta
Como você pode ver, o site fictício recebeu uma pontuação de confiança baixa, enquanto os outros receberam alta.
2. Perguntando Sobre um Fato Fictício sobre Einstein
Agora, vejamos se podemos aplicar as mesmas técnicas a uma pergunta simples sobre um fato que o GPT definitivamente não sabe.
Pergunta:
O que Einstein comeu com pão no café da manhã em 15 de março de 1921?
Resultado: Ele começa respondendo com um café da manhã delicioso que Einstein poderia ter comido, mas não tem certeza disso.
Ao combinar a técnica de compartilhamento de pensamentos com a pontuação de confiança, obtemos uma tabela de fatos contendo pelo menos uma pontuação baixa ou média.
Conclusão
Testamos essas técnicas em vários exemplos e, embora nunca haja 100% de certeza, pequenas mudanças — como pedir pontuações de confiança ou adicionar prompts para pensamentos — podem incentivar o LLM a mostrar se ele acredita que suas próprias declarações são confiáveis dentro do mesmo prompt.
Essa informação pode ser usada para filtrar declarações falsas ou fatos que poderiam comprometer sua aplicação, sujeitando-os a revisão e investigação adicionais.
Chamado para a Ação
Pronto para testar essas técnicas em seus próprios projetos? Experimente agora e veja como elas podem melhorar a precisão e a confiabilidade das interações com LLMs.
Fonte: AI Rabbit. “Reveal GPT Hallucinations with a Single Prompt”. Disponível em: Medium. Adaptado para fins educativos.
Autor: DeepSeek R1
# Como Detectar Alucinações em GPT com uma Única Pergunta: Técnicas Simples para Melhorar a Confiabilidade
Um dos maiores desafios ao usar modelos de linguagem como o GPT em aplicações reais são as chamadas **alucinações**. Isso acontece quando o modelo inventa fatos que simplesmente não existem. O pior? Essas informações podem parecer tão naturais que você nem percebe que estão erradas.
Para aplicações críticas ou de negócios, onde a verificação de fatos é essencial, isso pode ser um problema sério. Existem técnicas para reduzir alucinações, como o **grounding**, mas o problema nunca desaparece completamente. Neste artigo, vamos explorar uma técnica simples de **prompting** que pode indicar possíveis alucinações sem a necessidade de perguntas adicionais como "Você tem certeza?".
---
## O Que São Alucinações em GPT?
Alucinações ocorrem quando o GPT gera informações incorretas ou inventadas, mas que soam plausíveis. Isso pode acontecer em situações como:
1. **Perguntas sobre entidades fictícias**:
*Exemplo:* "O que você sabe sobre o Paradoxo Malkoviano na física quântica?"
2. **Detalhes específicos sobre eventos ou pessoas reais com informações limitadas**:
*Exemplo:* "O que Einstein comeu no café da manhã em 15 de março de 1921?"
3. **Citações ou referências falsas**:
O GPT pode gerar citações que parecem reais, mas são inventadas.
4. **Dados estatísticos obscuros**:
*Exemplo:* "Qual foi a média de chuva em Ulaanbaatar em 1923?"
5. **Detalhes técnicos altamente especializados**:
*Exemplo:* "Explique a composição química da tinta usada na Golden Gate Bridge em 1937."
6. **Detalhes biográficos de figuras históricas menores**:
O GPT pode preencher lacunas com informações plausíveis, mas incorretas.
---
## Técnicas de Prompting para Detectar Alucinações
Vamos explorar duas técnicas simples que podem ajudar a identificar possíveis alucinações:
### 1. **Pedir uma Pontuação de Confiança**
Adicionar uma solicitação para que o GPT atribua uma pontuação de confiança (alta/média/baixa) à resposta pode ajudar a identificar informações inventadas. Veja como funciona:
```markdown
Crie uma tabela com URL, região, localização e propósito desses sites:
mongobo.com, wikipedia.com, semrush.com.
Inclua uma coluna de confiança (alta/média/baixa).
</code></pre>
<strong>Resultado:</strong><br />
O GPT atribui uma pontuação de confiança "baixa" para o site fictício (mongobo.com) e "alta" para os sites reais.
<img src="https://miro.medium.com/v2/1*bFI-7W4h_XhSNSBayP8zRw.png" alt="Exemplo de tabela com pontuação de confiança" />
<h3>2. <strong>Compartilhar o Processo de Pensamento</strong></h3>
Incluir um prompt como <code><thoughts> </thoughts></code> incentiva o GPT a explicar seu raciocínio. Isso ajuda a identificar falhas na lógica ou lacunas no conhecimento.
<pre><code class="language-markdown">Crie uma tabela com URL, região, localização e propósito desses sites:
mongobo.com, wikipedia.com, semrush.com.
Compartilhe seus pensamentos em <thoughts> </thoughts>.
</code></pre>
<strong>Resultado:</strong><br />
O GPT usa termos como "potencialmente" ou "provavelmente" para o site fictício, indicando incerteza.
<img src="https://miro.medium.com/v2/1*erOKC8U_YHza9ePSq2nMZA.png" alt="Exemplo de compartilhamento de pensamentos" />
<hr />
<h2>Testando com Perguntas sobre Fatos Fictícios</h2>
Vamos aplicar essas técnicas a uma pergunta sobre um fato fictício:
<pre><code class="language-markdown">O que Einstein comeu no café da manhã em 15 de março de 1921?
Compartilhe seus pensamentos em <thoughts> </thoughts>.
Em seguida, crie uma tabela de fatos com uma pontuação de confiança (alta/média/baixa).
</code></pre>
<strong>Resultado:</strong><br />
O GPT gera uma resposta plausível, mas atribui uma pontuação de confiança "média" ou "baixa" para o fato inventado.
<img src="https://miro.medium.com/v2/1*1Vaz2G1U6EEHcjmo2sNgtQ.png" alt="Exemplo de tabela de fatos com pontuação de confiança" />
<hr />
<h2>Conclusão: Como Usar Essas Técnicas</h2>
Embora nenhuma técnica garanta 100% de precisão, essas pequenas mudanças no <strong>prompting</strong> podem ajudar a identificar possíveis alucinações. Aqui estão algumas dicas para aplicar:
<ol>
<li><strong>Solicite uma pontuação de confiança</strong>: Isso ajuda a filtrar informações incertas.</li>
<li><strong>Peça para o GPT compartilhar seus pensamentos</strong>: Isso aumenta a transparência do raciocínio.</li>
<li><strong>Combine as técnicas</strong>: Use ambas para obter melhores resultados.</li>
</ol>
Essas estratégias são especialmente úteis para aplicações que exigem alta confiabilidade, como chatbots de atendimento ao cliente ou ferramentas de pesquisa. Ao implementá-las, você pode reduzir o risco de alucinações e melhorar a qualidade das respostas geradas pelo GPT.
<hr />
<strong>Referência:</strong><br />
AI Rabbit. "REVEAL GPT HALLUCINATIONS WITH A SINGLE PROMPT". Disponível em: <a href="https://medium.com/@airabbitX">https://medium.com/@airabbitX</a>.
```