Verificação de fatos e alucinações de IA | IA nos negócios #110

No mundo da inteligência artificial, as linhas entre ficção e realidade às vezes se confundem. Enquanto sistemas de IA inovadores estão acelerando o progresso em quase todos os campos, eles também trazem desafios, como alucinações – um fenômeno onde a IA gera informações imprecisas ou falsas. Para aproveitar plenamente o potencial dessa tecnologia, precisamos entender as alucinações e a verificação de fatos.

O que são alucinações de IA?

Alucinações de IA são resultados falsos ou enganosos gerados por modelos de IA. Esse fenômeno tem suas raízes no coração do aprendizado de máquina – um processo no qual algoritmos usam enormes conjuntos de dados, ou dados de treinamento, para reconhecer padrões e gerar respostas de acordo com os padrões observados.

Mesmo os modelos de IA mais avançados não estão livres de erros. Uma das causas das alucinações é a imperfeição dos dados de treinamento. Se o conjunto de dados for insuficiente, incompleto ou tendencioso, o sistema aprende correlações e padrões incorretos, o que leva à produção de conteúdo falso.

Por exemplo, imagine um modelo de IA para reconhecimento facial que foi treinado principalmente com fotos de pessoas caucasianas. Nesse caso, o algoritmo pode ter dificuldades em identificar corretamente pessoas de outros grupos étnicos porque não foi “treinado” adequadamente nesse aspecto.

Outra causa das alucinações é o overfitting, que ocorre quando o algoritmo se adapta muito de perto ao conjunto de dados de treinamento. Como resultado, ele perde a capacidade de generalizar e reconhecer corretamente novos padrões, previamente desconhecidos. Tal modelo se sai bem nos dados de treinamento, mas falha em condições reais e dinâmicas.

Finalmente, as alucinações podem resultar de suposições falhas ou de uma arquitetura de modelo inadequada. Se os designers de IA basearem sua solução em premissas erradas ou usarem a estrutura algorítmica errada, o sistema gerará conteúdo falso em uma tentativa de “combinar” essas suposições falhas com dados reais.

Fonte: DALL·E 3, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Exemplos de alucinações

O impacto das alucinações de IA vai muito além do reino da teoria. Cada vez mais, estamos encontrando manifestações reais, às vezes surpreendentes, delas. Aqui estão alguns exemplos desse fenômeno:

• Em maio de 2023, um advogado usou o ChatGPT para preparar uma ação judicial que incluía citações fictícias de decisões judiciais e precedentes legais inexistentes. Isso levou a sérias consequências – o advogado foi multado, pois alegou que não sabia nada sobre a capacidade do ChatGPT de gerar informações falsas,
• acontece que o ChatGPT cria informações falsas sobre pessoas reais. Em abril de 2023, o modelo fabricou uma história sobre o suposto assédio de alunos por um professor de direito. Em outro caso, acusou falsamente um prefeito australiano de receber subornos, quando, na verdade, ele era um delator expondo tais práticas.

Esses não são casos isolados – modelos de IA generativa frequentemente inventam “fatos” históricos, por exemplo, fornecendo registros falsos de travessias do Canal da Mancha. Além disso, eles podem criar informações falsas completamente diferentes sobre o mesmo assunto a cada vez.

No entanto, as alucinações de IA não são apenas um problema de dados falhos. Elas também podem assumir formas bizarras e perturbadoras, como no caso do Bing, que declarou estar apaixonado pelo jornalista Kevin Roose. Isso mostra que os efeitos dessas anomalias podem ir além de simples erros factuais.

Finalmente, as alucinações podem ser induzidas deliberadamente por ataques especiais a sistemas de IA, conhecidos como ataques adversariais. Por exemplo, alterar ligeiramente uma foto de um gato fez com que o sistema de reconhecimento de imagem a interpretasse como …. “guacamole.” Esse tipo de manipulação pode ter consequências sérias em sistemas onde o reconhecimento preciso de imagens é crucial, como em veículos autônomos.

Como prevenir alucinações?

Apesar da magnitude do desafio apresentado pelas alucinações de IA, existem maneiras eficazes de combater o fenômeno. A chave é uma abordagem abrangente que combine:

• dados de treinamento de alta qualidade,
• prompts relevantes, ou seja, comandos para a IA,
• fornecer diretamente conhecimento e exemplos para a IA usar,
• supervisão contínua por humanos e pela própria IA para melhorar os sistemas de IA.

Prompts

Uma das ferramentas-chave na luta contra as alucinações são prompts adequadamente estruturados, ou comandos e instruções dados ao modelo de IA. Muitas vezes, pequenas mudanças no formato do prompt são suficientes para melhorar significativamente a precisão e a confiabilidade das respostas geradas.

Um excelente exemplo disso é o Claude 2.1 da Anthropic. Enquanto usar um contexto longo deu 27% de precisão sem um comando relevante, adicionar a frase “Aqui está a frase mais relevante do contexto: ” ao prompt aumentou a eficácia para 98%.

Essa mudança forçou o modelo a se concentrar nas partes mais relevantes do texto, em vez de gerar respostas com base em frases isoladas que foram tiradas de contexto. Isso destaca a importância de comandos bem formulados na melhoria da precisão dos sistemas de IA.

Criar prompts detalhados e específicos que deixem o mínimo espaço para interpretação da IA também ajuda a reduzir o risco de alucinações e facilita a verificação de fatos. Quanto mais claro e específico for o prompt, menor a chance de alucinação.

Exemplos

Além de prompts eficientes, existem muitas outras métodos para reduzir o risco de alucinações de IA. Aqui estão algumas das principais estratégias:

• usar dados de treinamento de alta qualidade e diversos que representem de forma confiável o mundo real e possíveis cenários. Quanto mais ricos e completos forem os dados, menor o risco de a IA gerar informações falsas,
• usar modelos de dados como guia para as respostas da IA – definindo formatos, escopos e estruturas de saída aceitáveis, o que aumenta a consistência e a precisão do conteúdo gerado,
• limitar as fontes de dados apenas a materiais confiáveis e verificados de entidades de confiança. Isso elimina o risco de que o modelo “aprenda” informações de fontes incertas ou falsas.

Testes e refinamentos contínuos dos sistemas de IA, com base na análise de seu desempenho e precisão reais, permitem a correção contínua de quaisquer deficiências e possibilitam que o modelo aprenda com os erros.

Contexto

Definir adequadamente o contexto em que os sistemas de IA operam também desempenha um papel importante na prevenção de alucinações. O propósito para o qual o modelo será usado, bem como as limitações e responsabilidades do modelo, devem ser claramente definidos.

Essa abordagem possibilita estabelecer um quadro claro para a operação da IA, reduzindo o risco de que ela “crie” informações indesejadas. Salvaguardas adicionais podem ser fornecidas pelo uso de ferramentas de filtragem e definição de limites de probabilidade para resultados aceitáveis.

Aplicar essas medidas ajuda a estabelecer caminhos seguros para a IA seguir, aumentando a precisão e a confiabilidade do conteúdo que ela gera para tarefas e domínios específicos.

Fonte: Ideogram, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Verificação de fatos. Como verificar os resultados do trabalho com IA?

Independentemente das precauções tomadas, uma certa quantidade de alucinações por sistemas de IA é, infelizmente, inevitável. Portanto, um elemento chave que garante a confiabilidade dos resultados obtidos é a verificação de fatos – o processo de verificar fatos e dados gerados pela IA.

Revisar os resultados da IA quanto à precisão e consistência com a realidade deve ser considerado uma das principais salvaguardas contra a disseminação de informações falsas. A verificação humana ajuda a identificar e corrigir quaisquer alucinações e imprecisões que os algoritmos não conseguiram detectar por conta própria.

Na prática, a verificação de fatos deve ser um processo cíclico, no qual o conteúdo gerado pela IA é regularmente examinado em busca de erros ou declarações questionáveis. Uma vez identificados, é necessário não apenas corrigir a declaração gerada pela IA, mas também atualizar, complementar ou editar os dados de treinamento do modelo de IA para evitar que problemas semelhantes se repitam no futuro.

Importante, o processo de verificação não deve se limitar a simplesmente rejeitar ou aprovar trechos questionáveis, mas deve envolver ativamente especialistas humanos com conhecimento aprofundado na área. Somente eles podem avaliar adequadamente o contexto, a relevância e a precisão das declarações geradas pela IA e decidir sobre possíveis correções.

A verificação humana, portanto, fornece uma “salvaguarda” necessária e difícil de superestimar para a confiabilidade do conteúdo da IA. Até que os algoritmos de aprendizado de máquina alcancem a perfeição, esse processo tedioso, mas crucial, deve permanecer uma parte integrante do trabalho com soluções de IA em qualquer setor.

Como se beneficiar das alucinações de IA?

Embora as alucinações de IA sejam geralmente um fenômeno indesejável que deve ser minimizado, elas podem encontrar aplicações surpreendentemente interessantes e valiosas em algumas áreas únicas. Explorar engenhosamente o potencial criativo das alucinações oferece novas e muitas vezes completamente inesperadas perspectivas.

A arte e o design são áreas onde as alucinações de IA podem abrir direções criativas totalmente novas. Ao aproveitar a tendência dos modelos de gerar imagens surreais e abstratas, artistas e designers podem experimentar novas formas de expressão, borrando as linhas entre arte e realidade. Eles também podem criar mundos únicos e oníricos – anteriormente inacessíveis à percepção humana.

No campo da visualização e análise de dados, por sua vez, o fenômeno da alucinação oferece a oportunidade de descobrir perspectivas alternativas e correlações inesperadas em conjuntos complexos de informações. Por exemplo, a capacidade da IA de identificar correlações imprevisíveis pode ajudar a melhorar a forma como as instituições financeiras tomam decisões de investimento ou gerenciam riscos.

Finalmente, o mundo dos jogos de computador e do entretenimento virtual também pode se beneficiar das aberrações criativas da IA. Os criadores dessas soluções podem usar alucinações para gerar mundos virtuais totalmente novos e cativantes. Ao infundi-los com um elemento de surpresa e imprevisibilidade, eles podem proporcionar aos jogadores uma experiência imersiva incomparável.

Claro, qualquer uso desse lado “criativo” das alucinações de IA deve ser cuidadosamente controlado e sujeito a rigorosa supervisão humana. Caso contrário, a tendência de criar ficção em vez de fatos pode levar a situações perigosas ou socialmente indesejáveis. A chave, portanto, é pesar habilmente os benefícios e riscos do fenômeno e usá-lo de forma responsável apenas dentro de um quadro seguro e estruturado.

Verificação de fatos e alucinações de IA – resumo

A emergência do fenômeno das alucinações em sistemas de IA é um efeito colateral inevitável da revolução que estamos testemunhando neste campo. As distorções e informações falsas geradas por modelos de IA são o lado oposto de sua imensa criatividade e capacidade de assimilar colossais quantidades de dados.

Por enquanto, a única maneira de verificar a validade do conteúdo gerado pela IA é por meio da verificação humana. Embora existam vários métodos para reduzir alucinações, desde técnicas de prompting até métodos complexos como Truth Forest, nenhum deles pode ainda fornecer uma precisão de resposta satisfatória que eliminaria a necessidade de verificação de fatos.

Se você gosta do nosso conteúdo, junte-se à nossa comunidade de abelhas ocupadas no Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.