Detectores de conteúdo de IA. Vale a pena? | IA nos negócios #38

Hoje, os desenvolvedores de detectores de conteúdo de IA os apresentam como ferramentas para garantir a autenticidade. A questão é: eles valem a confiança e o investimento? Neste artigo, vamos analisar como funcionam os detectores de conteúdo de IA, por que eles podem se tornar obsoletos, quais desafios eles trazem e os dilemas éticos que eles apresentam.

Detectores de conteúdo de IA

Os detectores de conteúdo de IA são baseados em modelos de linguagem semelhantes aos usados para gerar conteúdo de IA. Eles podem ser divididos em aqueles cuja tarefa é verificar a origem de imagens, textos e músicas gerados com o apoio da inteligência artificial. Cada tipo de “detector de IA” funciona de maneira ligeiramente diferente, mas nenhum deles pode distinguir com absoluta certeza entre conteúdo criado por humanos e conteúdo gerado por IA.

Os detectores de imagens geradas por IA estão desempenhando um papel cada vez mais importante devido ao poder da mídia de gerar notícias falsas. Eles analisam anomalias, estilos e padrões distintivos, e buscam sinais deixados por modelos como DALL-E.

Destaca-se entre os detectores usados para identificar imagens a ferramenta “AI or Not” da Optic, que utiliza bancos de dados de imagens gerados pelo Midjourney, DALL-E e Stable Diffusion. Embora os resultados sejam incertos, é um passo em direção ao desenvolvimento de métodos de identificação mais precisos no futuro.

Fonte: AI or Not (https://www.aiornot.com/)

Por trás da operação dos detectores de IA que reconhecem textos gerados por IA estão algoritmos avançados que analisam a estrutura e a escolha de palavras do texto, e então reconhecem padrões específicos de IA. Eles fazem uso de:

• classificadores – um algoritmo que classifica o texto e verifica estilo, tom e gramática. Por exemplo, uma descrição de produto que poderia se encaixar em qualquer produto do seu tipo pode ser classificada como uma criação de IA,
• embeddings (embeddings) – representações numéricas de palavras que permitem que as máquinas entendam o contexto de seu uso. É graças a eles que o programa “entende” que um texto com uma seleção monótona de palavras pode ser obra de IA,
• perplexidade – que é uma medida da imprevisibilidade de um texto. Textos escritos por humanos tendem a ter maior perplexidade, embora textos que são inerentemente simples, utilitários em forma típica, ou escritos por estrangeiros possam ser erroneamente classificados como gerados por IA,
• diversidade (burstiness) – esse fator descreve a variabilidade no comprimento e na estrutura das frases. Os humanos tendem a escrever textos mais variados do que a inteligência artificial.

Os elementos mencionados acima são usados em conjunto pelos detectores de conteúdo de IA para avaliar se estamos lidando com texto feito por humanos ou por máquinas.

Por que usar detectores de conteúdo de IA?

Os detectores de conteúdo de IA funcionam em uma variedade de campos – da educação ao marketing e recrutamento. Aqui estão as principais razões para tê-los como uma ferramenta para auxiliar na avaliação, mas não como prova definitiva de que o conteúdo foi gerado:

• Identificação de fotos modificadas por IA que retratam pessoas conhecidas – para detectar se a foto retrata uma situação real,
• Prevenção da desinformação – No contexto de combate à desinformação, detectores de conteúdo de IA eficazes ajudam moderadores de redes sociais a detectar a disseminação de informações falsas para identificar e eliminar conteúdo repetitivo gerado por bots,
• Limitação da publicação de textos de baixo valor – os detectores de conteúdo de IA podem ajudar editores a rejeitar textos que contenham informações genéricas geradas pelo ChatGPT, Bing ou Bard após digitar uma consulta simples.

No entanto, vale lembrar que a origem do texto não é a base para a redução da classificação de um site pelo Google. O blog do Google Search Center afirma que é fundamental para o Google “recompensar conteúdo de qualidade, independentemente de como é criado […]. A automação tem sido usada há muito tempo para gerar conteúdo útil, como resultados de esportes, previsões do tempo e transcrições. A IA pode abrir novos níveis de expressão e criatividade e ser uma ferramenta chave para apoiar a criação de ótimo conteúdo na web.”

Inconfiabilidade dos detectores de conteúdo de IA. Realidade ou mito?

Embora os detectores de conteúdo de IA sejam onipresentes, sua eficácia pode ser questionável. Os principais problemas são:

• baixa eficiência na detecção de conteúdo de IA,
• problemas com falsos positivos, assim como
• dificuldades em adaptar detectores a modelos de IA novos que estão rapidamente se diversificando e melhorando.

Testes realizados pela OpenAI mostraram que seu classificador reconheceu texto gerado pelo GPT apenas 26% das vezes. Um exemplo interessante da inconfiabilidade dos geradores pode ser visto em um experimento conduzido pela TechCrunch, que mostrou que a ferramenta GPTZero identificou corretamente cinco de sete textos gerados por IA. Enquanto o classificador da OpenAI identificou apenas um.

Fonte: GPTZero (https://gptzero.me/)

Além disso, há o risco de receber um falso positivo, ou seja, identificar texto escrito por um humano como gerado por IA. Por exemplo, o início do segundo capítulo de Dom Quixote, de Miguel de Cervantes, foi marcado pelo detector da OpenAI como mais provavelmente escrito por inteligência artificial.

Embora erros na análise de textos literários históricos possam ser tratados como uma curiosidade divertida, a situação se torna mais complicada quando queremos usar detectores como ferramentas para avaliar textos. A Constituição dos EUA foi marcada pelo ZeroGPT como 92,15% escrita por inteligência artificial. E, de acordo com um estudo publicado por pesquisadores da Universidade de Stanford, 61% dos ensaios do TOEFL escritos por estudantes não nativos de inglês foram classificados como gerados por IA. Infelizmente, não há dados sobre quão alto é o percentual de textos falsamente classificados como positivos em outros idiomas.

Outro problema é a mudança de classificação em execuções subsequentes do detector. Isso ocorre porque muitas vezes acontece que um detector como ZeroGPT ou Scribbr muda a classificação de fragmentos de texto, que marca como gerados por IA uma vez e como escritos por humanos outra vez.

Fonte: Scribbr (https://www.scribbr.com/ai-detector/)

Os detectores de imagens e vídeos de IA são usados principalmente para identificar deepfakes e outros conteúdos gerados por IA que podem ser usados para espalhar desinformação.

As ferramentas de detecção atuais, como Deepware, Illuminarty e FakeCatcher, não fornecem resultados de teste sobre sua confiabilidade. No contexto legal de detecção de material visual gerado por IA, há iniciativas para adicionar marcas d’água a imagens de IA. No entanto, essa é uma maneira muito pouco confiável – você pode facilmente baixar uma imagem sem marca d’água. O Midjourney adota uma abordagem diferente para a marcação de água, deixando para os usuários decidirem se desejam marcar uma imagem dessa forma.

Evitando a detecção de IA. É possível e como?

Os empreendedores devem estar cientes de que os detectores de conteúdo de IA não são um substituto para a avaliação de qualidade humana e não são sempre confiáveis. Seus problemas práticos de manutenção podem representar dificuldades consideráveis, assim como tentar evitar que seu conteúdo seja classificado como gerado por IA. Especialmente quando a IA é simplesmente uma ferramenta nas mãos de um profissional – ou seja, não é “conteúdo gerado por IA”, mas sim “conteúdo que foi criado em colaboração com IA.”

É relativamente simples adicionar alguém aos materiais gerados, de modo que a forma como são criados seja realmente difícil de detectar. Se a pessoa que usa IA generativa sabe qual efeito alcançar, pode simplesmente ajustar manualmente os resultados.

A questão básica reside na razão por trás de nossos desejos de evitar a detecção se o conteúdo foi gerado por IA.

• Se isso é uma questão ética e diz respeito, por exemplo, à autoria de pesquisas científicas publicadas – deve-se confiar na ética profissional do cientista e no uso responsável de ferramentas baseadas em IA.
• Se o empregador deseja que os funcionários optem por não usar IA – permanece um arranjo contratual para o uso de inteligência artificial generativa.

Isso também levanta a questão de se queremos promover o uso responsável da IA por meio de proibições e detratores (ZeroGPT e GPTZero!), ou por meio de uma valorização da transparência, construção de confiança e uso honesto de tecnologias avançadas.

Fonte: ZeroGPT (https://www.zerogpt.com/)

Resumo

A resposta à pergunta sobre se os detectores de conteúdo de IA valem a pena ser usados está longe de ser clara. Os detectores de conteúdo de IA ainda estão em desenvolvimento, e seu futuro é difícil de prever. Uma coisa é certa – eles evoluirão junto com o desenvolvimento da tecnologia de IA. Os avanços em IA, incluindo a crescente capacidade dos modelos de linguagem de imitar o estilo de escrita humano, significam que a detecção de conteúdo de IA pode se tornar ainda mais complicada. Para as empresas, isso é um sinal para acompanhar esses desenvolvimentos e não confiar apenas em ferramentas, mas em sua avaliação do conteúdo e sua adequação ao propósito para o qual foi criado. E usar a inteligência artificial em rápido desenvolvimento de forma sábia.

Se você gosta do nosso conteúdo, junte-se à nossa comunidade de abelhas ocupadas no Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.