Estados Unidos - A Inteligência Artificial (IA) generativa é uma ótima ferramenta, mas é bom ter cuidado. Pelo menos é o que mostra um estudo do Centro Tow de Jornalismo Digital da Columbia Journalism Review (CJR), nos Estados Unidos, que revelou sérios problemas de precisão com modelos da ferramenta usados para buscas de notícias.

Quando uma IA generativa erra, o termo que se usa para isso é “Alucinação”, quer dizer, a ferramenta afirmou algo falso, apresentou informação incorreta com confiança e segurança, como se fosse verdadeira. Ocorre quando a IA, em vez de recusar responder por falta de informação confiável, fornece respostas plausíveis, mas incorretas e especulativas.

Os pesquisadores usaram oito ferramentas de busca baseadas em IA. Eles forneceram partes de artigos de notícias reais e pediram aos modelos que identificassem a manchete original, o editor, data de postagem e o endereço de internet de cada publicação.

Qual não foi a surpresa dos pesquisadores ao verem que os modelos de IA citaram fontes incorretamente em mais de 60% das consultas , levantando preocupações significativas sobre sua confiabilidade na atribuição correta de conteúdo noticioso.

A atribuição no contexto da IA generativa em relação ao conteúdo jornalístico refere-se ao ato de creditar ou vincular corretamente a informação gerada por seu autor, editor ou fonte original. Quando uma IA não faz atribuição corretamente, pode direcionar os usuários a URLs fabricados ou quebrados ou para versões como o Yahoo News, em vez do site onde a notícia foi publicada originalmente.

Ranking de erros

A falha na resposta aos pedidos feitos na pesquisa levanta questões mais amplas sobre a confiabilidade geral da IA. O estudo revelou que:

• O Grok 3 demonstrou a maior taxa de erro, 94%.
• O ChatGPT Search identificou incorretamente 67% (134 de 200) dos artigos consultados.
• O Perplexity forneceu informações incorretas em 37% das consultas testadas.

No total, os pesquisadores realizaram 1.600 consultas nas oito diferentes ferramentas de busca generativa.

Outro ponto que ficou claro na pesquisa é que, nos modelos de IA estudados, uma tendência deles é, em vez de recusar responder quando falta informação confiável, fornecer respostas que parecem plausíveis, mas que são incorretas ou especulativas.

Lamentavelmente, os pesquisadores disseram que esse tipo de ação foi consistente em todos os modelos testados.

Versões Premium pioram o cenário

As versões pagas se saíram ainda pior em certos aspectos.

O Perplexity Pro (US$ 20/mês) e o serviço premium do Grok 3 (US$ 40/mês) deram respostas incorretas com confiança mais frequentemente do que suas contrapartes gratuitas.

Embora esses modelos premium tenham respondido corretamente a um número maior de comandos, sua relutância em recusar respostas incertas elevou as taxas de erro geral.

Mais problemas encontrados

O estudo revelou ainda outras questões importantes:

Ignorando o Protocolo de Exclusão de Robôs: Algumas IAs ignoraram as configurações do Protocolo de Exclusão de Robôs (um padrão que editores usam para solicitar que web crawlers evitem acessar conteúdo específico). A versão gratuita do Perplexity, por exemplo, identificou corretamente todos os 10 trechos do conteúdo do National Geographic com paywall, mesmo com o National Geographic proibindo explicitamente os web crawlers do Perplexity.

Fontes Incorretas: Mesmo quando as ferramentas de busca de IA citavam fontes, elas frequentemente direcionavam os usuários para versões atreladas ao conteúdo em plataformas como o Yahoo News, em vez dos sites dos editores originais. Isso ocorreu mesmo em casos em que os editores tinham acordos formais de licenciamento com as empresas de IA.

URLs Quebradas: Mais da metade das citações do Gemini (do Google) e do Grok 3 levavam os usuários a URLs fabricados ou quebrados, resultando em páginas de erro. Das 200 citações testadas do Grok 3, 154 resultaram em links quebrados.

Estes fatos criam uma tensão para quem usa IA: bloquear os crawlers pode levar à perda total de atribuição, enquanto permiti-los autoriza a reutilização generalizada sem direcionar o tráfego de volta aos websites dos próprios editores.

A OpenAi e a Microsoft se manifestaram à CJR, prometendo apoiar os editores por meio de resumos, citações, links claros e atribuição, e aderindo aos Protocolos de Exclusão de Robôs e às diretrizes dos editores, respectivamente.

Foto: Canva