Publishers reforçam o controlo sobre o acesso da IA aos seus conteúdos

A Cloudflare anunciou novos controlos para os chamados mixed-use crawlers, bots que podem ser utilizados tanto para indexação em motores de pesquisa como para o treino de modelos de inteligência artificial ou para tarefas de agentes de IA. A partir de 15 de setembro, a empresa passará a aplicar uma configuração predefinida que permitirá o rastreio para pesquisa, mas bloqueará a utilização dos conteúdos para treino de IA e agentes nas páginas com publicidade.

A medida surge um ano depois de a Cloudflare ter disponibilizado aos publishers a possibilidade de bloquear, por defeito, os rastreadores de inteligência artificial, refletindo a evolução do ecossistema de acesso automatizado a conteúdos, onde coexistem bots identificados, rastreadores de utilização mista e uma crescente atividade de scraping difícil de controlar.

Separar a pesquisa do treino de IA

Segundo explicou Stephanie Cohen, Chief Strategy Officer da Cloudflare, o objetivo é evitar que os proprietários de websites tenham de escolher entre manter a sua visibilidade nos motores de pesquisa ou permitir que os seus conteúdos sejam utilizados gratuitamente para treinar sistemas de inteligência artificial.

A empresa reconhece que continua a trabalhar com alguns dos principais operadores de pesquisa para encontrar mecanismos que permitam manter a indexação sem autorizar automaticamente outros usos relacionados com IA. A Cloudflare evita confirmar se este sistema poderá ser aplicado, para já, a rastreadores como o Googlebot, mas considera que o modelo atual é insustentável para o ecossistema de conteúdos.

O problema do scraping continua

Embora as novas configurações afetem os rastreadores que se identificam corretamente, vários especialistas ouvidos pela Digiday consideram que o maior desafio continua a ser o chamado mercado cinzento do scraping. Chris Dicker, CEO da Candr Media, defende que os operadores com maior capacidade financeira conseguem contornar estas restrições através de proxies residenciais ou adquirindo dados previamente recolhidos por terceiros. Na sua perspetiva, o impacto da iniciativa dependerá, em grande medida, de uma parte significativa dos websites protegidos pela Cloudflare manter a configuração predefinida, reduzindo assim o volume de conteúdos disponíveis para recolha gratuita.

Por sua vez, Frederick Jahn afirma que uma parte relevante do tráfego automatizado dos grandes meios de comunicação corresponde a rastreadores que imitam o comportamento humano e não se identificam como bots. Segundo as suas estimativas, enquanto entre 20% e 30% do tráfego corresponde a rastreadores identificados, cerca de um quarto do tráfego total será gerado por sistemas de scraping encobertos. Jahn considera que os publishers devem reforçar as suas medidas de proteção através de verificações de utilizador, do bloqueio sistemático de rastreadores não essenciais e da utilização de ferramentas de deteção mais avançadas, aumentando o custo técnico e económico do scraping em larga escala.

Um modelo alternativo baseado no pagamento por utilização

Paralelamente ao modelo atual de recolha de conteúdos, a Cloudflare participa também numa iniciativa em conjunto com a Ceramic, uma empresa de pesquisa para inteligência artificial fundada por Anna Patterson, antiga vice-presidente de Engenharia da Google.

A proposta passa por disponibilizar uma API de pesquisa que permita aos modelos de IA aceder a excertos de conteúdos previamente rastreados, registando que publicações são utilizadas em cada consulta. Em vez de remunerar os publishers apenas quando um conteúdo é citado na resposta final, a Ceramic propõe compensá-los sempre que um dos seus excertos seja enviado ao modelo de IA para gerar uma resposta.

Segundo Anna Patterson, esta abordagem poderá reduzir os custos de acesso à informação para as empresas de inteligência artificial, diminuir a necessidade de realizar novos rastreios contínuos e criar uma fonte de receita recorrente para os meios de comunicação baseada na utilização efetiva dos seus conteúdos.

O projeto encontra-se atualmente em fase piloto, mas os seus responsáveis acreditam que este tipo de acordos poderá constituir uma alternativa ao atual mercado de scraping não autorizado, promovendo modelos de licenciamento mais transparentes entre as empresas de IA e os publishers.