A Amazon bloqueia discretamente bots de IA da Meta, Google ou Huawei

A Amazon está a intensificar os seus esforços para evitar que empresas de inteligência artificial extraiam dados do seu e-commerce. Para isso, adicionou recentemente seis rastreadores de IA ao seu ficheiro público robots.txt.

A alteração foi detetada por Juozas Kaziukėnas, um analista independente, que assinalou que o código atualizado do extenso site da Amazon agora inclui linguagem que proíbe bots de empresas como a Meta, Google, Huawei, Mistral e outras. “A Amazon está desesperadamente a tentar evitar que as empresas de IA treinem modelos com os seus dados”, escreveu Kaziukėnas numa publicação no LinkedIn na quinta-feira. “Acredito que já seja demasiado tarde para travar o treino de IA: os dados da Amazon já estão nos conjuntos de dados usados pelo ChatGPT e outros. Mas, definitivamente, a Amazon não está interessada em ajudar mais ninguém a construir o futuro do e-commerce com IA. Se esse é o futuro, a Amazon quer construí-lo por si própria”, comentou.

A atualização soma-se a restrições anteriores que a Amazon adicionou pelo menos há um mês, dirigidas a rastreadores do Claude da Anthropic, da Perplexity e a agentes do Project Mariner da Google, segundo refere o Digiday. Os ficheiros robots.txt são uma ferramenta padrão que os sites usam para dar instruções a rastreadores automatizados, como os motores de busca. Embora as restrições indicadas nos ficheiros robots.txt não sejam vinculativas, funcionam como sinais para os sistemas automatizados (isto é, se os rastreadores forem “bem-educados”, espera-se que respeitem o bloqueio), explicou Kaziukėnas.

Amazon defende o seu negócio publicitário

A medida destaca a postura cada vez mais agressiva da Amazon face a ferramentas de IA de terceiros que poderiam rastrear as suas páginas de produtos, monitorizar preços ou até tentar realizar compras automatizadas.

Para a Amazon, o que está em jogo é significativo. O seu marketplace não é apenas a maior fonte de dados de e-commerce do mundo, mas também a base de um negócio publicitário de 56 mil milhões de dólares, construído em torno dos compradores que navegam no seu site.

Permitir que ferramentas externas de IA mostrem produtos diretamente aos utilizadores poderia evitar a passagem pela loja da Amazon, comprometendo tanto o tráfego como as receitas publicitárias.

As mudanças da Amazon surgem pouco depois de a Shopify, fornecedora de tecnologia de e-commerce, ter introduzido um aviso no ficheiro robots.txt dos sites dos seus comerciantes, como noticiou a Modern Retail em julho. A “Política de robots e agentes” da Shopify exige que os agentes “compra por mim” incluam uma revisão humana e indica aos programadores que integrem a tecnologia de pagamento da Shopify nas suas ferramentas.

Em vez de nomear empresas específicas de IA, a política da Shopify aplica-se de forma geral a agentes automatizados. A Shopify associou-se à Perplexity e, segundo o Financial Times, está a preparar-se para integrar-se com a OpenAI e permitir transações através de chatbots com IA.

Uma abordagem rigorosa e restritiva

Em comparação, a Amazon parece estar a adotar uma abordagem mais rigorosa. Em vez de se adaptar a empresas externas de IA, optou por mantê-las à distância enquanto desenvolve as suas próprias ferramentas internas, como o Rufus, um chatbot de compras concebido para responder a perguntas dos utilizadores sobre produtos, comparar opções e fazer recomendações personalizadas.

Ainda assim, grupos editoriais como a Condé Nast e a Hearst já chegaram a acordos com a Amazon para ceder parte do seu conteúdo, a fim de alimentar o Rufus.

De acordo com uma revisão dos seus ficheiros robots.txt realizada pela Modern Retail, outras plataformas como a Walmart ou o eBay não realizaram alterações para bloquear bots de IA nos seus sites.

Mesmo assim, permanece a dúvida sobre se tais restrições podem ser sustentadas. Grande parte do catálogo da Amazon já foi extraída para conjuntos de dados de treino de IA, e os ficheiros robots.txt dependem do cumprimento voluntário.

Como expressou Kaziukėnas: “A Amazon é um tesouro de dados de e-commerce. É notável que a Amazon pareça ser a única que realmente está a lutar contra isto”.