A situação se complica ainda mais devido ao comportamento de rastreadores de IA, que frequentemente desrespeitam normas estabelecidas. Muitos ignoram as diretrizes presentes no arquivo robots.txt. Outros utilizam agentes de usuário falsos para simular comportamentos humanos, enquanto alguns alternam entre endereços IP residenciais para evitar bloqueios. Essas táticas forçam desenvolvedores individuais, como Xe Iaso, a implementar medidas drásticas para proteger seus repositórios de código.
O impacto dessa atividade é significativo, deixando a equipe de Confiabilidade do Site da Wikimedia sempre na defensiva. A cada hora gasta limitando bots ou enfrentando picos de tráfego, menos tempo sobra para apoiar colaboradores, usuários ou melhorias técnicas. Esse problema não afeta apenas plataformas de conteúdo. Ferramentas de revisão de código e rastreadores de bugs também são frequentemente alvo de scrapers, desviando ainda mais recursos.
Esses desafios refletem dificuldades mais amplas enfrentadas no ecossistema de coleta de dados para IA. Por exemplo, Daniel Stenberg, desenvolvedor do Curl, relatou o impacto de bug reports gerados por IA que consomem tempo valioso. Além disso, Drew DeVault, do SourceHut, destacou como bots acessam logs de sistemas, ultrapassando a frequência normal de uso humano.
Na tentativa de mitigar esses efeitos, plataformas abertas estão experimentando soluções técnicas, como desafios de prova de trabalho, armadilhas de resposta lenta, blocklists colaborativas para rastreadores e ferramentas comerciais, como o Labirinto de IA da Cloudflare. Essas iniciativas buscam equilibrar a infraestrutura projetada para humanos com a demanda em larga escala necessária para treinar IA.
O risco às plataformas de conhecimento aberto
Enquanto a Wikimedia reconhece o valor do acesso aberto ao conhecimento, deixa claro que enquanto o conteúdo é gratuito, a infraestrutura não é. Isso reforça a necessidade de práticas mais responsáveis no uso dos recursos digitais.
Sob a iniciativa “WE5: Uso Responsável da Infraestrutura”, a Wikimedia está focada em soluções sistemáticas para abordar esses desafios. O objetivo é orientar desenvolvedores a acessarem os dados de maneira menos onerosa e estabelecer limites sustentáveis, sem comprometer o princípio da abertura.
O problema central é que muitas empresas utilizam repositórios abertos para treinar modelos comerciais, mas não contribuem para manter a infraestrutura que suporta esses repositórios. Essa disparidade técnica ameaça a sustentabilidade de plataformas geridas por comunidades.
Uma melhor coordenação entre desenvolvedores de IA e provedores de recursos poderia resolver esses problemas por meio de APIs dedicadas, financiamento colaborativo para infraestrutura ou padrões de acesso mais eficientes. Sem essa colaboração prática, plataformas que possibilitaram os avanços da IA podem enfrentar dificuldades para manter seus serviços confiáveis. A mensagem da Wikimedia é clara: acesso livre não significa ausência de consequências.