- Cloudflare acusa a Perplexity de ignorar robots.txt e enmascarar o seu rastrexo con axentes de usuario e enderezos IP non declarados.
- A empresa afirma ter observado cambios no ASN e millóns de solicitudes diarias en decenas de miles de dominios.
- Perplexity nega as prácticas encubertas, cuestiona a metodoloxía e argumenta que a súa IA funciona de forma diferente á dun rastreador tradicional.
- Cloudflare elimina Perplexity como bot verificado e activa regras para bloquear o seguimento da IA por defecto.
Cloudflare deu a voz de alarma mediante a publicación dun informe no que acusa o motor de respostas con IA Perplexity de seguir rastrexando sitios web a pesar das barreiras colocados polos seus propietarios. Segundo o provedor da infraestrutura, o servizo tería robots.txt ignorado e evitar os bloqueos de rede para acceder a contido prohibido.
Nunha contorna onde a IA devora datos para adestrar modelos e responder en tempo real, a equilibrio entre a innovación e o respecto polas regras do ecosistema web está a poñerse tensoA polémica reavivou o debate sobre a raspado non autorizado e os límites técnicos e éticos que deben cumprir aqueles que constrúen produtos baseados en grandes cantidades de información en liña.
Que informa Cloudflare e por que é importante
A empresa de seguridade e rendemento de rede afirma que recibiu queixas dos clientes cuxos sitios continuaron a recibir acceso atribuído a Perplexidade a pesar de prohíbelo en robots.txt e aplicar as normas do WAF para bloquear os seus rastreadores declarados. Despois de investigar, Cloudflare afirma ter detectado un patrón de rastrexo encuberto incompatible coas preferencias dos propietarios dos sitios web.
O provedor afirma ter observado este comportamento en decenas de miles de dominios e millóns de solicitudes diarias, un volume que, na súa opinión, mostra prácticas sistemáticas en lugar de incidentais. Como resultado, eliminou Perplexity da súa lista de bots verificados e activou heurísticas e xestionou regras para bloquear este seguimento por defecto.
Como a perplexidade tería superado as barreiras
Segundo Cloudflare, cando o teu rastreadores declarados (segundo o identificado polos nomes dos axentes de usuario de Perplexity) atopase un fallo, o sistema iría a suplantación de identidade dun navegador común, presentándose coma se fose Chrome en macOS para camuflar a súa identidade e evitar a detección.
Ademais, os accesos proviñan de intervalos de IP non publicados por perplexidade e rotado con frecuencia, o que dificultaría a filtraxe. Cloudflare tamén afirma ter visto cambios no ASN (sistemas autónomos) orixe das solicitudes, outro sinal de evasión de bloques rede.
A investigación menciona que o comportamento observado non respectaría o patrón dos bos rastreadores descritos en RFC 9309 e na súa política de «bots verificados»: transparencia de identidade (axente, IP e contacto), calma do tráfico, un obxectivo claro e respectar robots.txt xa os límites establecidos polos propietarios dos sitios.
Cloudflare afirma que foi capaz de "deixar unha pegada" a este tráfico mediante unha combinación de sinais de rede e aprendizaxe automática, engadindo sinaturas ás túas regras xestionadas que identifican e bloquean esta actividade, mesmo para os clientes do plan gratuíto.
Probas con dominios señuelo e resultados
Para confirmar as súas sospeitas, o equipo creou dominios novos e non publicados (non indexados nin vinculados publicamente) e aplicoulles unha política prohibición total de robots.txt, así como regras específicas para prohibir os bots de Perplexity. Despois de consultar a IA deses sitios, Cloudflare afirma que obtiven respostas con detalles sobre o contido aloxado, algo que, de ser correcto, indicaría acceso a pesar das barreiras.
Cando o bloqueo foi efectivo, Cloudflare observou que a IA de Perplexity recorreu a fontes alternativas para construír unha resposta, pero menos preciso e sen as particularidades do material orixinal, reflectindo que o a restrición funcionou.
Resposta oficial de Perplexity
A perplexidade, pola súa banda, rexeita as acusacións de rastrexo encuberto e afirmacións de que Cloudflare ten malinterpretado parte da actividade analizada. Os portavoces da empresa cualificaron o informe como un "peza comercial" e afirman que hai algunhas probas non probarían accesos reais ou mesmo corresponden a os bots doutras persoas.
A startup tamén compartiu a súa postura sobre publicacións en Xonde cuestiona a capacidade do sistemas de detección diferenciar entre asistentes de IA lexítimos, rastreadores de terceiros e tráfico malicioso. Ademais, argumenta que un axente que busca información oportuna para responder a unha consulta non funciona igual que un rastreador tradicional que rastrexa a web en masa.
Medidas, boas prácticas e o papel doutros actores
Como parte da súa estratexia, Cloudflare ten eliminado de Perplexity do seu rexistro de bots de confianza e engadiu regras para bloquear o seu suposto rastrexo oculto. A empresa recomenda que os administradores activen políticas antibots, Solicitar retos cando non se desexa un bloqueo total e usar regras xestionadas específicas contra o Raspado de IA.
No seu argumento, Cloudflare contrasta o caso con exemplos de cumprimento de mellores prácticas, citando actores que respectar robots.txt, documentar os seus axentes e adoptar estándares emerxentes como Autenticación de bot webEn probas comparativas, afirma que outros bots pararon ao atoparse cunha prohibición ou bloqueo de rede, sen intentos camuflados.
Un conflito que marca o curso do ecosistema
O provedor prevé unha evolución constante das tácticas dos operadores de bots e as defensas empregadas para contelas. Paralelamente, participa en traballos con expertos e organizacións como a IETF para impulsar extensións de robots.txt e principios medibles que deberían cumprir os rastreadores ben intencionados.
Máis alá do pulso específico, o caso pon sobre a mesa o crise de confianza entre creadores de contido, plataformas e empresas de IA: quen pode acceder ao que, en que condicións e como facelo transparente sen romper os modelos de negocio nin frear a innovación. Todo apunta a esta conversa permanecerá aberto mentres os axentes de IA gañan protagonismo e a web axusta as súas regras de coexistencia.
Este episodio deixa unha mensaxe clara: O seguimento da IA está baixo escrutinio, con Cloudflare denunciando tácticas de camuflaxe atribuídas a Perplexity e á startup negándoo firmemente; no medio, os propietarios dos sitios web teñen acceso a novas ferramentas para controlar o acceso e un conxunto de boas prácticas en construción que marcará o terreo de xogo nos vindeiros meses.
Son un entusiasta da tecnoloxía que converteu os seus intereses "friki" nunha profesión. Levo máis de 10 anos da miña vida empregando tecnoloxía de punta e retocando todo tipo de programas por pura curiosidade. Agora especializeime en tecnoloxía informática e videoxogos. Isto débese a que dende hai máis de 5 anos levo escribindo para diversas webs sobre tecnoloxía e videoxogos, creando artigos que buscan darche a información que necesitas nun idioma comprensible para todos.
Se tes algunha dúbida, os meus coñecementos abarcan dende todo o relacionado co sistema operativo Windows e tamén con Android para teléfonos móbiles. E o meu compromiso é contigo, sempre estou disposto a dedicar uns minutos e axudarche a resolver calquera dúbida que teñas neste mundo de internet.