- Cloudflare beskylder Perplexity for at omgå robots.txt og maskere sin crawling med uoplyste brugeragenter og IP-adresser.
- Virksomheden hævder at have observeret ASN-ændringer og millioner af anmodninger dagligt på tværs af titusindvis af domæner.
- Perplexity benægter skjulte praksisser, sætter spørgsmålstegn ved metodologien og argumenterer for, at dens AI fungerer anderledes end en traditionel crawler.
- Cloudflare fjerner Perplexity som en verificeret bot og aktiverer regler til at blokere AI-sporing som standard.
Cloudflare har slået alarm ved at offentliggøre en rapport, hvori beskylder den AI-drevne svarmotor Perplexity for at fortsætte med at gennemgå websteder på trods af barrierer. placeret af deres ejere. Ifølge infrastrukturudbyderen ville tjenesten have robots.txt ignoreret og omgå netværksblokeringer for at få adgang til forbudt indhold.
I et landskab, hvor AI fortærer data for at træne modeller og reagere i realtid, balance mellem innovation og respekt for webøkosystemets regler bliver anspændtKontroversen genopliver debatten om uautoriseret skrabning og de tekniske og etiske grænser, som de, der bygger produkter baseret på store mængder online information, bør overholde.
Hvad Cloudflare rapporterer, og hvorfor det er vigtigt
Netværkssikkerheds- og ydeevnevirksomheden siger, at den har modtaget kundeklager hvis websteder fortsat modtog adgang tilskrevet Perplexity på trods af forbyde det i robots.txt og anvende reglerne i WAF at blokere deres deklarerede trackere. Efter at have undersøgt det hævder Cloudflare at have opdaget et mønster af skjult sporing uforenelig med webstedsejernes præferencer.
Leverandøren hævder at have observeret denne adfærd i titusindvis af domæner og millioner af anmodninger dagligt, et bind, der efter hans mening viser systematiske snarere end tilfældige praksisser. Som følge heraf, har fjernet Perplexity fra sin liste over verificerede bots og har aktiveret heuristikker og administreret regler for bloker denne sporing som standard.
Hvordan forvirring ville have overvundet barriererne
Ifølge Cloudflare, når din deklarerede trackere (som identificeret af Perplexity-brugeragentnavne) stødte på et nedbrud, ville systemet gå til efterligne en browser almindelig, præsenterer sig selv som om den var Chrome på macOS at camouflere deres identitet og undgå opdagelse.
Derudover kom adgangene fra ikke-offentliggjorte IP-intervaller af forvirring og roteres ofte, hvilket ville have gjort filtrering vanskelig. Cloudflare hævder også at have set ændringer i ASN (autonome systemer) anmodningernes oprindelse, endnu et tegn på blokundgåelse netværk.
Forskningen nævner, at den observerede adfærd ville ikke respektere mønsteret af de gode crawlere beskrevet i RFC 9309 og i dens politik for "verificerede bots": identitetstransparens (agent, IP-adresser og kontakt), trafikdæmpning, et klart mål og respekt robots.txt allerede de grænser, der er fastsat af webstedsejere.
Cloudflare siger, at de har været i stand til at "efterlad et mærke" til denne trafik gennem en kombination af netværkssignaler og maskinlæring, tilføjer signaturer til dine administrerede regler, der identificerer og blokerer denne aktivitet, selv for kunder af gratis plan.
Test med lokkefugledomæner og resultater
For at bekræfte deres mistanke oprettede holdet nye og ikke-publicerede domæner (ikke indekseret eller offentligt linket) og anvendt en politik på dem totalt forbud mod robots.txt, samt specifikke regler for at forbyde Perplexity-bots. Efter at have konsulteret AI'en for disse websteder hævder Cloudflare, at fik svar med detaljer om det hostede indhold, noget der – hvis det er korrekt – ville indikere adgang trods barrierer.
Da blokeringen var effektiv, observerede Cloudflare, at Perplexitys AI tyet til alternative kilder at opbygge et svar, men mindre præcis og uden det originale materiales særpræg, hvilket afspejler, at begrænsningen havde virket.
Perplexitys officielle svar
Forvirring, på sin side, afviser beskyldningerne af skjult sporing og påstande om, at Cloudflare har misfortolket en del af den analyserede aktivitet. Virksomhedens talspersoner har beskrevet rapporten som en "kommercielt stykke" og de hævder, at nogle beviser de ville ikke teste rigtige adgange eller endda svare til andre menneskers bots.
Startup-virksomheden har også delt sin holdning til publikationer i X, hvor han sætter spørgsmålstegn ved kapaciteten af detektionssystemer at skelne mellem legitime AI-assistenter, tredjepartssporingsprogrammer og ondsindet trafik. Desuden argumenterer den for, at en agent søger rettidig information at besvare en forespørgsel det virker ikke på samme måde end en traditionel crawler, der crawler nettet i massevis.
Foranstaltninger, god praksis og andre aktørers rolle
Som en del af sin strategi har Cloudflare fjernet fra Perplexity fra sit register over betroede bots og har tilføjet regler for blokering dens påståede skjulte sporing. Virksomheden anbefaler, at administratorer aktiverer anti-bot-politikker, Ansøge udfordringer når en total blokering ikke ønskes, og brug specifikke administrerede regler mod AI-skrabning.
I sin argumentation sætter Cloudflare sagen i kontrast til eksempler på overholdelse af bedste praksis, med henvisning til aktører, der respekt robots.txt, dokumentere deres agenter og indføre nye standarder såsom Webbot-godkendelseI sammenlignende tests hævdes det, at andre bots de stoppede når man støder på en netværksspærring eller -blokering, uden camouflerede genforsøg.
En konflikt, der markerer økosystemets forløb
Leverandøren forventer en konstant evolution af botoperatørernes taktikker og de forsvarsmekanismer, der bruges til at inddæmme dem. Sideløbende deltager han i arbejde med eksperter og organisationer som f.eks. IETF at impulsere robots.txt-udvidelser og målbare principper, som velmenende trackere bør overholde.
Ud over den specifikke puls lægger sagen på bordet tillidskrise mellem indholdsskabere, platforme og AI-virksomheder: hvem kan adgang til hvad, under hvilke betingelser, og hvordan gør det gennemsigtigt uden at ødelægge forretningsmodeller eller bremse innovation. Alt peger på denne samtale vil forblive åben mens AI-agenter vinder fremtrædende plads, og internettet justerer sine regler for sameksistens.
Denne episode efterlader et klart budskab: AI-sporing er under lup, hvor Cloudflare fordømmer camouflagetaktikker, der tilskrives Perplexity og startup'en benægter det bestemt; i midten har webstedsejere adgang til nye værktøjer at kontrollere adgang og et sæt af god praksis under opførelse, der vil præge spillebanen i de kommende måneder.
Jeg er en teknologientusiast, der har vendt sine "nørde" interesser til et erhverv. Jeg har brugt mere end 10 år af mit liv på at bruge avanceret teknologi og pille ved alle slags programmer af ren nysgerrighed. Nu har jeg specialiseret mig i computerteknologi og videospil. Dette skyldes, at jeg i mere end 5 år har skrevet til forskellige hjemmesider om teknologi og videospil, og lavet artikler, der søger at give dig den information, du har brug for, på et sprog, der er forståeligt for alle.
Har du spørgsmål, så spænder min viden fra alt relateret til Windows styresystemet samt Android til mobiltelefoner. Og mit engagement er over for dig, jeg er altid villig til at bruge et par minutter og hjælpe dig med at løse eventuelle spørgsmål, du måtte have i denne internetverden.