- Cloudflare anklagar Perplexity för att kringgå robots.txt och maskera dess genomsökning med odeklarerade användaragenter och IP-adresser.
- Företaget hävdar att de har observerat ASN-förändringar och miljontals förfrågningar dagligen över tiotusentals domäner.
- Perplexity förnekar hemliga metoder, ifrågasätter metodiken och hävdar att dess AI fungerar annorlunda än en traditionell crawler.
- Cloudflare avlistar Perplexity som en verifierad bot och aktiverar regler för att blockera AI-spårning som standard.
Cloudflare har slagit larm genom att publicera en rapport där anklagar AI-drivna svarsmotorn Perplexity för att fortsätta genomsöka webbplatser trots hinder placerade av sina ägare. Enligt infrastrukturleverantören skulle tjänsten ha robots.txt ignorerad och kringgå nätverksblockeringar för att komma åt förbjudet innehåll.
I ett landskap där AI slukar data för att träna modeller och reagera i realtid, balans mellan innovation och respekt för webbens ekosystemregler blir spändKontroversen väcker nytt liv i debatten om obehörig skrapning och de tekniska och etiska gränser som de som bygger produkter baserade på stora mängder information online bör följa.
Vad Cloudflare rapporterar och varför det är viktigt
Nätverkssäkerhets- och prestandaföretaget säger att de mottagit kundklagomål vars webbplatser fortsatte att få åtkomst tillskriven Perplexity trots förbjuda det i robots.txt och tillämpa reglerna i WAF att blockera deras deklarerade spårare. Efter att ha undersökt hävdar Cloudflare att de har upptäckt ett mönster av hemlig spårning oförenlig med webbplatsägarens preferenser.
Leverantören hävdar att han observerat detta beteende i tiotusentals domäner och med miljontals förfrågningar dagligen, en volym som enligt hans mening visar på systematiska snarare än tillfälliga metoder. Som ett resultat, har tagit bort Perplexity från sin lista över verifierade botar och har aktiverat heuristik och hanterat regler för blockera denna spårning som standard.
Hur förvirring skulle ha övervunnit hindren
Enligt Cloudflare, när din deklarerade spårare (identifierat av Perplexitys användaragentnamn) stötte på en krasch, skulle systemet gå till utge sig för en webbläsare vanligt, presenterar sig som om det vore Chrome på macOS för att dölja sin identitet och Undvik att bli upptäckt.
Dessutom kom åtkomsterna från opublicerade IP-intervall av förvirring och roteras ofta, vilket skulle ha gjort filtrering svår. Cloudflare hävdar också att de har sett förändringar i ASN (autonoma system) ursprunget till förfrågningarna, ytterligare ett tecken på blockundandragande nätverk.
Forskningen nämner att det observerade beteendet skulle inte respektera mönstret av de bra crawlers som beskrivs i RFC 9309 och i dess policy för ”verifierade botar”: identitetstransparens (agent, IP-adresser och kontakt), trafiklugnande, ett tydligt mål och respekt robots.txt redan de gränser som webbplatsägare har satt.
Cloudflare säger att de har kunnat "lämna ett avtryck" till denna trafik genom en kombination av nätverkssignaler och maskininlärning, lägga till signaturer till dina hanterade regler som identifierar och blockerar den här aktiviteten, även för kunder hos gratisplan.
Testning med lockbetedomäner och resultat
För att bekräfta sina misstankar skapade teamet nya och opublicerade domäner (inte indexerade eller offentligt länkade) och tillämpade en policy på dem totalförbud mot robots.txt, samt specifika regler för att förbjuda Perplexity-botar. Efter att ha konsulterat AI:n för dessa webbplatser hävdar Cloudflare att fick svar med detaljer om det värdbaserade innehållet, något som – om det stämmer – skulle indikera åtkomst trots hinder.
När blockeringen var effektiv observerade Cloudflare att Perplexitys AI tillgrep alternativa källor att bygga upp ett svar, men mindre exakt och utan originalmaterialets särdrag, vilket återspeglar att begränsningen hade fungerat.
Perplexitys officiella svar
Förvirring, för sin del, Han förnekar anklagelserna. av hemlig spårning och påståenden om att Cloudflare har misstolkade en del av den analyserade aktiviteten. Företagets talespersoner har beskrivit rapporten som en "kommersiellt stycke" och de hävdar att vissa bevis de skulle inte testa riktiga åtkomster eller ens motsvarar andra människors bottar.
Startupföretaget har också delat sin ståndpunkt om publikationer i X, där han ifrågasätter kapaciteten hos detekteringssystem att skilja mellan legitima AI-assistenter, spårare från tredje part och skadlig trafik. Dessutom menar man att en agent som söker specifik information att svara på en fråga det fungerar inte på samma sätt än en traditionell sökrobot som genomsöker webben i massor.
Åtgärder, god praxis och andra aktörers roll
Som en del av sin strategi har Cloudflare avlistad från Perplexity från sitt register över betrodda botar och har lagt till regler för blockering dess påstådda dolda spårning. Företaget rekommenderar att administratörer aktiverar policyer mot botar, tillämpa utmaningar när en total blockering inte önskas och använd specifika hanterade regler mot AI-skrapning.
I sitt argument jämför Cloudflare fallet med exempel på efterlevnad av bästa praxis, med hänvisning till aktörer som respekt robots.txt, dokumentera sina agenter och anta nya standarder som Webbot-autentiseringI jämförande tester hävdas det att andra bottar de stannade när du stöter på en nätverksavstängning eller blockering, utan kamouflerade återförsök.
En konflikt som markerar ekosystemets gång
Leverantören förväntar sig en konstant utveckling av botoperatörernas taktik och de försvar som används för att begränsa dem. Parallellt deltar han i arbete med experter och organisationer som IETF att öka robots.txt-tillägg och mätbara principer som välmenande spårare bör följa.
Utöver den specifika pulsen lägger fallet på bordet förtroendekris mellan innehållsskapare, plattformar och AI-företag: vem kan åtkomst till vad, under vilka förhållanden och hur gör det transparent utan att bryta affärsmodeller eller bromsa innovation. Allt pekar mot denna konversation kommer att förbli öppen medan AI-agenter vinner framträdande plats och webben justerar sina regler för samexistens.
Det här avsnittet lämnar ett tydligt budskap: AI-spårning granskas noga, där Cloudflare fördömer kamouflagetaktik som tillskrivs Perplexity och startupen förnekar det bestämt; i mitten har webbplatsägare tillgång till nya verktyg för att kontrollera åtkomst och en uppsättning god praxis under uppbyggnad som kommer att prägla spelplanen under de kommande månaderna.
Jag är en teknikentusiast som har gjort sina "nördar"-intressen till ett yrke. Jag har tillbringat mer än 10 år av mitt liv med att använda den senaste tekniken och mixtrat med alla typer av program av ren nyfikenhet. Nu har jag specialiserat mig på datateknik och tv-spel. Detta beror på att jag i mer än 5 år har arbetat med att skriva för olika webbplatser om teknik och videospel, skapa artiklar som försöker ge dig den information du behöver på ett språk som är begripligt för alla.
Om du har några frågor sträcker sig min kunskap från allt som rör operativsystemet Windows samt Android för mobiltelefoner. Och mitt engagemang är för dig, jag är alltid villig att spendera några minuter och hjälpa dig att lösa alla frågor du kan ha i den här internetvärlden.