- Cloudflare optužuje Perplexity za zaobilaženje robots.txt datoteke i maskiranje njenog indeksiranja nedeklariranim korisničkim agentima i IP adresama.
- Kompanija tvrdi da je primijetila promjene ASN-a i milione zahtjeva dnevno na desetinama hiljada domena.
- Perplexity negira tajne prakse, dovodi u pitanje metodologiju i tvrdi da njegova umjetna inteligencija funkcionira drugačije od tradicionalnog pretraživača.
- Cloudflare uklanja Perplexity kao verifikovanog bota i omogućava pravilima da blokiraju praćenje AI-om prema zadanim postavkama.
Cloudflare je digao uzbunu objavljivanjem izvještaja u kojem optužuje zbunjenost sistema za odgovore pokretanog umjetnom inteligencijom zbog nastavka indeksiranja web stranica uprkos preprekama postavljene od strane njihovih vlasnika. Prema riječima pružatelja infrastrukture, usluga bi imala Datoteka robots.txt je ignorirana i zaobiđite mrežne blokade kako biste pristupili zabranjenom sadržaju.
U okruženju u kojem umjetna inteligencija proždire podatke za obuku modela i reagiranje u stvarnom vremenu, ravnoteža između inovacija i poštovanja pravila web ekosistema postaje napetoKontroverza ponovo rasplamsava debatu o neovlašteno skidanje sadržaja i tehnička i etička ograničenja kojih se trebaju pridržavati oni koji grade proizvode zasnovane na velikim količinama online informacija.
Šta Cloudflare izvještava i zašto je to važno
Kompanija za sigurnost i performanse mreže kaže da je primila pritužbe kupaca čije su stranice nastavile dobijati pristup pripisan Perplexityju uprkos zabraniti to u robots.txt datoteci i primijeniti pravila od WAF da blokiraju svoje prijavljene tragače. Nakon istrage, Cloudflare tvrdi da je otkrio obrazac tajno praćenje nekompatibilno s preferencijama vlasnika web stranica.
Dobavljač tvrdi da je primijetio ovo ponašanje u desetine hiljada domena i sa milioni zahtjeva dnevno, svezak koji, po njegovom mišljenju, pokazuje sistematske, a ne slučajne prakse. Kao rezultat toga, je uklonio Perplexity sa svoje liste verifikovanih botova i aktivirao je heuristike i upravljana pravila za blokiraj ovo praćenje po defaultu.
Kako bi Zbunjenost savladala prepreke
Prema Cloudflareu, kada vaš prijavljeni tragači (kako je identifikovano imenima korisničkih agenata Perplexity) naišao na pad sistema, sistem bi prešao na predstavljati se kao preglednik uobičajeno, predstavljajući se kao da je Chrome na macOS-u da prikriju svoj identitet i izbjeći otkrivanje.
Osim toga, pristupi su dolazili iz neobjavljeni IP rasponi od Zbunjenosti i često rotirano, što bi otežalo filtriranje. Cloudflare također tvrdi da je primijetio promjene u ASN (autonomni sistemi) porijeklo zahtjeva, još jedan znak izbjegavanje blokova mreže.
U istraživanju se navodi da je uočeno ponašanje ne bi poštovao obrazac od dobrih puzača opisanih u RFC 9309 i u svojoj politici „verifikovanih botova“: transparentnost identiteta (agent, IP adrese i kontakt), smirivanje prometa, jasan cilj i poštovanje robots.txt već ograničenja koja su postavili vlasnici stranica.
Cloudflare kaže da je bio u mogućnosti "Ostavi trag" ovom prometu putem kombinacije mrežni signali i mašinsko učenje, dodavanjem potpisa vašim upravljanim pravilima koja identificiraju i blokiraju ovu aktivnost, čak i za korisnike besplatni plan.
Testiranje s domenama mamaca i rezultati
Da bi potvrdili svoje sumnje, tim je kreirao nove i neobjavljene domene (nisu indeksirane niti javno povezane) i primijenili smo na njih politiku potpuna zabrana robots.txt datoteke, kao i specifična pravila za zabranu Perplexity botova. Nakon konsultacija sa vještačkom inteligencijom za te stranice, Cloudflare tvrdi da dobio odgovore s detaljima o hostovanom sadržaju, nešto što bi - ako je tačno - ukazivalo pristup uprkos preprekama.
Kada je blok bio efikasan, Cloudflare je primijetio da Perplexityjeva umjetna inteligencija pribjegli alternativnim izvorima da se izgradi odgovor, ali manje precizno i bez posebnosti originalnog materijala, što odražava da ograničenje je djelovalo.
Zvanični odgovor Perplexityja
Zbunjenost, sa svoje strane, odbacuje optužbe o tajnom praćenju i tvrdnjama da Cloudflare ima pogrešno protumačeno dio analizirane aktivnosti. Glasnogovornici kompanije opisali su izvještaj kao "Komercijalni komad" i tvrde da neki dokazi Ne bi testirali stvarne pristupe ili čak odgovaraju tuđi botovi.
Startup je također podijelio svoj stav o publikacije u X, gdje on dovodi u pitanje kapacitet sistemi za detekciju razlikovati između legitimni AI asistenti, tragače trećih strana i zlonamjerni promet. Nadalje, tvrdi se da je agent koji traži određene informacije odgovoriti na upit ne funkcioniše isto nego tradicionalni pretraživač koji masovno pretražuje web.
Mjere, dobre prakse i uloga drugih aktera
Kao dio svoje strategije, Cloudflare je uklonjeno sa Perplexityja iz svog registra pouzdanih botova i dodao je pravila za blokiranje navodno skriveno praćenje. Kompanija preporučuje da administratori aktiviraju pravila protiv botova, Prijavite se izazovi kada potpuna blokada nije poželjna i koristite specifična upravljana pravila protiv AI struganje.
U svojoj argumentaciji, Cloudflare suprotstavlja slučaj sa primjeri usklađenosti najboljih praksi, navodeći aktere koji poštovanje robots.txt, dokumentiraju svoje agente i usvoje nove standarde kao što su Autorizacija web botaU komparativnim testovima, tvrdi se da drugi botovi zaustavili su se kada naiđete na zabranu ili blokadu mreže, bez kamufliranih ponovnih pokušaja.
Sukob koji obilježava tok ekosistema
Dobavljač očekuje da stalna evolucija taktika bot operatera i odbrane koja se koristi za njihovo suzbijanje. Paralelno s tim, učestvuje u radu sa stručnjacima i organizacijama kao što su IETF na impuls ekstenzije robots.txt datoteke i mjerljive principe kojih bi se dobronamjerni tragači trebali pridržavati.
Osim specifičnog pulsa, slučaj stavlja na stol i kriza poverenja između kreatora sadržaja, platformi i kompanija za umjetnu inteligenciju: ko može pristup čemu, pod kojim uslovima i kako učini to transparentnim bez narušavanja poslovnih modela ili usporavanja inovacija. Sve ukazuje na ovaj razgovor ostat će otvoreno dok agenti umjetne inteligencije dobijaju na značaju, a web prilagođava svoja pravila koegzistencije.
Ova epizoda ostavlja jasnu poruku: Praćenje putem umjetne inteligencije je pod lupom, pri čemu Cloudflare osuđuje taktike kamuflaže koje se pripisuju Perplexityju i startupu odlučno to poriče; u sredini, vlasnici web-stranica imaju pristup novi alati za kontrolu pristupa i skup dobre prakse u izgradnji koji će obilježiti igralište u narednim mjesecima.
Ja sam tehnološki entuzijasta koji je svoja "geek" interesovanja pretvorio u profesiju. Proveo sam više od 10 godina svog života koristeći najsavremeniju tehnologiju i petljajući po svim vrstama programa iz čiste radoznalosti. Sada sam se specijalizirao za kompjutersku tehnologiju i video igrice. To je zato što više od 5 godina pišem za razne web stranice o tehnologiji i video igricama, stvarajući članke koji nastoje dati vam potrebne informacije na jeziku koji je svima razumljiv.
Ako imate bilo kakvih pitanja, moje znanje seže od svega vezanog za Windows operativni sistem kao i Android za mobilne telefone. I moja posvećenost je vama, uvijek sam spreman potrošiti nekoliko minuta i pomoći vam da riješite sva pitanja koja imate u ovom svijetu interneta.