- Inaakusahan ng Cloudflare si Perplexity ng pag-bypass sa robots.txt at pag-mask sa pag-crawl nito gamit ang mga hindi idineklarang user agent at IP address.
- Sinasabi ng kumpanya na naobserbahan nila ang mga pagbabago sa ASN at milyun-milyong kahilingan araw-araw sa libu-libong mga domain.
- Itinatanggi ng perplexity ang mga lihim na kasanayan, kinukuwestiyon ang metodolohiya, at pinagtatalunan na ang AI nito ay gumagana nang iba kaysa sa isang tradisyunal na crawler.
- Inalis ng Cloudflare ang Perplexity bilang isang na-verify na bot at nagbibigay-daan sa mga panuntunan na harangan ang pagsubaybay sa AI bilang default.
Itinaas ng Cloudflare ang alarma sa pamamagitan ng paglalathala ng ulat kung saan inaakusahan ng AI-powered answer engine na Perplexity ng patuloy na pag-crawl sa mga website sa kabila ng mga hadlang inilagay ng kanilang mga may-ari. Ayon sa tagapagbigay ng imprastraktura, ang serbisyo ay magkakaroon binalewala ang robots.txt at i-bypass ang mga bloke ng network upang ma-access ang ipinagbabawal na nilalaman.
Sa isang landscape kung saan ang AI ay kumakain ng data upang sanayin ang mga modelo at tumugon sa real time, ang balanse sa pagitan ng pagbabago at paggalang sa mga patakaran ng web ecosystem nagiging tensyonado naAng kontrobersya ay muling nagpapasigla sa debate sa hindi awtorisadong pag-scrape at ang mga teknikal at etikal na limitasyon na dapat sundin ng mga gumagawa ng mga produkto batay sa malaking halaga ng online na impormasyon.
Ano ang iniuulat ng Cloudflare at kung bakit ito mahalaga
Sinabi ng kumpanya ng seguridad at pagganap ng network na natanggap ito reklamo ng customer na ang mga site ay patuloy na nakatanggap ng access na naiugnay sa Perplexity sa kabila i-ban ito sa robots.txt at ilapat ang mga tuntunin ng WAF upang harangan ang kanilang mga ipinahayag na tagasubaybay. Pagkatapos mag-imbestiga, sinasabi ng Cloudflare na nakakita siya ng pattern ng lihim na pagsubaybay hindi tugma sa mga kagustuhan ng mga may-ari ng website.
Sinasabi ng supplier na naobserbahan niya ang pag-uugaling ito sa sampu-sampung libong mga domain at milyon-milyong mga kahilingan araw-araw, isang volume na, sa kanyang opinyon, ay nagpapakita ng sistematiko sa halip na hindi sinasadyang mga kasanayan. Bilang resulta, ay inalis ang Perplexity mula sa listahan nito ng mga na-verify na bot at na-activate ang heuristics at pinamamahalaang mga panuntunan para sa harangan ang pagsubaybay na ito bilang default.
Paano malalampasan ng kaguluhan ang mga hadlang
Ayon sa Cloudflare, kapag ang iyong ipinahayag na mga tagasubaybay (tulad ng natukoy ng mga pangalan ng user agent ng Perplexity) ay nagkaroon ng pag-crash, pupunta ang system sa magpanggap bilang isang browser karaniwan, na nagpapakita ng sarili na parang ito ay Chrome sa macOS upang itago ang kanilang pagkakakilanlan at maiwasan ang pagtuklas.
Bilang karagdagan, nagmula ang mga pag-access hindi nai-publish na mga saklaw ng IP sa pamamagitan ng Pagkataranta at madalas na iniikot, na magpapahirap sa pag-filter. Sinasabi rin ng Cloudflare na nakakita ng mga pagbabago sa ASN (autonomous system) pinagmulan ng mga kahilingan, isa pang tanda ng harangan ang pag-iwas network.
Binanggit ng pananaliksik na ang naobserbahang pag-uugali hindi igagalang ang pattern ng mga mahuhusay na crawler na inilarawan sa RFC 9309 at sa patakaran nitong "mga na-verify na bot": transparency ng pagkakakilanlan (ahente, mga IP at contact), pagpapatahimik ng trapiko, isang malinaw na layunin at igalang ang robots.txt na ang mga limitasyon na itinakda ng mga may-ari ng site.
Sinabi ni Cloudflare na nagawa nito "Mag-iwan ng marka" sa trapikong ito sa pamamagitan ng kumbinasyon ng mga signal ng network at machine learning, pagdaragdag ng mga lagda sa iyong mga pinamamahalaang panuntunan na tumutukoy at humaharang sa aktibidad na ito, kahit na para sa mga customer ng libreng plano.
Pagsubok gamit ang mga decoy na domain at resulta
Upang kumpirmahin ang kanilang mga hinala, lumikha ang koponan bago at hindi na-publish na mga domain (hindi naka-index o naka-link sa publiko) at naglapat ng patakaran sa kanila kabuuang pagbabawal sa robots.txt, pati na rin ang mga partikular na panuntunan para sa pagbabawal sa mga bot ng Perplexity. Pagkatapos kumonsulta sa AI para sa mga site na iyon, inaangkin iyon ng Cloudflare nakakuha ng mga sagot na may mga detalye tungkol sa naka-host na nilalaman, isang bagay na—kung tama—ay magsasaad access sa kabila ng mga hadlang.
Noong naging epektibo ang block, naobserbahan ng Cloudflare ang AI ng Perplexity na iyon gumamit ng mga alternatibong mapagkukunan upang bumuo ng isang tugon, ngunit hindi gaanong tumpak at walang mga partikularidad ng orihinal na materyal, na sumasalamin na ang ang paghihigpit ay nagtrabaho.
Opisyal na tugon ni Perplexity
Pagkalito, sa bahagi nito, tinatanggihan ang mga akusasyon ng patagong pagsubaybay at pag-angkin na mayroon ang Cloudflare na-misinterpret bahagi ng aktibidad na sinuri. Inilarawan ng mga tagapagsalita ng kumpanya ang ulat bilang a "komersyal na piraso" at inaangkin nila na ilang ebidensya hindi nila susubukan ang mga tunay na pag-access o kahit na tumutugma sa bot ng ibang tao.
Ibinahagi din ng startup ang paninindigan nito mga publikasyon sa X, kung saan kinukuwestiyon niya ang kapasidad ng mga sistema ng pagtuklas para magkaiba mga lehitimong AI assistant, mga third-party na tagasubaybay, at nakakahamak na trapiko. Higit pa rito, ito ay nangangatuwiran na a ahente na naghahanap ng napapanahong impormasyon upang tumugon sa isang query hindi ito gumagana pareho kaysa sa isang tradisyunal na crawler na nag-crawl sa web nang maramihan.
Mga sukatan, mabubuting gawi at ang papel ng ibang mga aktor
Bilang bahagi ng diskarte nito, mayroon ang Cloudflare na-delist sa Perplexity mula sa pagpapatala nito ng mga pinagkakatiwalaang bot at nagdagdag mga panuntunan para sa pagharang ang sinasabing hidden tracking nito. Inirerekomenda ng kumpanya na i-activate ang mga administrator mga patakarang anti-bot, Mag-apply mga hamon kapag ang isang kabuuang block ay hindi ninanais at gumamit ng mga partikular na pinamamahalaang panuntunan laban sa AI scraping.
Sa argumento nito, pinaghahambing ng Cloudflare ang kaso sa mga halimbawa ng pagsunod ng pinakamahuhusay na kagawian, binabanggit ang mga aktor na igalang ang robots.txt, idokumento ang kanilang mga ahente at gamitin ang mga umuusbong na pamantayan tulad ng Web Bot AuthSa mga paghahambing na pagsubok, inaangkin nito na ang iba pang mga bot huminto sila kapag nakatagpo ng pagbabawal o pagharang sa network, nang walang naka-camouflaged na muling pagsubok.
Isang salungatan na nagmamarka sa takbo ng ecosystem
Inaasahan ng supplier a patuloy na ebolusyon ng mga taktika ng mga operator ng bot at ang mga panlaban na ginamit upang maglaman ng mga ito. Kasabay nito, nakikilahok siya sa trabaho kasama ang mga eksperto at organisasyon tulad ng IETF sa salpok robots.txt na mga extension at masusukat na mga prinsipyo na dapat sundin ng mga tagasubaybay na may mabuting layunin.
Higit pa sa tiyak na pulso, inilalagay ng kaso sa mesa ang krisis ng kumpiyansa sa pagitan ng mga tagalikha ng nilalaman, mga platform at mga kumpanya ng AI: sino ang magagawa i-access kung ano, sa ilalim ng anong mga kundisyon, at paano gawin itong transparent nang walang paglabag sa mga modelo ng negosyo o pagbagal ng pagbabago. Ang lahat ay tumuturo sa pag-uusap na ito mananatiling bukas habang ang mga ahente ng AI ay nagiging katanyagan at inaayos ng web ang mga panuntunan nito sa magkakasamang buhay.
Ang episode na ito ay nag-iiwan ng malinaw na mensahe: Ang pagsubaybay sa AI ay sinusuri, na may Cloudflare na tumutuligsa sa mga taktika ng camouflage na nauugnay sa Perplexity at sa startup mariing tinatanggihan ito; sa gitna, may access ang mga may-ari ng site sa mga bagong tool upang kontrolin ang pag-access at isang set ng mahusay na kasanayan under construction na mamarkahan ang playing field sa mga darating na buwan.
Isa akong mahilig sa teknolohiya na ginawang propesyon ang kanyang mga "geek" na interes. Ako ay gumugol ng higit sa 10 taon ng aking buhay sa paggamit ng makabagong teknolohiya at pag-iisip sa lahat ng uri ng mga programa dahil sa purong kuryusidad. Ngayon ay nagdadalubhasa na ako sa teknolohiya ng kompyuter at mga video game. Ito ay dahil sa higit sa 5 taon na ako ay sumusulat para sa iba't ibang mga website sa teknolohiya at mga video game, na lumilikha ng mga artikulo na naglalayong ibigay sa iyo ang impormasyong kailangan mo sa isang wika na naiintindihan ng lahat.
Kung mayroon kang anumang mga katanungan, ang aking kaalaman ay mula sa lahat ng nauugnay sa Windows operating system pati na rin ang Android para sa mga mobile phone. At ang aking pangako ay sa iyo, lagi akong handang gumugol ng ilang minuto at tulungan kang lutasin ang anumang mga katanungan na maaaring mayroon ka sa mundo ng internet na ito.