Cloudflare tomonidan bloklangan veb-saytlarni kuzatish uchun mo'ljallangan chalkashlik

Oxirgi yangilanish: 08/08/2025

  • Cloudflare Perplexity-ni robots.txt-ni chetlab o'tishda va uni e'lon qilinmagan foydalanuvchi agentlari va IP-manzillar bilan skanerlashni maskalashda ayblaydi.
  • Kompaniya har kuni o'n minglab domenlarda ASN o'zgarishlarini va millionlab so'rovlarni kuzatganini da'vo qilmoqda.
  • Perplexity yashirin amaliyotlarni rad etadi, metodologiyani shubha ostiga qo'yadi va uning AI an'anaviy brauzerdan farqli ravishda ishlaydi, deb ta'kidlaydi.
  • Cloudflare Perplexity-ni tasdiqlangan bot sifatida o'chirib tashlaydi va sukut bo'yicha sun'iy intellektni kuzatishni blokirovka qilish qoidalarini yoqadi.
Cloudflare Perplexity kompaniyasini sudga beradi

Cloudflare signalni kuchaytirdi hisobotni nashr etish orqali AI tomonidan boshqariladigan javob mexanizmi Perplexityni to'siqlarga qaramay veb-saytlarni skanerlashda davom etishda ayblaydi egalari tomonidan joylashtirilgan. Infratuzilma provayderiga ko'ra, xizmat bo'lar edi robots.txt e'tiborga olinmadi va taqiqlangan tarkibga kirish uchun tarmoq bloklarini chetlab o'ting.

AI modellarni o'rgatish va real vaqtda javob berish uchun ma'lumotlarni yutib yuboradigan landshaftda innovatsiyalar va veb-ekotizim qoidalariga hurmat o'rtasidagi muvozanat taranglashib bormoqdaBahs bu boradagi munozarani qaytadan avj olmoqda ruxsatsiz qirib tashlash va katta hajmdagi onlayn ma'lumotlarga asoslangan mahsulotlarni yaratadiganlar rioya qilishlari kerak bo'lgan texnik va axloqiy chegaralar.

Cloudflare nima haqida xabar beradi va bu nima uchun muhim

AI skanerlash va veb siyosatlari

Tarmoq xavfsizligi va ishlash kompaniyasi buni olganini aytadi mijozlarning shikoyatlari shunga qaramay, saytlari Perplexity bilan bog'liq kirishni davom ettirdi uni robots.txt da taqiqlang va qoidalarini qo'llang WAF ularning e'lon qilingan izdoshlarini bloklash. Tekshiruvdan so'ng, Cloudflare naqshini aniqlaganini da'vo qilmoqda yashirin kuzatish veb-sayt egalarining afzalliklariga mos kelmaydi.

Yetkazib beruvchi bu xatti-harakatni kuzatganini da'vo qiladi o'n minglab domenlar va bilan har kuni millionlab so'rovlar, uning fikricha, tasodifiy emas, balki tizimli amaliyotlarni ko'rsatadigan jild. Natijada, Perplexity oʻzining tasdiqlangan botlar roʻyxatidan olib tashladi uchun evristik va boshqariladigan qoidalarni faollashtirdi bu kuzatuvni bloklash sukut bo'yicha.

Google Chrome brauzeridan veb-sahifalarni bloklash
Tegishli maqola:
Qanday qilib tashqi ilovalarsiz Google Chrome-dan veb-saytlarni blokirovka qilish mumkin

Qanday qilib hayajonlilik to'siqlarni engib o'tgan bo'lar edi

robotlar txt

Cloudflare ma'lumotlariga ko'ra, qachon sizning kuzatuvchilarni e'lon qildi (Perplexity foydalanuvchi agenti nomlari bilan aniqlanganidek) avariyaga duch kelgan bo'lsa, tizim o'tadi brauzerni taqlid qilish umumiy, o'zini xuddi shunday ko'rsatish macOS’dagi Chrome ularning kimligini kamuflyaj qilish va aniqlashdan qoching.

Eksklyuziv tarkib - Bu yerga bosing  IMSSda onlayn konsultatsiya uchun uchrashuvni qanday rejalashtirish mumkin

Bundan tashqari, kirishlar kelgan nashr etilmagan IP diapazonlari Perplexity tomonidan va tez-tez aylanadi, bu filtrlashni qiyinlashtirardi. Cloudflare shuningdek, o'zgarishlarni ko'rganini da'vo qilmoqda ASN (avtonom tizimlar) so'rovlarning kelib chiqishi, yana bir belgisi blokirovkadan qochish tarmoq.

Tadqiqot shuni ko'rsatadiki, kuzatilgan xatti-harakatlar namunani hurmat qilmaydi da tasvirlangan yaxshi sudraluvchilardan RFC 9309 va uning "tasdiqlangan botlar" siyosatida: identifikatsiyaning shaffofligi (agent, IP va aloqa), trafikni tinchlantirish, aniq maqsad va robots.txt-ni hurmat qiling allaqachon sayt egalari tomonidan belgilangan chegaralar.

Cloudflare buni uddalaganini aytadi "belgi qoldiring" kombinatsiyasi orqali ushbu trafikka tarmoq signallari va mashinani o'rganish, bu faoliyatni aniqlaydigan va bloklaydigan boshqariladigan qoidalarga imzo qo'shing, hatto mijozlar uchun ham bepul reja.

veb-skrepping vositalari-2
Tegishli maqola:
2025 yilda eng yaxshi veb-qirqish vositalari

Aldash domenlari va natijalari bilan sinov

Ularning shubhalarini tasdiqlash uchun guruh yaratildi yangi va nashr etilmagan domenlar (indeks qilinmagan yoki ommaviy bog'lanmagan) va ularga nisbatan siyosat qo'llagan robots.txt-ni butunlay taqiqlash, shuningdek, Perplexity botlarini taqiqlash uchun maxsus qoidalar. Ushbu saytlar uchun AI bilan maslahatlashgandan so'ng, Cloudflare buni da'vo qilmoqda javoblar oldi joylashtirilgan kontent haqida tafsilotlar bilan, agar to'g'ri bo'lsa, ko'rsatadigan narsa to'siqlarga qaramay kirish.

Eksklyuziv tarkib - Bu yerga bosing  Mac uchun Norton AntiVirus holati hisobotlarini qanday yuklab olaman?

Blok samarali bo'lganda, Cloudflare Perplexity ning AI ekanligini kuzatdi muqobil manbalarga murojaat qilgan javob qurish uchun, lekin kamroq aniq va asl materialning o'ziga xos xususiyatlarisiz, aks ettiruvchi cheklash ishlagan edi.

Perplexityning rasmiy javobi

Qiyinchilik va robots.txt

O'z navbatida, chalkashlik, U ayblovlarni rad etadi. yashirin kuzatish va Cloudflare da'volari noto'g'ri talqin qilingan tahlil qilingan faoliyatning bir qismi. Kompaniya vakillari hisobotni shunday ta'rifladilar "tijorat qismi" va ular ba'zi dalillarni da'vo qilishadi ular haqiqiy kirishlarni sinab ko'rmaydilar yoki hatto mos keladi boshqa odamlarning botlari.

Startap ham bu borada o‘z pozitsiyasi bilan o‘rtoqlashdi X davridagi nashrlar, bu erda u imkoniyatlarini so'roq qiladi aniqlash tizimlari farqlash uchun qonuniy AI yordamchilari, uchinchi tomon kuzatuvchilari va zararli trafik. Bundan tashqari, u a o'z vaqtida ma'lumot qidirayotgan agent so'rovga javob berish uchun u xuddi shunday ishlamaydi Internetni ommaviy ravishda taraydigan an'anaviy brauzerdan ko'ra.

Choralar, yaxshi amaliyotlar va boshqa aktyorlarning roli

Cloudflare strategiyasining bir qismi sifatida Perplexity roʻyxatidan chiqarildi ishonchli botlar registridan va qo'shilgan blokirovka qilish qoidalari uning yashirin kuzatuvi. Kompaniya ma'murlarga faollashtirishni tavsiya qiladi anti-bot siyosati, qo'llash qiyinchiliklar umumiy blok istalmaganda va unga qarshi maxsus boshqariladigan qoidalardan foydalaning AI qirqish.

Eksklyuziv tarkib - Bu yerga bosing  Internetni mobil telefoningizdan kompyuteringizga qanday ulashish mumkin?

O'z argumentida Cloudflare ishni qarama-qarshi qo'yadi rioya qilish misollari eng yaxshi tajribalar, aktyorlarga iqtibos keltirgan holda robots.txt-ni hurmat qiling, o'z agentlarini hujjatlashtirish va yangi paydo bo'lgan standartlarni qabul qilish Veb-bot autentsiyasiQiyosiy testlarda u boshqa botlarni da'vo qiladi to'xtadilar tarmoq taqiqlanishi yoki bloklanishiga duch kelganda, kamuflyajli qayta urinishlarsiz.

Ispaniyada bloklangan veb-saytlar ro'yxati
Tegishli maqola:
Hukumat Ispaniyada bloklangan veb-saytlarning rasmiy ro'yxatini e'lon qiladi: tizim qanday ishlaydi va qaysi domenlar paydo bo'ladi.

Ekotizimning borishini belgilovchi ziddiyat

Qiyinchilik veb-saytlarni ko'zdan kechiradi

Yetkazib beruvchi a doimiy evolyutsiya bot operatorlarining taktikasi va ularni o'z ichiga olgan himoya vositalari. Shu bilan birga, u ekspertlar va tashkilotlar bilan ishlashda ishtirok etadi IETF kuchaytirish uchun robots.txt kengaytmalari va yaxshi niyatli kuzatuvchilar rioya qilishlari kerak bo'lgan o'lchovli tamoyillar.

Maxsus pulsdan tashqari, kassa stolga qo'yadi ishonch inqirozi kontent yaratuvchilari, platformalar va AI kompaniyalari o'rtasida: kim qila oladi nimaga kirish, qanday sharoitlarda va qanday qilib shaffof qiling biznes modellarini buzmasdan yoki innovatsiyalarni sekinlashtirmasdan. Hamma narsa bu suhbatga ishora qiladi ochiq qoladi Shu bilan birga, sun'iy intellekt agentlari mashhurlikka erishadilar va Internet birgalikda yashash qoidalarini o'zgartiradi.

Ushbu epizod aniq xabarni qoldiradi: AI kuzatuvi nazorat ostida, Cloudflare Perplexity va ishga tushirish bilan bog'liq kamuflyaj taktikasini qoralaydi. qat'iy rad etadi; o'rtada, sayt egalari kirish huquqiga ega yangi vositalar kirishni nazorat qilish va bir qator yaxshi amaliyotlar kelgusi oylarda o'yin maydonini belgilaydigan qurilmoqda.