بلاک شدہ ویب سائٹس کو ٹریک کرنے کے لیے Cloudflare کی طرف سے ہدف بنایا گیا پریشانی

Cloudflare نے خطرے کی گھنٹی بجا دی ہے۔ ایک رپورٹ شائع کرکے جس میں AI سے چلنے والے جوابی انجن پر رکاوٹوں کے باوجود ویب سائٹس کو کرال کرنے کے لیے پریشانی کا الزام ان کے مالکان کے ذریعہ رکھا گیا ہے۔ انفراسٹرکچر فراہم کرنے والے کے مطابق، سروس ہوگی robots.txt کو نظر انداز کر دیا گیا۔ اور ممنوعہ مواد تک رسائی کے لیے نیٹ ورک بلاکس کو نظرانداز کریں۔

ایک ایسے منظر نامے میں جہاں AI ماڈلز کو تربیت دینے اور حقیقی وقت میں جواب دینے کے لیے ڈیٹا کھا جاتا ہے۔ جدت طرازی اور ویب ماحولیاتی نظام کے قوانین کے احترام کے درمیان توازن تناؤ ہو رہا ہےتنازعہ پر بحث کو پھر سے بھڑکاتا ہے۔ غیر مجاز سکریپنگ اور وہ تکنیکی اور اخلاقی حدود جو بڑی مقدار میں آن لائن معلومات کی بنیاد پر مصنوعات تیار کرتے ہیں ان کی تعمیل کرنی چاہیے۔

Cloudflare کیا رپورٹ کر رہا ہے اور یہ کیوں اہمیت رکھتا ہے۔

نیٹ ورک سیکیورٹی اور پرفارمنس کمپنی کا کہنا ہے کہ اسے موصول ہوا ہے۔ گاہکوں کی شکایات جن کی سائٹس تک رسائی حاصل کرنے کے باوجود پریشانی سے منسوب ہے۔ robots.txt میں اس پر پابندی لگائیں۔ اور قوانین کو لاگو کریں۔ ڈبلیو اے ایف ان کے اعلان کردہ ٹریکرز کو بلاک کرنے کے لیے۔ تحقیقات کے بعد، Cloudflare کا ایک پیٹرن کا پتہ لگانے کا دعوی ہے خفیہ ٹریکنگ ویب سائٹ کے مالکان کی ترجیحات سے مطابقت نہیں رکھتا۔

فراہم کنندہ کا دعویٰ ہے کہ اس نے اس طرز عمل کا مشاہدہ کیا ہے۔ دسیوں ہزار ڈومینز اور ساتھ روزانہ لاکھوں درخواستیں، ایک حجم جو، ان کی رائے میں، واقعاتی طریقوں کے بجائے منظم دکھاتا ہے۔ نتیجے کے طور پر، نے اپنی تصدیق شدہ بوٹس کی فہرست سے پریشانی کو ہٹا دیا ہے۔ اور اس نے ہیورسٹکس کو چالو کر دیا ہے اور اس کے لیے منظم قوانین اس ٹریکنگ کو بلاک کریں۔ پہلے سے طے شدہ طور پر

متعلقہ مضمون:

بیرونی ایپس کے بغیر گوگل کروم سے ویب سائٹس کو کیسے بلاک کیا جائے۔

الجھنوں نے رکاوٹوں کو کیسے عبور کیا ہوگا۔

Cloudflare کے مطابق، جب آپ اعلان کردہ ٹریکرز (جیسا کہ Perplexity صارف ایجنٹ کے ناموں سے شناخت کیا گیا ہے) ایک کریش کا سامنا کرنا پڑا، سسٹم جائے گا براؤزر کی نقالی کریں۔ عام، اپنے آپ کو اس طرح پیش کرنا جیسے یہ تھا۔ macOS پر کروم ان کی شناخت چھپانے کے لیے اور پتہ لگانے سے بچیں.

اس کے علاوہ، رسائی سے آیا غیر مطبوعہ IP رینجز پریشانی اور اکثر گھمایا، جس نے فلٹرنگ کو مشکل بنا دیا ہوگا۔ Cloudflare نے یہ بھی دعویٰ کیا ہے کہ اس میں تبدیلیاں دیکھی گئی ہیں۔ ASN (خود مختار نظام) درخواستوں کی اصل، ایک اور علامت بلاک چوری نیٹ ورک

تحقیق میں بتایا گیا ہے کہ مشاہدہ کیا گیا رویہ پیٹرن کا احترام نہیں کرے گا میں بیان کردہ اچھے کرالروں میں سے آر ایف سی 9309 اور اس کی "تصدیق شدہ بوٹس" پالیسی میں: شناخت کی شفافیت (ایجنٹ، آئی پی اور رابطہ)، ٹریفک پرسکون، ایک واضح مقصد اور robots.txt کا احترام کریں۔ سائٹ کے مالکان کی طرف سے پہلے سے ہی مقرر کردہ حدود۔

Cloudflare کا کہنا ہے کہ یہ قابل ہو گیا ہے "ایک نشان چھوڑ دو" کے ایک مجموعہ کے ذریعے اس ٹریفک کے لئے نیٹ ورک سگنلز اور مشین لرننگ، آپ کے زیر انتظام قواعد میں دستخط شامل کرنا جو اس سرگرمی کی شناخت اور اسے روکتے ہیں، یہاں تک کہ کے صارفین کے لیے مفت منصوبہ.

متعلقہ مضمون:

2025 میں بہترین ویب سکریپنگ ٹولز

ڈیکو ڈومینز اور نتائج کے ساتھ ٹیسٹنگ

ان کے شکوک کی تصدیق کے لیے ٹیم بنائی نئے اور غیر مطبوعہ ڈومینز (انڈیکسڈ یا عوامی طور پر منسلک نہیں) اور ان پر ایک پالیسی لاگو کی۔ robots.txt پر مکمل پابندینیز Perplexity بوٹس پر پابندی لگانے کے مخصوص اصول۔ ان سائٹس کے لیے AI سے مشورہ کرنے کے بعد، Cloudflare کا دعویٰ ہے۔ جوابات ملے میزبانی کردہ مواد کے بارے میں تفصیلات کے ساتھ، ایسی چیز جو کہ اگر درست ہو تو اس کی نشاندہی کرے گی۔ رکاوٹوں کے باوجود رسائی.

جب بلاک مؤثر تھا، Cloudflare نے مشاہدہ کیا کہ Perplexity's AI متبادل ذرائع کا سہارا لیا۔ ایک ردعمل کی تعمیر کے لئے، لیکن کم درست اور اصل مواد کی خصوصیات کے بغیر، اس بات کی عکاسی کرتا ہے۔ پابندی نے کام کیا.

Perplexity کا سرکاری ردعمل

الجھن، اس کے حصے کے لیے، وہ الزامات کی تردید کرتا ہے۔ خفیہ ٹریکنگ اور دعووں کی جو Cloudflare کے پاس ہے۔ غلط تشریح تجزیہ کردہ سرگرمی کا حصہ۔ کمپنی کے ترجمان نے اس رپورٹ کو a "تجارتی ٹکڑا" اور وہ دعوی کرتے ہیں کہ کچھ ثبوت وہ حقیقی رسائی کی جانچ نہیں کریں گے۔ یا اس سے بھی مطابقت رکھتا ہے۔ دوسرے لوگوں کے بوٹس.

اسٹارٹ اپ نے بھی اس پر اپنا موقف شیئر کیا ہے۔ X میں اشاعتیں, جہاں وہ کی صلاحیت پر سوال کرتا ہے پتہ لگانے کے نظام کے درمیان فرق کرنے کے لئے جائز AI معاونین، فریق ثالث ٹریکرز، اور بدنیتی پر مبنی ٹریفک۔ مزید برآں، یہ دلیل دیتا ہے کہ a بروقت معلومات حاصل کرنے والا ایجنٹ ایک سوال کا جواب دینے کے لیے یہ ایک ہی کام نہیں کرتا ایک روایتی کرالر کے مقابلے میں جو ویب کو بڑے پیمانے پر کرال کرتا ہے۔

اقدامات، اچھے طریقے اور دوسرے اداکاروں کا کردار

اپنی حکمت عملی کے ایک حصے کے طور پر، Cloudflare کے پاس ہے۔ Perplexity سے ہٹا دیا گیا۔ اس کے قابل اعتماد بوٹس کی رجسٹری سے اور شامل کیا گیا ہے۔ بلاک کرنے کے قوانین اس کی مبینہ چھپی ہوئی ٹریکنگ۔ کمپنی تجویز کرتی ہے کہ منتظمین چالو کریں۔ اینٹی بوٹ پالیسیاں، درخواست دیں۔ چیلنجز جب کل بلاک مطلوبہ نہ ہو اور اس کے خلاف مخصوص منظم قواعد استعمال کریں۔ AI سکریپنگ.

اس کی دلیل میں، Cloudflare اس معاملے سے متصادم ہے۔ تعمیل کی مثالیں بہترین طریقوں کی، اداکاروں کا حوالہ دیتے ہوئے جو robots.txt کا احترام کریں۔، اپنے ایجنٹوں کو دستاویز کریں اور ابھرتے ہوئے معیارات کو اپنائیں جیسے ویب بوٹ اوتھتقابلی ٹیسٹ میں، یہ دعوی کرتا ہے کہ دوسرے بوٹس وہ رک گئے جب نیٹ ورک پر پابندی یا بلاک کا سامنا ہو، بغیر چھپی ہوئی دوبارہ کوششوں کے.

متعلقہ مضمون:

حکومت سپین میں مسدود ویب سائٹس کی سرکاری فہرست شائع کرتی ہے: سسٹم کیسے کام کرتا ہے اور کون سے ڈومین ظاہر ہوتے ہیں۔

ایک تنازعہ جو ماحولیاتی نظام کے راستے کو نشان زد کرتا ہے۔

فراہم کنندہ توقع کرتا ہے کہ a مسلسل ارتقاء بوٹ آپریٹرز کے ہتھکنڈوں اور ان پر مشتمل دفاع کے بارے میں۔ متوازی طور پر، وہ ماہرین اور تنظیموں کے ساتھ کام میں حصہ لیتا ہے۔ آئی ای ٹی ایف فروغ دینے کے لئے robots.txt ایکسٹینشنز اور قابل پیمائش اصول جن پر نیک نیت ٹریکرز کو عمل کرنا چاہیے۔

مخصوص نبض سے پرے، کیس میز پر رکھتا ہے۔ اعتماد کا بحران مواد تخلیق کاروں، پلیٹ فارمز اور AI کمپنیوں کے درمیان: کون کر سکتا ہے۔ کیا رسائیکن حالات میں، اور کیسے اسے شفاف بنائیں کاروباری ماڈلز کو توڑنے یا جدت کو سست کیے بغیر۔ ہر چیز اس گفتگو کی طرف اشارہ کرتی ہے۔ کھلا رہے گا جبکہ AI ایجنٹوں کو اہمیت حاصل ہوتی ہے اور ویب اپنے بقائے باہمی کے اصولوں کو ایڈجسٹ کرتا ہے۔

یہ واقعہ ایک واضح پیغام چھوڑتا ہے: اے آئی سے باخبر رہنے کی جانچ کی جا رہی ہے۔, Cloudflare کے ساتھ چھلاوے کے ہتھکنڈوں کی مذمت کرتے ہوئے Perplexity اور startup سے منسوب اس کی سختی سے تردید; وسط میں، سائٹ کے مالکان کو رسائی حاصل ہے۔ نئے اوزار رسائی اور ایک سیٹ کو کنٹرول کرنے کے لیے اچھے طریقوں زیر تعمیر جو آنے والے مہینوں میں کھیل کے میدان کو نشان زد کرے گی۔

البرٹو ناوارو

میں ٹیکنالوجی کا شوقین ہوں جس نے اپنی "geek" دلچسپیوں کو ایک پیشہ میں بدل دیا ہے۔ میں نے اپنی زندگی کے 10 سال سے زیادہ جدید ٹیکنالوجی کا استعمال کرتے ہوئے اور خالص تجسس کے تحت ہر قسم کے پروگراموں کے ساتھ ٹنکرنگ کرتے ہوئے گزارے ہیں۔ اب میں نے کمپیوٹر ٹیکنالوجی اور ویڈیو گیمز میں مہارت حاصل کر لی ہے۔ اس کی وجہ یہ ہے کہ میں 5 سال سے زیادہ عرصے سے ٹیکنالوجی اور ویڈیو گیمز پر مختلف ویب سائٹس کے لیے لکھ رہا ہوں، ایسے مضامین تخلیق کر رہا ہوں جو آپ کو ایسی زبان میں معلومات فراہم کرنے کی کوشش کر رہے ہیں جو ہر کسی کو سمجھ میں آتی ہے۔

اگر آپ کا کوئی سوال ہے تو، میرا علم ونڈوز آپریٹنگ سسٹم کے ساتھ ساتھ موبائل فون کے لیے اینڈرائیڈ سے متعلق ہر چیز سے ہے۔ اور میری وابستگی آپ کے ساتھ ہے، میں ہمیشہ چند منٹ گزارنے اور انٹرنیٹ کی اس دنیا میں آپ کے کسی بھی سوال کو حل کرنے میں آپ کی مدد کرنے کو تیار ہوں۔