- Cloudflare מאשימה את Perplexity בעקיפת קובץ robots.txt ובהסתרת הסריקה שלה באמצעות סוכני משתמש וכתובות IP שלא הוכרזו.
- החברה טוענת כי ראתה שינויים ב-ASN ובמיליוני בקשות מדי יום על פני עשרות אלפי דומיינים.
- Perplexity מכחישה שיטות חשאיות, מפקפקת במתודולוגיה וטוענת שהבינה המלאכותית שלה פועלת בצורה שונה מזו של זחלן מסורתי.
- Cloudflare מסירה את Perplexity כבוט מאומת ומאפשרת כללים לחסימת מעקב בינה מלאכותית כברירת מחדל.
קלאודפלייר העלתה את האזעקה על ידי פרסום דו"ח שבו מאשימה את מנוע התשובות המופעל על ידי בינה מלאכותית, Perplexity, בכך שהוא ממשיך לסרוק אתרים למרות המחסומים. הוצבו על ידי בעליהם. לדברי ספק התשתית, השירות היה צריך robots.txt הוזנח ולעקוף חסימות רשת כדי לגשת לתוכן אסור.
בנוף שבו בינה מלאכותית טורפת נתונים כדי לאמן מודלים ולהגיב בזמן אמת, ה- איזון בין חדשנות לבין כיבוד חוקי המערכת האקולוגית של האינטרנט מתחיל להיות מתוחהמחלוקת מעוררת מחדש את הוויכוח על גירוד בלתי מורשה והמגבלות הטכניות והאתיות שאלו הבונים מוצרים המבוססים על כמויות גדולות של מידע מקוון צריכים לעמוד בהן.
על מה Cloudflare מדווחת ולמה זה חשוב
חברת אבטחת הרשת והביצועים טוענת שקיבלה תלונות לקוחות שאתריהם המשיכו לקבל גישה המיוחסת ל-Perplexity למרות חסום את זה ב-robots.txt וליישם את הכללים של WAF לחסום את המעקבים המוצהרים שלהם. לאחר חקירה, Cloudflare טוענת שזיהתה דפוס של מעקב סמוי לא תואם את העדפות בעלי האתרים.
הספק טוען כי צפה בהתנהגות זו ב עשרות אלפי דומיינים ו מיליוני בקשות מדי יום, כרך אשר, לדעתו, מציג פרקטיקות שיטתיות ולא מקריות. כתוצאה מכך, הסירה את Perplexity מרשימת הבוטים המאומתים שלה והפעיל היוריסטיקות וניהל כללים עבור חסום את המעקב הזה כברירת מחדל.
כיצד המבוכה הייתה מתגברת על המחסומים
לפי Cloudflare, כאשר שלך עוקבים מוצהרים (כפי שזוהה על ידי שמות סוכני המשתמש של Perplexity) נתקל בקריסה, המערכת תעבור אל התחזות לדפדפן נפוץ, מציג את עצמו כאילו היה כרום ב-macOS כדי להסוות את זהותם ו להימנע מגילוי.
בנוסף, הגישות הגיעו מ טווחי IP שלא פורסמו על ידי מבוכה ו מסתובב לעתים קרובות, מה שהיה מקשה על הסינון. Cloudflare טוענת גם שראתה שינויים ב- ASN (מערכות אוטונומיות) מקור הבקשות, סימן נוסף של התחמקות מחסומים רֶשֶׁת.
המחקר מציין כי ההתנהגות שנצפתה לא יכבד את התבנית מהזחלים הטובים המתוארים ב RFC 9309 ובמדיניות "הבוטים המאומתים" שלה: שקיפות זהות (סוכן, כתובות IP ואיש קשר), הרגעה של התנועה, מטרה ברורה ו כבד את robots.txt כבר המגבלות שנקבעו על ידי בעלי האתרים.
קלאודפלייר אומרת שהיא הצליחה "להשאיר חותם" לתנועה זו באמצעות שילוב של אותות רשת ולמידת מכונה, הוספת חתימות לכללים המנוהלים שלך שמזהות וחוסמות פעילות זו, אפילו עבור לקוחות של תוכנית בחינם.
בדיקה עם דומייני פיתיון ותוצאות
כדי לאשר את חשדותיהם, הצוות יצר דומיינים חדשים ולא פורסמו (לא מאונדקס או מקושר לציבור) והחיל עליהם מדיניות חסימה מוחלטת של robots.txt, כמו גם כללים ספציפיים לאיסור בוטים של Perplexity. לאחר התייעצות עם הבינה המלאכותית של אתרים אלה, Cloudflare טוענת ש קיבלתי תשובות עם פרטים על התוכן המאוחסן, דבר שאם הוא נכון, יצביע על כך גישה למרות מחסומים.
כאשר החסימה הייתה יעילה, Cloudflare ציינה שהבינה המלאכותית של Perplexity פנו למקורות חלופיים כדי לבנות תגובה, אבל פחות מדויק וללא הייחודיות של החומר המקורי, המשקף את העובדה ש- ההגבלה עבדה.
התגובה הרשמית של Perplexity
מבוכה, מצידה, דוחה את ההאשמות של מעקב סמוי וטענות ש-Cloudflare עשתה פירש בצורה שגויה חלק מהפעילות שנותחה. דוברי החברה תיארו את הדו"ח כ- "קטע מסחרי" והם טוענים שישנן ראיות מסוימות הם לא היו בודקים גישות אמיתיות או אפילו תואמות בוטים של אנשים אחרים.
הסטארט-אפ גם שיתף את עמדתו בנושא פרסומים ב-X, שם הוא מטיל ספק ביכולתו של ה- מערכות איתור להבדיל בין עוזרי בינה מלאכותית לגיטימיים, עוקבים של צד שלישי ותעבורה זדונית. יתר על כן, היא טוענת ש- סוכן המבקש מידע בזמן כדי להגיב לשאילתה זה לא עובד אותו דבר מאשר זחלן מסורתי שסורק את האינטרנט בהמוניו.
אמצעים, שיטות עבודה מומלצות ותפקידם של גורמים אחרים
כחלק מהאסטרטגיה שלה, Cloudflare הוסר מ-Perplexity ממרשם הבוטים המהימנים שלה והוסיפה כללים לחסימה המעקב הנסתר לכאורה שלה. החברה ממליצה למנהלים להפעיל מדיניות נגד בוטים, להגיש מועמדות אתגרים כאשר חסימה מלאה אינה רצויה ויש להשתמש בכללים מנוהלים ספציפיים כנגד גירוד של בינה מלאכותית.
בטיעון שלה, Cloudflare משווה את המקרה עם דוגמאות של תאימות של שיטות עבודה מומלצות, תוך ציטוט גורמים אשר כבד את robots.txt, לתעד את סוכניהם ולאמץ סטנדרטים מתפתחים כגון אימות בוט אינטרנטבבדיקות השוואתיות, היא טוענת שבוטים אחרים הם עצרו כאשר נתקלים בחסימת רשת או חסימה, ללא ניסיונות חוזרים מוסווים.
קונפליקט המסמן את מהלך המערכת האקולוגית
הספק צופה ש- אבולוציה מתמדת של הטקטיקות של מפעילי הבוטים וההגנות המשמשות כדי לבלום אותם. במקביל, הוא משתתף בעבודה עם מומחים וארגונים כמו IETF לדחף סיומות robots.txt ועקרונות מדידים שעוקבים בעלי כוונות טובות צריכים לדבוק בהם.
מעבר לדופק הספציפי, המקרה שם על השולחן את משבר אמון בין יוצרי תוכן, פלטפורמות וחברות בינה מלאכותית: מי יכול גישה למה, באילו תנאים, וכיצד להפוך את זה לשקוף מבלי לשבור מודלים עסקיים או להאט את החדשנות. הכל מצביע על השיחה הזו יישאר פתוח בעוד שסוכני בינה מלאכותית צוברים בולטות והרשת מתאימה את כללי הדו-קיום שלה.
הפרק הזה משאיר מסר ברור: מעקב אחר בינה מלאכותית נמצא תחת בדיקה, כאשר Cloudflare גינה טקטיקות הסוואה המיוחסות ל-Perplexity ולסטארט-אפ מכחיש זאת בתוקףבאמצע, לבעלי האתרים יש גישה אל כלים חדשים לשלוט בגישה ובקבוצה של תרגול טוב בבנייה שתסמן את מגרש המשחקים בחודשים הקרובים.
אני חובב טכנולוגיה שהפך את תחומי העניין ה"חנון" שלו למקצוע. ביליתי יותר מ-10 שנים מחיי בטכנולוגיה מתקדמת והתעסקות עם כל מיני תוכניות מתוך סקרנות טהורה. עכשיו התמחיתי בטכנולוגיית מחשבים ומשחקי וידאו. הסיבה לכך היא שכבר יותר מ-5 שנים אני כותב לאתרים שונים בנושאי טכנולוגיה ומשחקי וידאו, ויוצר מאמרים המבקשים לתת לכם את המידע הדרוש לכם בשפה מובנת לכולם.
אם יש לך שאלות, הידע שלי נע מכל מה שקשור למערכת ההפעלה Windows וכן אנדרואיד לטלפונים ניידים. והמחויבות שלי היא אליך, אני תמיד מוכן להקדיש כמה דקות ולעזור לך לפתור כל שאלה שיש לך בעולם האינטרנט הזה.