- Cloudflare го обвинува Perplexity за заобиколување на robots.txt и маскирање на неговото индексирање со непријавени кориснички агенти и IP адреси.
- Компанијата тврди дека забележала промени во ASN и милиони барања дневно низ десетици илјади домени.
- „Перплексити“ ги негира тајните практики, ја доведува во прашање методологијата и тврди дека неговата вештачка интелигенција работи поинаку од традиционалниот пребарувач.
- Cloudflare го отстранува Perplexity од листата како потврден бот и овозможува правила за блокирање на следењето со вештачка интелигенција по дифолт.
Cloudflare го крена алармот со објавување на извештај во кој го обвинува пребарувачот за одговори „Perplexity“ кој работи на вештачка интелигенција дека продолжува да ги пребарува веб-страниците и покрај пречките поставени од нивните сопственици. Според давателот на инфраструктура, услугата би имала robots.txt е игнориран и заобиколете ги мрежните блокови за пристап до забранета содржина.
Во пејзаж каде што вештачката интелигенција ги голта податоците за да ги обучи моделите и да одговори во реално време, рамнотежа помеѓу иновациите и почитувањето на правилата на веб-екосистемот станува напнатоКонтроверзноста ја обновува дебатата за неовластено стружење и техничките и етичките ограничувања што треба да ги почитуваат оние што градат производи врз основа на големи количини на информации од интернет.
Што известува Cloudflare и зошто е важно
Компанијата за мрежна безбедност и перформанси вели дека добила жалби на клиенти чии страници продолжија да добиваат пристап што му се припишува на Perplexity и покрај забрани го во robots.txt и да ги применуваат правилата на WAF да ги блокираат нивните декларирани тракери. По истрагата, Cloudflare тврди дека открил шема на тајно следење некомпатибилно со преференциите на сопствениците на веб-страниците.
Добавувачот тврди дека го забележал ова однесување во десетици илјади домени и милиони барања дневно, том кој, според негово мислење, покажува систематски, а не инцидентни практики. Како резултат на тоа, го отстрани Perplexity од својата листа на потврдени ботови и активираше евристика и управувани правила за блокирај го ова следење стандардно.
Како збунетоста би ги надминала бариерите
Според Cloudflare, кога вашиот декларирани тракери (како што е идентификувано од имињата на корисничките агенти на Perplexity) наиде на пад, системот ќе се врати на лажно претставување како прелистувач вообичаено, претставувајќи се како да е Chrome на macOS да го прикријат својот идентитет и избегнувајте откривање.
Покрај тоа, пристапите доаѓаа од необјавени IP опсези од збунетост и често ротирано, што би го отежнало филтрирањето. Cloudflare исто така тврди дека забележал промени во ASN (автономни системи) потеклото на барањата, уште еден знак за избегнување на блокади мрежа.
Истражувањето наведува дека набљудуваното однесување нема да го почитува моделот од добрите пребарувачи опишани во RFC 9309 и во својата политика за „потврдени ботови“: транспарентност на идентитетот (агент, IP адреси и контакт), смирување на сообраќајот, јасна цел и почитувајте го robots.txt веќе ограничувањата поставени од сопствениците на страниците.
Cloudflare вели дека успеал да „Остави белег“ до овој сообраќај преку комбинација од мрежни сигнали и машинско учење, додавајќи потписи на вашите управувани правила што ја идентификуваат и блокираат оваа активност, дури и за клиентите на бесплатен план.
Тестирање со мамни домени и резултати
За да ги потврдат своите сомневања, тимот создал нови и необјавени домени (не се индексирани или јавно поврзани) и примениле политика на нив целосна забрана за robots.txt, како и специфични правила за забрана на ботови од Perplexity. По консултација со вештачката интелигенција за тие страници, Cloudflare тврди дека добив одговори со детали за хостираната содржина, нешто што - доколку е точно - би укажало пристап и покрај пречките.
Кога блокот беше ефективен, Cloudflare забележа дека вештачката интелигенција на Perplexity прибегнаа кон алтернативни извори да се изгради одговор, но помалку прецизен и без особеностите на оригиналниот материјал, одразувајќи дека ограничувањето функционираше.
Официјален одговор на Perplexity
Збунетоста, од своја страна, ги отфрла обвинувањата за тајно следење и тврдења дека Cloudflare има погрешно протолкувано дел од анализираната активност. Портпаролите на компанијата го опишаа извештајот како „комерцијален дел“ и тие тврдат дека некои докази тие нема да тестираат вистински пристапи или дури и одговараат на ботови на други луѓе.
Стартапот, исто така, го сподели својот став за публикации во X, каде што го доведува во прашање капацитетот на системи за детекција да се направи разлика помеѓу легитимни асистенти за вештачка интелигенција, тракери од трети страни и злонамерен сообраќај. Понатаму, се тврди дека агент кој бара навремени информации да одговорам на барање не функционира исто отколку традиционален пребарувач кој масовно пребарува низ мрежата.
Мерки, добри практики и улогата на другите актери
Како дел од својата стратегија, Cloudflare има отстранет од листата на „Зачуденост“ од својот регистар на доверливи ботови и додаде правила за блокирање наводно скриено следење. Компанијата препорачува администраторите да го активираат политики против ботови, Аплицирај предизвици кога не е посакуван целосен блок и користете специфични управувани правила против Скрепирање со вештачка интелигенција.
Во својот аргумент, Cloudflare го споредува случајот со примери за усогласеност на најдобри практики, наведувајќи ги актерите кои почитувајте го robots.txt, ги документираат своите агенти и усвојуваат нови стандарди како што се Авторизација на веб-ботВо компаративни тестови, се тврди дека други ботови тие застанаа кога ќе се соочите со забрана или блокирање на мрежата, без камуфлирани обиди.
Конфликт што го означува текот на екосистемот
Добавувачот предвидува постојана еволуција за тактиките на операторите на ботови и одбраната што се користи за нивно сопирање. Паралелно, тој учествува во работа со експерти и организации како што се IETF да импулсира екстензии robots.txt и мерливи принципи до кои треба да се придржуваат добронамерните тракери.
Надвор од специфичниот пулс, случајот го става на маса криза на доверба помеѓу креаторите на содржини, платформите и компаниите за вештачка интелигенција: кој може пристап до што, под кои услови и како направи го транспарентно без да се нарушат бизнис моделите или да се забави иновацијата. Сè укажува на овој разговор ќе остане отворено додека агентите на вештачката интелигенција добиваат на важност, а мрежата ги прилагодува своите правила на коегзистенција.
Оваа епизода остава јасна порака: Следењето на вештачката интелигенција е под лупа, при што Cloudflare ги осудува тактиките на камуфлажа што им се припишуваат на Perplexity и стартапот цврсто негирајќи го тоа; во средината, сопствениците на сајтовите имаат пристап до нови алатки за контрола на пристапот и сет на добри практики во изградба што ќе го означи игралиштето во наредните месеци.
Јас сум технолошки ентузијаст кој своите „гикови“ интереси ги претвори во професија. Поминав повеќе од 10 години од мојот живот користејќи најсовремена технологија и непречено со сите видови програми од чиста љубопитност. Сега сум специјализиран за компјутерска технологија и видео игри. Тоа е затоа што повеќе од 5 години пишувам за различни веб-локации за технологија и видео игри, создавајќи статии кои се обидуваат да ви ги дадат потребните информации на јазик што е разбирлив за секого.
Ако имате прашања, моето знаење се движи од се што е поврзано со оперативниот систем Виндоус како и Андроид за мобилни телефони. И мојата посветеност е кон вас, јас сум секогаш подготвен да потрошам неколку минути и да ви помогнам да ги решите сите прашања што може да ги имате во овој интернет свет.