- Cloudflare-ը մեղադրում է Perplexity-ին robots.txt ֆայլը շրջանցելու և դրա սկանավորումը չհայտարարագրված օգտագործողի գործակալներով և IP հասցեներով քողարկելու մեջ։
- Ընկերությունը պնդում է, որ դիտարկել է ASN փոփոխություններ և օրական միլիոնավոր հարցումներ տասնյակ հազարավոր դոմեյններում։
- Perplexity-ն հերքում է գաղտնի գործելակերպը, կասկածի տակ է դնում մեթոդաբանությունը և պնդում, որ իր արհեստական բանականությունը գործում է ավանդական որոնողական համակարգի համեմատ այլ կերպ։
- Cloudflare-ը հեռացնում է Perplexity-ն որպես ստուգված բոտ և լռելյայնորեն միացնում է կանոններով արհեստական բանականության հետևումը արգելափակելու հնարավորությունները։
Cloudflare-ը տագնապ է բարձրացրել զեկույց հրապարակելով, որում մեղադրում է արհեստական ինտելեկտով աշխատող Perplexity պատասխանների համակարգին կայքերը սկանավորելու մեջ՝ չնայած խոչընդոտներին տեղադրված իրենց սեփականատերերի կողմից: Ըստ ենթակառուցվածքների մատակարարի, ծառայությունը կունենար robots.txt-ը անտեսված է և շրջանցել ցանցային բլոկները՝ արգելված բովանդակությանը մուտք գործելու համար։
Այն միջավայրում, որտեղ արհեստական բանականությունը կլանում է տվյալները՝ մոդելներին մարզելու և իրական ժամանակում արձագանքելու համար, նորարարության և վեբ էկոհամակարգի կանոնների հարգման միջև հավասարակշռություն լարվում էՀակասությունը վերսկսում է բանավեճը չարտոնված քերծվածք և տեխնիկական և էթիկական սահմանափակումները, որոնց պետք է համապատասխանեն նրանք, ովքեր մեծ քանակությամբ առցանց տեղեկատվության հիման վրա արտադրանք են կառուցում։
Ինչ է հաղորդում Cloudflare-ը և ինչու է դա կարևոր
Ցանցային անվտանգության և կատարողականության ընկերությունը հայտարարում է, որ ստացել է հաճախորդների բողոքներ որոնց կայքերը շարունակեցին մուտք գործել Perplexity-ին վերագրվող՝ չնայած արգելել այն robots.txt-ում և կիրառել կանոնները WAF իրենց հայտարարված հետևորդներին արգելափակելու համար: Հետաքննությունից հետո Cloudflare-ը պնդում է, որ հայտնաբերել է օրինաչափություն գաղտնի հետևում անհամատեղելի է կայքի սեփականատերերի նախասիրությունների հետ։
Մատակարարը պնդում է, որ նկատել է այս վարքագիծը տասնյակ հազարավոր դոմեյններ եւ հետ օրական միլիոնավոր հարցումներ, հատոր, որը, նրա կարծիքով, ցույց է տալիս համակարգված, այլ ոչ թե պատահական գործելակերպեր։ Արդյունքում, հեռացրել է Perplexity-ն իր ստուգված բոտերի ցանկից և ակտիվացրել է հևրիստիկաները և կառավարվող կանոնները արգելափակել այս հետևումը լռելյայնորեն։
Ինչպես կարող էր շփոթմունքը հաղթահարել խոչընդոտները
Cloudflare-ի տվյալներով՝ երբ ձեր հայտարարված հետևորդներ (ինչպես նշված է Perplexity օգտատիրոջ գործակալների անուններով) վթարի ենթարկվելու դեպքում համակարգը կանցնի դիտարկիչի նմանակում տարածված, ներկայանալով այնպես, կարծես Chrome-ը macOS-ի վրա քողարկելու իրենց ինքնությունը և խուսափել հայտնաբերումից.
Բացի այդ, մուտքերը եկել են չհրապարակված IP տիրույթներ շփոթմունքի և հաճախակի պտտվող, ինչը կդժվարացներ ֆիլտրացումը: Cloudflare-ը նաև պնդում է, որ փոփոխություններ է նկատել ASN (ինքնավար համակարգեր) հարցումների ծագումը, ևս մեկ նշան արգելափակումից խուսափելը ցանց.
Հետազոտությունը նշում է, որ դիտարկված վարքագիծը չէր հարգի ձևը նկարագրված լավ սողացողներից RFC 9309 և իր «ստուգված բոտերի» քաղաքականության մեջ՝ ինքնության թափանցիկություն (գործակալ, IP հասցեներ և կոնտակտային տվյալներ), երթևեկության մեղմացում, հստակ նպատակ և հարգեք robots.txt-ը արդեն իսկ կայքի սեփականատերերի կողմից սահմանված սահմանափակումները։
Cloudflare-ը հայտարարում է, որ կարողացել է «թողնել հետք» այս երթևեկությանը մի քանիսի համադրությամբ ցանցային ազդանշաններ և մեքենայական ուսուցում, ձեր կառավարվող կանոններին ավելացնելով ստորագրություններ, որոնք նույնականացնում և արգելափակում են այս գործունեությունը, նույնիսկ հաճախորդների համար անվճար ծրագիր.
Փորձարկում խաբուսիկ տիրույթներով և արդյունքներով
Իրենց կասկածները հաստատելու համար թիմը ստեղծեց նոր և չհրապարակված դոմեյններ (չեն ինդեքսավորված կամ հրապարակայնորեն հղումներով) և դրանց նկատմամբ կիրառել են քաղաքականություն robots.txt-ի լիակատար արգելք, ինչպես նաև Perplexity բոտերի արգելման հատուկ կանոններ: Այդ կայքերի համար արհեստական բանականության հետ խորհրդակցելուց հետո Cloudflare-ը պնդում է, որ ստացա պատասխաններ հյուրընկալված բովանդակության մանրամասներով, ինչը, եթե ճիշտ լինի, կնշանակեր մուտքը՝ չնայած խոչընդոտներին.
Երբ բլոկը արդյունավետ էր, Cloudflare-ը նկատեց, որ Perplexity-ի արհեստական բանականությունը դիմել են այլընտրանքային աղբյուրների արձագանք կառուցելու համար, բայց ավելի քիչ ճշգրիտ և առանց բնօրինակ նյութի առանձնահատկությունների, արտացոլելով, որ սահմանափակումը աշխատել է.
Perplexity-ի պաշտոնական պատասխանը
Շփոթվածությունն, իր հերթին, մերժում է մեղադրանքները գաղտնի հետևման և Cloudflare-ի կողմից կատարված պնդումների մասին սխալ մեկնաբանված վերլուծված գործունեության մի մասը։ Ընկերության խոսնակները զեկույցը նկարագրել են որպես «Առևտրային կտոր» և նրանք պնդում են, որ որոշ ապացույցներ նրանք չէին փորձարկի իրական մուտքերը կամ նույնիսկ համապատասխանում է այլ մարդկանց բոտերը.
Ստարտափը նաև կիսվել է իր դիրքորոշմամբ հրապարակումներ X-ում, որտեղ նա կասկածի տակ է դնում կարողությունը հայտնաբերման համակարգեր տարբերակել օրինական արհեստական ինտելեկտի օգնականներ, երրորդ կողմի հետևորդներ և վնասակար երթևեկություն: Ավելին, այն պնդում է, որ գործակալ, որը փնտրում է հատուկ տեղեկատվություն հարցմանը պատասխանելու համար նույնը չի աշխատում քան ավանդական որոնողական ծրագիրը, որը զանգվածաբար սողում է համացանցը։
Միջոցառումներ, լավագույն փորձ և այլ գործիչների դերը
Իր ռազմավարության շրջանակներում Cloudflare-ը... հանվել է Perplexity-ի ցուցակից վստահելի բոտերի իր գրանցամատյանից և ավելացրել է արգելափակման կանոններ դրա ենթադրյալ թաքնված հետևումը։ Ընկերությունը խորհուրդ է տալիս ադմինիստրատորներին ակտիվացնել հակաբոտային քաղաքականություն, Դիմել մարտահրավերները երբ ամբողջական բլոկավորումը ցանկալի չէ և դրա դեմ օգտագործում են հատուկ կառավարվող կանոններ Արհեստական բանականության սկրեյփինգ.
Իր փաստարկում Cloudflare-ը հակադրում է դեպքը համապատասխանության օրինակներ լավագույն փորձի մասին՝ մեջբերելով այն գործիչներին, ովքեր հարգեք robots.txt-ը, փաստաթղթավորել իրենց գործակալներին և ընդունել զարգացող ստանդարտներ, ինչպիսիք են՝ Վեբ բոտի վավերացումՀամեմատական փորձարկումներում այն պնդում է, որ այլ բոտեր նրանք կանգ առան ցանցի արգելքի կամ արգելափակման դեպքում, առանց քողարկված կրկնությունների.
Հակամարտություն, որը նշում է էկոհամակարգի ընթացքը
Մատակարարը կանխատեսում է, որ մշտական էվոլյուցիա բոտերի օպերատորների մարտավարության և նրանց զսպելու համար օգտագործվող պաշտպանության միջոցների մասին։ Զուգահեռաբար, նա մասնակցում է մասնագետների և կազմակերպությունների հետ աշխատանքներին, ինչպիսիք են IETF խթանել robots.txt ընդլայնումներ և չափելի սկզբունքներ, որոնց պետք է հետևեն բարի մտադրություններով հետևորդները։
Հատուկ զարկից այն կողմ, գործը սեղանին է դնում վստահության ճգնաժամ բովանդակության ստեղծողների, հարթակների և արհեստական բանականության ընկերությունների միջև. ո՞վ կարող է մուտք գործել ինչի, ինչ պայմաններում և ինչպես դարձնել այն թափանցիկ առանց բիզնես մոդելները խաթարելու կամ նորարարությունը դանդաղեցնելու։ Ամեն ինչ մատնանշում է այս զրույցը կմնա բաց մինչդեռ արհեստական բանականության գործակալները ձեռք են բերում ակնառու ճանաչում, իսկ համացանցը կարգավորում է իր համակեցության կանոնները։
Այս դրվագը հստակ ուղերձ է թողնում. Արհեստական բանականության հետևումը ստուգվում է, որտեղ Cloudflare-ը դատապարտում է Perplexity-ին և ստարտափին վերագրվող քողարկման մարտավարությունը կտրականապես հերքում է դա; մեջտեղում, կայքի սեփականատերերը հասանելիություն ունեն նոր գործիքներ մուտքը վերահսկելու և մի շարք լավ պրակտիկա կառուցման փուլում գտնվող, որը կնշանավորի խաղադաշտը առաջիկա ամիսներին։
Ես տեխնոլոգիայի էնտուզիաստ եմ, ով իր «գիկ» հետաքրքրությունները վերածել է մասնագիտության։ Ես իմ կյանքի ավելի քան 10 տարին անցկացրել եմ՝ օգտագործելով նորագույն տեխնոլոգիաներ և զուտ հետաքրքրասիրությունից դրդված բոլոր տեսակի ծրագրերի հետ աշխատելիս: Այժմ ես մասնագիտացել եմ համակարգչային տեխնիկայի և տեսախաղերի մեջ։ Դա պայմանավորված է նրանով, որ ավելի քան 5 տարի ես գրում եմ տարբեր կայքերի համար տեխնոլոգիայի և վիդեոխաղերի վերաբերյալ՝ ստեղծելով հոդվածներ, որոնք փորձում են ձեզ տրամադրել ձեզ անհրաժեշտ տեղեկատվությունը բոլորին հասկանալի լեզվով:
Եթե ունեք հարցեր, իմ գիտելիքները տատանվում են Windows օպերացիոն համակարգի հետ կապված ամեն ինչից, ինչպես նաև բջջային հեռախոսների համար նախատեսված Android-ից: Եվ իմ հանձնառությունն է ձեզ, ես միշտ պատրաստ եմ մի քանի րոպե ծախսել և օգնել ձեզ լուծել ցանկացած հարց, որը կարող եք ունենալ այս ինտերնետային աշխարհում: