- Cloudflare akuzas Perplexity pri preteriro de robots.txt kaj maskado de ĝia rampado per nedeklaritaj uzantaj agentoj kaj IP-adresoj.
- La kompanio asertas esti observinta ŝanĝojn de ASN kaj milionojn da petoj ĉiutage tra dekoj da miloj da domajnoj.
- Perplekseco neas sekretajn praktikojn, pridubas la metodaron, kaj argumentas, ke ĝia AI funkcias alimaniere ol tradicia rampilo.
- Cloudflare forigas Perplexity kiel konfirmitan roboton kaj defaŭlte ebligas regulojn por bloki artefaritan inteligentecan spuradon.
Cloudflare sonigis la alarmon per publikigo de raporto en kiu akuzas la respondilon per artefarita inteligenteco Perplexity pri daŭre traserĉado de retejoj malgraŭ baroj metitaj de iliaj posedantoj. Laŭ la infrastrukturprovizanto, la servo havus robots.txt ignorita kaj preteriri retblokojn por aliri malpermesitan enhavon.
En pejzaĝo kie artefarita inteligenteco formanĝas datumojn por trejni modelojn kaj respondi en reala tempo, la ekvilibro inter novigado kaj respekto al la reguloj de la TTT-ekosistemo streĉiĝasLa polemiko revivigas la debaton pri la neaŭtorizita skrapado kaj la teĥnikajn kaj etikajn limojn, kiujn tiuj, kiuj konstruas produktojn bazitajn sur grandaj kvantoj da interretaj informoj, devus observi.
Kion Cloudflare raportas kaj kial ĝi gravas
La kompanio pri retsekureco kaj rendimento diras, ke ĝi ricevis klientaj plendoj kies retejoj daŭre ricevis aliron atribuitan al Perplekseco malgraŭ malpermesi ĝin en robots.txt kaj apliki regulojn de la WAF por bloki siajn deklaritajn spurilojn. Post esplorado, Cloudflare asertas esti detektinta ŝablonon de sekreta spurado nekongrua kun la preferoj de retejposedantoj.
La provizanto asertas esti observinta ĉi tiun konduton en dekoj da miloj da domajnoj kaj kun milionoj da petoj ĉiutage, volumo kiu, laŭ lia opinio, montras sistemajn prefere ol hazardajn praktikojn. Rezulte, forigis Perplexity el sia listo de konfirmitaj robotoj kaj aktivigis heŭristikojn kaj administris regulojn por bloki ĉi tiun spuradon defaŭlte.
Kiel Perplekseco superintus la barojn
Laŭ Cloudflare, kiam via deklaritaj spuristoj (kiel identigite per la nomoj de uzanto-agentoj de Perplexity) renkontis kraŝon, la sistemo irus al ŝajnigi esti retumilo komuna, prezentante sin kvazaŭ ĝi estus Kromo ĉe macOS por kamufli sian identecon kaj eviti detekton.
Krome, la aliroj venis de nepublikigitaj IP-intervaloj per Perplekseco kaj ofte rotaciis, kio malfaciligus filtradon. Cloudflare ankaŭ asertas esti vidinta ŝanĝojn en la ASN (aŭtonomaj sistemoj) origino de la petoj, alia signo de blok-evitado reto.
La esploro mencias, ke la observita konduto ne respektus la ŝablonon de la bonaj rampantoj priskribitaj en RFC 9309 kaj en ĝia politiko pri "konfirmitaj robotoj": identeca travidebleco (agento, IP-adresoj kaj kontakto), trafiktrankviligado, klara celo kaj respektu robotojn.txt jam la limoj fiksitaj de retejposedantoj.
Cloudflare diras, ke ĝi sukcesis "lasi spuron" al ĉi tiu trafiko per kombinaĵo de retsignaloj kaj maŝinlernado, aldonante subskribojn al viaj administritaj reguloj, kiuj identigas kaj blokas ĉi tiun agadon, eĉ por klientoj de la senpaga plano.
Testado per forlogaĵaj domajnoj kaj rezultoj
Por konfirmi siajn suspektojn, la teamo kreis novaj kaj neeldonitaj domajnoj (ne indeksita aŭ publike ligita) kaj aplikis politikon al ili totala malpermeso de robots.txt, kaj ankaŭ specifajn regulojn por malpermesi Perplexity-robotojn. Post konsultado de la artefarita inteligenteco por tiuj retejoj, Cloudflare asertas, ke ricevis respondojn kun detaloj pri la gastigita enhavo, io kio — se ĝusta — indikus aliro malgraŭ baroj.
Kiam la blokado efikis, Cloudflare observis, ke la artefarita inteligenteco de Perplexity turnis sin al alternativaj fontoj konstrui respondon, sed malpli preciza kaj sen la apartaĵoj de la originala materialo, reflektante ke la limigo funkciis.
La oficiala respondo de Perplexity
Perplekseco, siaflanke, malakceptas la akuzojn pri sekreta spurado kaj asertoj, ke Cloudflare havas misinterpretita parto de la analizita agado. Firmaaj reprezentantoj priskribis la raporton kiel "komerca peco" kaj ili asertas, ke iuj pruvoj ili ne testus realajn alirojn aŭ eĉ korespondas al la robotoj de aliaj homoj.
La noventrepreno ankaŭ dividis sian sintenon pri publikaĵoj en X, kie li pridubas la kapablon de la detektaj sistemoj diferencigi inter legitimaj AI-asistantoj, triapartaj spuriloj, kaj malica trafiko. Krome, ĝi argumentas, ke agento serĉanta specifajn informojn respondi al demando ĝi ne funkcias same ol tradicia rampilo kiu amase rampas la reton.
Mezuroj, bonaj praktikoj kaj la rolo de aliaj aktoroj
Kiel parto de sia strategio, Cloudflare havas forigita de Perplexity el sia registro de fidindaj robotoj kaj aldonis reguloj por blokado ĝia supozebla kaŝita spurado. La kompanio rekomendas, ke administrantoj aktivigu kontraŭrobotaj politikoj, Apliki defioj kiam totala blokado ne estas dezirata kaj uzi specifajn administritajn regulojn kontraŭ la AI-skrapado.
En sia argumento, Cloudflare komparas la kazon kun ekzemploj de plenumo de plej bonaj praktikoj, citante aktorojn kiuj respektu robotojn.txt, dokumentu siajn agentojn kaj adoptu emerĝantajn normojn kiel ekzemple Aŭtorigo de TTT-RobotoEn komparaj testoj, ĝi asertas, ke aliaj robotoj ili haltis kiam oni renkontas retmalpermeson aŭ blokadon, sen kamuflitaj reprovoj.
Konflikto kiu markas la kurson de la ekosistemo
La provizanto antaŭvidas konstanta evoluo pri la taktikoj de robotfunkciigistoj kaj la defendoj uzataj por enhavi ilin. Paralele, li partoprenas en laboro kun fakuloj kaj organizaĵoj kiel ekzemple la IETF impulsi robots.txt-etendaĵoj kaj mezureblaj principoj, kiujn bonintencaj spuristoj devus sekvi.
Preter la specifa pulso, la kazo metas sur la tablon la krizo de konfido inter kreintoj de enhavo, platformoj kaj AI-kompanioj: kiu povas aliri kion, sub kiaj kondiĉoj, kaj kiel igu ĝin travidebla sen rompi komercajn modelojn aŭ malrapidigi novigadon. Ĉio indikas ĉi tiun konversacion restos malfermita dum AI-agentoj akiras elstarecon kaj la reto adaptas siajn regulojn de kunekzisto.
Ĉi tiu epizodo lasas klaran mesaĝon: AI-spurado estas sub ekzamenado, kun Cloudflare kondamnanta kamuflaĵajn taktikojn atribuitajn al Perplexity kaj la noventrepreno firme neante ĝin; en la mezo, retejposedantoj havas aliron al novaj iloj por kontroli aliron kaj aron da bonaj praktikoj sub konstruado kiu markos la ludkampon en la venontaj monatoj.
Mi estas teknologientuziasmulo, kiu transformis siajn "geek" interesojn en profesion. Mi pasigis pli ol 10 jarojn de mia vivo uzante avangardan teknologion kaj tuŝante ĉiajn programojn pro pura scivolemo. Nun mi specialiĝis pri komputila teknologio kaj videoludoj. Ĉi tio estas ĉar de pli ol 5 jaroj mi verkas por diversaj retejoj pri teknologio kaj videoludoj, kreante artikolojn, kiuj celas doni al vi la informojn, kiujn vi bezonas en lingvo komprenebla por ĉiuj.
Se vi havas demandojn, mia scio varias de ĉio rilata al la Vindoza operaciumo same kiel Android por poŝtelefonoj. Kaj mia devontigo estas al vi, mi ĉiam pretas pasigi kelkajn minutojn kaj helpi vin solvi ajnajn demandojn, kiujn vi povas havi en ĉi tiu interreta mondo.