- Cloudflare apsūdz Perplexity par robots.txt apiešanu un tā pārmeklēšanas maskēšanu ar nedeklarētiem lietotāju aģentiem un IP adresēm.
- Uzņēmums apgalvo, ka ir novērojis ASN izmaiņas un miljoniem pieprasījumu katru dienu desmitiem tūkstošu domēnu.
- "Perplexity" noliedz slepenas darbības, apšauba metodoloģiju un apgalvo, ka tā mākslīgais intelekts darbojas citādi nekā tradicionālais rāpuļprogramma.
- Cloudflare noņem Perplexity no verificētu botu saraksta un iespējo noteikumus, kas pēc noklusējuma bloķē mākslīgā intelekta izsekošanu.
Cloudflare ir pacēlis trauksmi publicējot ziņojumu, kurā apsūdz mākslīgā intelekta darbinātu atbilžu dzinēju Perplexity par tīmekļa vietņu pārmeklēšanu, neskatoties uz šķēršļiem. novietojuši to īpašnieki. Saskaņā ar infrastruktūras nodrošinātāja teikto, pakalpojumam būtu bijis robots.txt ignorēts un apiet tīkla blokus, lai piekļūtu aizliegtam saturam.
Ainavā, kur mākslīgais intelekts patērē datus, lai apmācītu modeļus un reaģētu reāllaikā, līdzsvars starp inovācijām un tīmekļa ekosistēmas noteikumu ievērošanu kļūst saspringtsStrīds atdzīvina debates par neatļauta datu nokasīšana un tehniskos un ētiskos ierobežojumus, kas jāievēro tiem, kas veido produktus, kuru pamatā ir liels tiešsaistes informācijas apjoms.
Ko ziņo Cloudflare un kāpēc tas ir svarīgi
Tīkla drošības un veiktspējas uzņēmums apgalvo, ka ir saņēmis quejas de clientes kuru vietnēm turpināja piekļūt, neskatoties uz to, ka tā ir saistīta ar Perplexity aizliegt to robots.txt failā un piemērot noteikumus WAF lai bloķētu savus deklarētos izsekotājus. Pēc izmeklēšanas Cloudflare apgalvo, ka ir atklājis modeli, kas slepena izsekošana nesaderīgs ar tīmekļa vietņu īpašnieku vēlmēm.
Piegādātājs apgalvo, ka ir novērojis šādu rīcību desmitiem tūkstošu domēnu un ar miljoniem pieprasījumu katru dienu, sējums, kas, viņaprāt, liecina par sistemātisku, nevis nejaušu praksi. Tā rezultātā, ir noņēmis Perplexity no sava verificēto robotprogrammatūru saraksta. un ir aktivizējis heiristiku un pārvaldījis noteikumus bloķēt šo izsekošanu de manera predeterminada.
Kā Apjukums būtu pārvarējis šķēršļus
Saskaņā ar Cloudflare datiem, kad jūsu deklarētie izsekotāji (kā norādīts Perplexity lietotāja aģentu nosaukumos) saskārās ar avāriju, sistēma pārgāja uz uzdoties par pārlūkprogrammu izplatīts, sevi pasniedzot tā, it kā tas būtu Chrome en macOS lai maskētu savu identitāti un izvairīties no atklāšanas.
Turklāt piekļuves tika veiktas no nepublicēti IP diapazoni ar Apjukumu un bieži rotē, kas būtu apgrūtinājis filtrēšanu. Cloudflare arī apgalvo, ka ir novērojis izmaiņas ASN (autonomās sistēmas) pieprasījumu izcelsme, vēl viena pazīme bloķēšanas apiešana de red.
Pētījumā minēts, ka novērotā uzvedība neievērotu modeli no labajiem rāpotājiem, kas aprakstīti RFC 9309 un tās “pārbaudīto botu” politikā: identitātes pārredzamība (aģents, IP adreses un kontaktpersona), satiksmes nomierināšana, skaidrs mērķis un ievērojiet robots.txt failu jau vietņu īpašnieku noteiktie ierobežojumi.
Cloudflare apgalvo, ka ir spējis "atstāt zīmi" šai satiksmei, izmantojot šādu kombināciju: tīkla signāli un mašīnmācīšanās, pievienojot pārvaldītajiem noteikumiem parakstus, kas identificē un bloķē šo darbību, pat klientiem, kas atrodas plan gratuito.
Testēšana ar mānekļu domēniem un rezultāti
Lai apstiprinātu savas aizdomas, komanda izveidoja jauni un nepublicēti domēni (nav indeksēti vai publiski saistīti) un tiem piemēroja politiku pilnīgs robots.txt aizliegums, kā arī īpašus noteikumus Perplexity robotprogrammatūru aizliegšanai. Pēc apspriešanās ar šo vietņu mākslīgo intelektu Cloudflare apgalvo, ka ieguvu atbildes ar informāciju par mitināto saturu, kas — ja tā ir pareiza — norādītu piekļuve, neskatoties uz šķēršļiem.
Kad bloks bija efektīvs, Cloudflare novēroja, ka Perplexity mākslīgais intelekts ķērās pie alternatīviem avotiem lai radītu atbildi, bet menos precisa un bez oriģinālā materiāla īpatnībām, atspoguļojot to, ka ierobežojums bija nostrādājis.
Perplexity oficiālā atbilde
Apjukums, no savas puses, rechaza las acusaciones par slepenu izsekošanu un apgalvojumiem, ka Cloudflare ir malinterpretado daļa no analizētās darbības. Uzņēmuma pārstāvji ziņojumu ir raksturojuši kā "komerciāls gabals" un viņi apgalvo, ka ir daži pierādījumi viņi nepārbaudītu reālas piekļuves vai pat atbilst citu cilvēku robotprogrammatūras.
Startuzņēmums ir arī dalījies savā nostājā par publicaciones en X, kur viņš apšauba [..] spēju sistemas de detección para diferenciar entre likumīgi mākslīgā intelekta asistenti, trešo pušu izsekotāji un ļaunprātīga datplūsma. Turklāt tā apgalvo, ka a aģents, kas meklē savlaicīgu informāciju atbildēt uz vaicājumu tas nedarbojas tāpat nekā tradicionāls rāpuļprogramma, kas masveidā pārmeklē tīmekli.
Pasākumi, laba prakse un citu dalībnieku loma
Kā daļa no savas stratēģijas, Cloudflare ir izslēgts no Perplexity saraksta no uzticamo robotprogrammatūru reģistra un ir pievienojis bloķēšanas noteikumi tā iespējamo slēpto izsekošanu. Uzņēmums iesaka administratoriem aktivizēt pretbotu politika, aplicar izaicinājumi ja pilnīga bloķēšana nav vēlama, un pret to jāizmanto īpaši pārvaldīti noteikumi. AI datu ieguve.
Savā argumentācijā Cloudflare pretstata lietu atbilstības piemēri labākās prakses piemēri, atsaucoties uz dalībniekiem, kuri ievērojiet robots.txt failu, dokumentēt savus aģentus un pieņemt jaunus standartus, piemēram, Tīmekļa robota autentifikācijaSalīdzinošajos testos tiek apgalvots, ka citi roboti viņi apstājās saskaroties ar tīkla aizliegumu vai bloķēšanu, bez maskētiem atkārtotiem mēģinājumiem.
Konflikts, kas iezīmē ekosistēmas gaitu
Piegādātājs paredz, ka evolución constante par botu operatoru taktiku un aizsardzības līdzekļiem, ko izmanto, lai tos ierobežotu. Paralēli viņš piedalās darbā ar ekspertiem un organizācijām, piemēram, IETF para impulsar robots.txt paplašinājumi un izmērāmus principus, kas jāievēro labi domājošiem izsekotājiem.
Papildus konkrētajam pulsam, lieta liek uz galda crisis de confianza starp satura veidotājiem, platformām un mākslīgā intelekta uzņēmumiem: kurš var piekļūt kam, kādos apstākļos un kā padarīt to caurspīdīgu nesabojājot biznesa modeļus vai nepalēninot inovācijas. Viss norāda uz šo sarunu paliks atvērts kamēr mākslīgā intelekta aģenti iegūst ievērojamu lomu un tīmeklis pielāgo savus līdzāspastāvēšanas noteikumus.
Šī epizode atstāj skaidru vēstījumu: Mākslīgā intelekta izsekošana tiek rūpīgi pārbaudīta, Cloudflare nosodot maskēšanās taktiku, kas piedēvēta Perplexity un jaunuzņēmumam stingri noliedzot to; pa vidu vietņu īpašniekiem ir piekļuve nuevas herramientas lai kontrolētu piekļuvi un kopumu labas prakses tiek būvēts, kas turpmākajos mēnešos iezīmēs spēles laukumu.
Esmu tehnoloģiju entuziasts, kurš savas "geek" intereses ir pārvērtis profesijā. Es esmu pavadījis vairāk nekā 10 gadus no savas dzīves, izmantojot jaunākās tehnoloģijas un tīri ziņkārības vadīts ar visu veidu programmām. Tagad esmu specializējies datortehnoloģijās un videospēlēs. Tas ir tāpēc, ka vairāk nekā 5 gadus esmu rakstījis dažādām tīmekļa vietnēm par tehnoloģijām un videospēlēm, veidojot rakstus, kuru mērķis ir sniegt jums nepieciešamo informāciju ikvienam saprotamā valodā.
Ja jums ir kādi jautājumi, manas zināšanas svārstās no visa, kas saistīts ar Windows operētājsistēmu, kā arī Android mobilajiem tālruņiem. Un mana apņemšanās ir jums, es vienmēr esmu gatavs veltīt dažas minūtes un palīdzēt jums atrisināt visus jautājumus, kas jums varētu rasties šajā interneta pasaulē.