- Mae Cloudflare yn cyhuddo Perplexity o osgoi robots.txt a chuddio ei gropian gydag asiantau defnyddwyr a chyfeiriadau IP heb eu datgan.
- Mae'r cwmni'n honni ei fod wedi gweld newidiadau i ASN a miliynau o geisiadau bob dydd ar draws degau o filoedd o barthau.
- Mae Perplexity yn gwadu arferion cudd, yn cwestiynu'r fethodoleg, ac yn dadlau bod ei AI yn gweithio'n wahanol i gropwr traddodiadol.
- Mae Cloudflare yn dileu Perplexity fel bot wedi'i wirio ac yn galluogi rheolau i rwystro olrhain AI yn ddiofyn.
Mae Cloudflare wedi codi'r larwm drwy gyhoeddi adroddiad lle mae yn cyhuddo'r injan ateb sy'n cael ei phweru gan AI, Perplexity, o barhau i gropian gwefannau er gwaethaf rhwystrau wedi'i osod gan eu perchnogion. Yn ôl y darparwr seilwaith, byddai gan y gwasanaeth robots.txt wedi'i anwybyddu a osgoi blociau rhwydwaith i gael mynediad at gynnwys gwaharddedig.
Mewn tirwedd lle mae deallusrwydd artiffisial yn difa data i hyfforddi modelau ac ymateb mewn amser real, y cydbwysedd rhwng arloesedd a pharch at reolau ecosystem y we yn mynd yn llawn tyndraMae'r ddadl yn ailgynnau'r ddadl ynghylch y crafu heb awdurdod a'r terfynau technegol a moesegol y dylai'r rhai sy'n adeiladu cynhyrchion yn seiliedig ar symiau mawr o wybodaeth ar-lein gydymffurfio â nhw.
Beth mae Cloudflare yn ei adrodd a pham ei fod yn bwysig
Dywed y cwmni diogelwch a pherfformiad rhwydwaith ei fod wedi derbyn cwynion cwsmeriaid y parhaodd y safleoedd hynny i gael mynediad a briodolir i Dryglondeb er gwaethaf ei wahardd yn robots.txt a chymhwyso rheolau'r WAF i rwystro eu holrheinwyr datganedig. Ar ôl ymchwilio, mae Cloudflare yn honni eu bod wedi canfod patrwm o olrhain cudd yn anghydnaws â dewisiadau perchnogion gwefannau.
Mae'r cyflenwr yn honni ei fod wedi arsylwi'r ymddygiad hwn yn degau o filoedd o barthau a miliynau o geisiadau bob dydd, cyfrol sydd, yn ei farn ef, yn dangos arferion systematig yn hytrach nag arferion damweiniol. O ganlyniad, wedi tynnu Perplexity oddi ar ei restr o robotiaid wedi'u gwirio ac wedi actifadu hewristigau a rheoli rheolau ar gyfer rhwystro'r olrhain hwn yn ddiofyn.
Sut y byddai dryswch wedi goresgyn y rhwystrau
Yn ôl Cloudflare, pan fydd eich olrheinwyr datganedig (fel y'i nodwyd gan enwau asiantau defnyddwyr Perplexity) wedi dod ar draws damwain, byddai'r system yn mynd i dynwared porwr cyffredin, gan gyflwyno ei hun fel pe bai Chrome ar macOS i guddio eu hunaniaeth a osgoi canfod.
Yn ogystal, daeth y mynediadau o ystodau IP heb eu cyhoeddi gan Dryswch a wedi'i gylchdroi'n aml, a fyddai wedi gwneud hidlo'n anodd. Mae Cloudflare hefyd yn honni ei fod wedi gweld newidiadau yn y ASN (systemau ymreolaethol) tarddiad y ceisiadau, arwydd arall o osgoi bloc rhwydwaith.
Mae'r ymchwil yn sôn bod yr ymddygiad a welwyd ni fyddai'n parchu'r patrwm o'r cropianwyr da a ddisgrifir yn RFC 9309 ac yn ei bolisi “botiau wedi’u gwirio”: tryloywder hunaniaeth (asiant, IPs a chyswllt), tawelu traffig, amcan clir a parch robots.txt eisoes y terfynau a osodwyd gan berchnogion safleoedd.
Dywed Cloudflare ei fod wedi gallu "gadael marc" i'r traffig hwn trwy gyfuniad o signalau rhwydwaith a dysgu peirianyddol, gan ychwanegu llofnodion at eich rheolau rheoledig sy'n nodi ac yn rhwystro'r gweithgaredd hwn, hyd yn oed ar gyfer cwsmeriaid y cynllun am ddim.
Profi gyda pharthau denu a chanlyniadau
I gadarnhau eu hamheuon, creodd y tîm parthau newydd a heb eu cyhoeddi (heb ei fynegeio na'i gysylltu'n gyhoeddus) a chymhwyso polisi iddynt gwaharddiad llwyr ar robots.txt, yn ogystal â rheolau penodol ar gyfer gwahardd botiau Perplexity. Ar ôl ymgynghori â'r AI ar gyfer y safleoedd hynny, mae Cloudflare yn honni bod wedi cael atebion gyda manylion am y cynnwys a gynhelir, rhywbeth a fyddai—os yw'n gywir—yn dangos mynediad er gwaethaf rhwystrau.
Pan oedd y bloc yn effeithiol, sylwodd Cloudflare fod deallusrwydd artiffisial Perplexity trodd at ffynonellau amgen i adeiladu ymateb, ond llai manwl gywir a heb nodweddion penodol y deunydd gwreiddiol, gan adlewyrchu bod y roedd y cyfyngiad wedi gweithio.
Ymateb swyddogol Perplexity
Dryswch, o'i ran, yn gwrthod y cyhuddiadau o olrhain cudd a honiadau bod Cloudflare wedi wedi'i gamddehongli rhan o'r gweithgaredd a ddadansoddwyd. Mae llefarwyr y cwmni wedi disgrifio'r adroddiad fel "darn masnachol" ac maen nhw'n honni bod rhywfaint o dystiolaeth ni fyddent yn profi mynediadau go iawn neu hyd yn oed yn cyfateb i botiau pobl eraill.
Mae'r cwmni newydd hefyd wedi rhannu ei safbwynt ar cyhoeddiadau yn X, lle mae'n cwestiynu gallu'r systemau canfod i wahaniaethu rhwng cynorthwywyr AI cyfreithlon, olrheinwyr trydydd parti, a thraffig maleisus. Ar ben hynny, mae'n dadlau bod a asiant yn chwilio am wybodaeth amserol i ymateb i ymholiad dydy e ddim yn gweithio'r un peth na chropian traddodiadol sy'n cropian y we ar y cyd.
Mesurau, arferion da a rôl actorion eraill
Fel rhan o'i strategaeth, mae Cloudflare wedi wedi'i ddad-restru o Dryglonrwydd o'i gofrestr o botiau dibynadwy ac wedi ychwanegu rheolau ar gyfer blocio ei olrhain cudd honedig. Mae'r cwmni'n argymell bod gweinyddwyr yn actifadu polisïau gwrth-bot, Ymgeisiwch heriau pan nad oes angen bloc cyfan a defnyddio rheolau rheoledig penodol yn erbyn y Crafu AI.
Yn ei ddadl, mae Cloudflare yn cyferbynnu'r achos â enghreifftiau o gydymffurfiaeth o arferion gorau, gan ddyfynnu actorion sy'n parch robots.txt, dogfennu eu hasiantau a mabwysiadu safonau sy'n dod i'r amlwg fel Awdurdodi Bot GweMewn profion cymharol, mae'n honni bod robotiaid eraill fe stopion nhw wrth ddod ar draws gwaharddiad neu floc rhwydwaith, heb ail-geisiau cuddliwiedig.
Gwrthdaro sy'n nodi cwrs yr ecosystem
Mae'r cyflenwr yn rhagweld a esblygiad cyson o dactegau gweithredwyr botiau a'r amddiffynfeydd a ddefnyddir i'w cynnwys. Ochr yn ochr â hynny, mae'n cymryd rhan mewn gwaith gydag arbenigwyr a sefydliadau fel y IETF i ysgogiad estyniadau robots.txt ac egwyddorion mesuradwy y dylai olrheinwyr â bwriadau da lynu wrthynt.
Y tu hwnt i'r pwls penodol, mae'r achos yn rhoi ar y bwrdd y argyfwng hyder rhwng crewyr cynnwys, llwyfannau a chwmnïau AI: pwy all mynediad at beth, o dan ba amodau, a sut gwnewch hi'n dryloyw heb dorri modelau busnes na arafu arloesedd. Mae popeth yn awgrymu y bydd y sgwrs hon bydd yn aros ar agor tra bod asiantau AI yn ennill amlygrwydd a'r we yn addasu ei rheolau cydfodolaeth.
Mae'r bennod hon yn gadael neges glir: Mae olrhain AI dan sylw, gyda Cloudflare yn condemnio tactegau cuddliw a briodolir i Perplexity a'r cwmni newydd ei wadu'n gadarn; yn y canol, mae gan berchnogion safleoedd fynediad i offer newydd i reoli mynediad a set o arferion da dan adeiladu a fydd yn nodi'r cae chwarae yn y misoedd nesaf.
Rwy'n frwd dros dechnoleg sydd wedi troi ei ddiddordebau "geek" yn broffesiwn. Rwyf wedi treulio mwy na 10 mlynedd o fy mywyd yn defnyddio technoleg flaengar ac yn tinkering gyda phob math o raglenni allan o chwilfrydedd pur. Nawr rydw i wedi arbenigo mewn technoleg gyfrifiadurol a gemau fideo. Mae hyn oherwydd ers mwy na 5 mlynedd rwyf wedi bod yn ysgrifennu ar gyfer gwefannau amrywiol ar dechnoleg a gemau fideo, gan greu erthyglau sy'n ceisio rhoi'r wybodaeth sydd ei hangen arnoch mewn iaith sy'n ddealladwy i bawb.
Os oes gennych unrhyw gwestiynau, mae fy ngwybodaeth yn amrywio o bopeth sy'n ymwneud â system weithredu Windows yn ogystal ag Android ar gyfer ffonau symudol. Ac mae fy ymrwymiad i chi, rwyf bob amser yn barod i dreulio ychydig funudau a'ch helpu i ddatrys unrhyw gwestiynau sydd gennych yn y byd rhyngrwyd hwn.