- Cloudflare accuses Perplexity ntawm bypassing robots.txt thiab npog nws crawling nrog undeclared user agents thiab IP chaw nyob.
- Lub tuam txhab thov kom tau soj ntsuam ASN kev hloov pauv thiab ntau lab ntawm kev thov txhua hnub thoob plaws kaum tawm txhiab tus thawj.
- Kev ntxhov siab tsis lees paub cov kev coj ua zais cia, nug cov txheej txheem, thiab sib cav tias nws AI ua haujlwm txawv dua li cov neeg siv khoom ib txwm muaj.
- Cloudflare delists Perplexity raws li kev txheeb xyuas bot thiab tso cai rau cov cai los thaiv AI taug qab los ntawm lub neej ntawd.
Cloudflare tau tsa lub tswb los ntawm kev tshaj tawm tsab ntawv ceeb toom uas accuses AI-powered teb lub cav Perplexity ntawm txuas ntxiv mus nkag tau cov websites txawm muaj teeb meem muab tso los ntawm lawv cov tswv. Raws li tus neeg muab kev pabcuam infrastructure, cov kev pabcuam yuav muaj robots.txt ignored thiab bypass network blocks kom nkag mus rau cov ntsiab lus txwv.
Hauv toj roob hauv pes uas AI devours cov ntaub ntawv los cob qhia cov qauv thiab teb raws sijhawm, lub sib npaug ntawm innovation thiab kev hwm rau cov cai ntawm lub vev xaib ecosystem yog tau tenseLub controversy rekindles qhov kev sib cav nyob rau hauv tsis tau tso cai scraping thiab cov kev txwv thiab kev coj ncaj ncees uas cov neeg tsim khoom raws li cov ntaub ntawv hauv online ntau yuav tsum ua raws.
Dab tsi Cloudflare tau tshaj tawm thiab vim li cas nws tseem ceeb
Lub tuam txhab kev ruaj ntseg thiab kev ua haujlwm tau hais tias nws tau txais neeg tsis txaus siab nws cov chaw txuas ntxiv tau txais kev nkag mus rau Perplexity txawm tias txwv nws hauv robots.txt thiab siv cov cai ntawm cov ua waff thaiv lawv cov trackers tshaj tawm. Tom qab tshawb xyuas, Cloudflare thov kom tau kuaj pom tus qauv ntawm zais taug qab incompatible nrog cov nyiam ntawm tus tswv lub vev xaib.
Tus neeg muag khoom thov kom tau soj ntsuam tus cwj pwm no hauv kaum tawm txhiab tus domains thiab nrog tsheej lab ntawm kev thov txhua hnub, ib lub ntim uas, nyob rau hauv nws lub tswv yim, qhia tau hais tias systematic es tsis yog xwm txheej xyaum. Vim li ntawd, tau tshem Perplexity los ntawm nws cov npe ntawm cov ntawv pov thawj bots thiab tau qhib heuristics thiab tswj cov cai rau thaiv qhov kev taug qab no los vim.
Yuav ua li cas Perplexity yuav kov yeej cov teeb meem
Raws li Cloudflare, thaum koj tshaj tawm trackers (raws li tau txheeb xyuas los ntawm Perplexity tus neeg siv cov npe) ntsib kev sib tsoo, lub kaw lus yuav mus ua tus browser common, nthuav qhia nws tus kheej li nws yog Chrome ntawm macOS mus camouflage lawv tus kheej thiab zam kev kuaj pom.
Tsis tas li ntawd, cov kev nkag tau los ntawm unpublished IP ranges los ntawm Perplexity thiab tig nquag, uas yuav ua rau filtering nyuaj. Cloudflare tseem lees tias tau pom cov kev hloov pauv hauv autonomous systems (ASN) keeb kwm ntawm kev thov, lwm yam kos npe ntawm thaiv kev khiav tawm network.
Kev tshawb fawb hais tias qhov kev coj cwj pwm yuav tsis hwm tus qauv ntawm cov zoo crawlers piav nyob rau hauv RFC 9309 thiab hauv nws txoj cai "tso pov thawj bots": kev pom tseeb ntawm tus kheej (tus neeg sawv cev, IPs thiab kev sib cuag), kev tsheb khiav calming, lub hom phiaj meej thiab hwm robots.txt twb yog cov kev txwv los ntawm cov tswv chaw.
Cloudflare hais tias nws muaj peev xwm ua tau “tso tseg” mus rau qhov kev tsheb los ntawm kev sib xyaw ua ke network signals thiab machine learning, ntxiv kev kos npe rau koj cov cai tswj xyuas uas txheeb xyuas thiab thaiv cov haujlwm no, txawm tias cov neeg siv khoom ntawm cov phiaj xwm pub dawb.
Kev sim nrog decoy domains thiab cov txiaj ntsig
Txhawm rau kom paub meej tias lawv qhov kev tsis txaus siab, pab pawg tsim tshiab thiab unpublished domains (tsis indexed los yog pej xeem txuas) thiab siv ib txoj cai rau lawv tag nrho txwv rau robots.txt, nrog rau cov cai tshwj xeeb rau txwv Perplexity bots. Tom qab sab laj AI rau cov chaw, Cloudflare thov tias tau cov lus teb nrog cov ntsiab lus hais txog cov ntsiab lus tuav, ib yam dab tsi - yog tias yog - yuav qhia nkag mus txawm muaj teeb meem.
Thaum qhov thaiv tau zoo, Cloudflare tau pom tias Perplexity's AI tau hloov mus rau lwm qhov chaw los tsim teb, tab sis tsawg dua thiab tsis muaj qhov tshwj xeeb ntawm cov khoom qub, xav tias qhov kev txwv tau ua haujlwm.
Perplexity's official teb
Perplexity, rau nws feem, tsis lees paub qhov kev iab liam ntawm covert taug qab thiab thov tias Cloudflare muaj txhais yuam kev ib feem ntawm cov dej num tsom xam. Cov neeg hais xov xwm hauv tuam txhab tau piav qhia txog tsab ntawv ceeb toom no "commercial khoom" thiab lawv hais tias qee qhov pov thawj lawv yuav tsis sim cov kev siv tiag tiag los yog txawm hais rau lwm tus neeg lub bots.
Lub startup kuj tau qhia nws txoj kev xav rau luam tawm hauv X, qhov twg nws nug lub peev xwm ntawm lub kuaj xyuas tshuab kom sib txawv ntawm AI cov neeg pabcuam raug cai, thib peb-tog trackers, thiab cov tsheb tsis zoo. Tsis tas li ntawd, nws hais tias a tus neeg saib xyuas nrhiav cov ntaub ntawv raws sijhawm teb rau cov lus nug nws tsis ua haujlwm zoo ib yam tshaj li ib txwm crawler uas nkag mus hauv lub vev xaib en masse.
Kev ntsuas, kev coj ua zoo thiab lub luag haujlwm ntawm lwm tus neeg ua yeeb yam
Raws li ib feem ntawm nws lub tswv yim, Cloudflare muaj delisted los ntawm Perplexity los ntawm nws cov npe ntawm kev ntseeg siab bots thiab tau ntxiv kev cai rau kev thaiv nws liam zais nrhiav. Lub tuam txhab pom zoo kom cov thawj coj qhib anti-bot txoj cai, Thov cov nyom thaum tag nrho thaiv tsis xav tau thiab siv cov kev tswj hwm tshwj xeeb tawm tsam cov AI scraping.
Hauv nws qhov kev sib cav, Cloudflare contrasts rooj plaub nrog piv txwv ntawm kev ua raws cai ntawm cov kev coj ua zoo tshaj plaws, hais txog cov neeg ua yeeb yam uas hwm robots.txt, sau lawv cov neeg sawv cev thiab txais yuav cov qauv tshiab xws li Web Bot AuthHauv kev sib piv, nws thov tias lwm cov bots lawv nres thaum ntsib kev txwv tsis pub nkag los yog thaiv, tsis muaj camouflaged retry.
Ib qho kev tsis sib haum xeeb uas qhia txog kev kawm ntawm ecosystem
Tus neeg muag khoom cia siab tias a tas mus li evolution ntawm cov tactics ntawm bot tswv thiab cov kev tiv thaiv siv los muaj lawv. Nyob rau hauv parallel, nws koom ua hauj lwm nrog cov kws txawj thiab cov koom haum xws li cov IETF txhawb robots.txt extensions thiab ntsuas cov hauv paus ntsiab lus uas cov neeg muaj lub siab xav zoo yuav tsum ua raws.
Tshaj qhov tshwj xeeb mem tes, rooj plaub muab tso rau ntawm lub rooj teeb meem ntawm kev ntseeg siab nruab nrab ntawm cov neeg tsim cov ntsiab lus, platforms thiab AI tuam txhab: leej twg tuaj yeem nkag tau dab tsi, nyob rau hauv dab tsi, thiab yuav ua li cas ua kom pob tshab tsis ua txhaum cov qauv kev lag luam lossis kev ua lag luam qeeb. Txhua yam hais txog qhov kev sib tham no yuav nyob twj ywm qhib thaum AI cov neeg sawv cev tau txais txiaj ntsig thiab lub vev xaib kho nws cov cai ntawm kev sib koom ua ke.
Zaj lus no tawm ib zaj lus meej: AI taug qab yog nyob rau hauv kev tshuaj xyuas, nrog Cloudflare denouncing camouflage tactics ntaus nqi rau Perplexity thiab pib tsis kam lees nws; hauv nruab nrab, cov tswv ntawm qhov chaw muaj kev nkag mus rau cov cuab yeej tshiab tswj kev nkag thiab ib txheej ntawm kev coj zoo nyob rau hauv kev tsim kho uas yuav cim qhov chaw ua si hauv lub hlis tom ntej.
Kuv yog ib tus neeg nyiam siv thev naus laus zis uas tau hloov nws txoj kev nyiam "geek" rau hauv txoj haujlwm. Kuv tau siv ntau tshaj 10 xyoo ntawm kuv lub neej siv cov cuab yeej siv thev naus laus zis thiab tinkering nrog txhua yam kev pab cuam tawm ntawm kev xav paub dawb huv. Tam sim no kuv tau tshwj xeeb hauv computer technology thiab video games. Qhov no yog vim ntau tshaj 5 xyoo kuv tau sau rau ntau lub vev xaib ntawm kev siv tshuab thiab kev ua si video, tsim cov ntawv uas nrhiav kom muab cov ntaub ntawv koj xav tau hauv hom lus uas txhua tus neeg nkag siab.
Yog tias koj muaj lus nug, kuv qhov kev paub yog los ntawm txhua yam ntsig txog Windows operating system nrog rau Android rau cov xov tooj ntawm tes. Thiab kuv txoj kev cog lus yog rau koj, Kuv ib txwm kam siv ob peb feeb thiab pab koj daws cov lus nug uas koj muaj nyob hauv lub ntiaj teb no hauv internet.