- Giakusahan sa Cloudflare ang Perplexity sa pag-bypass sa robots.txt ug pagtak-op sa pag-crawl niini sa wala gideklara nga mga ahente sa tiggamit ug mga IP address.
- Ang kompanya nag-angkon nga nakaobserbar sa mga pagbag-o sa ASN ug milyon-milyon nga mga hangyo matag adlaw sa libu-libo nga mga dominyo.
- Gipanghimakak sa kalibugan ang mga tinago nga praktis, gikuwestiyon ang metodolohiya, ug nangatarungan nga lahi ang paglihok sa AI niini kaysa usa ka tradisyonal nga crawler.
- Gitangtang sa Cloudflare ang Perplexity isip usa ka napamatud-an nga bot ug gitugotan ang mga lagda nga babagan ang pagsubay sa AI pinaagi sa default.
Gipataas sa Cloudflare ang alarma pinaagi sa pagmantala ug report diin nag-akusar sa AI-powered answer engine Perplexity sa pagpadayon sa pag-crawl sa mga website bisan pa sa mga babag gibutang sa ilang mga tag-iya. Sumala sa tighatag sa imprastraktura, ang serbisyo adunay robots.txt gibalewala ug laktawan ang mga bloke sa network aron ma-access ang gidili nga sulod.
Sa usa ka talan-awon diin ang AI naglamoy sa datos aron sa pagbansay sa mga modelo ug pagtubag sa tinuod nga panahon, ang balanse tali sa kabag-ohan ug pagtahod sa mga lagda sa web ecosystem nagka tensyonado naAng kontrobersiya nagpasiga pag-usab sa debate sa dili awtorisado nga pag-scrape ug ang mga limitasyon sa teknikal ug pamatasan nga kinahanglan sundon sa mga nagtukod mga produkto base sa daghang kantidad sa online nga impormasyon.
Unsa ang gitaho sa Cloudflare ug ngano nga hinungdanon kini
Ang network security ug performance company nag-ingon nga nadawat kini reklamo sa kustomer kansang mga site nagpadayon sa pag-access nga gipahinungod sa Perplexity bisan pa i-ban kini sa robots.txt ug paggamit sa mga lagda sa WAF aron babagan ang ilang gideklarar nga mga tracker. Pagkahuman sa pag-imbestiga, giangkon ni Cloudflare nga nakit-an ang usa ka sumbanan sa tago nga pagsubay dili uyon sa mga gusto sa mga tag-iya sa website.
Giangkon sa supplier nga naobserbahan kini nga pamatasan sa napulo ka libo nga mga dominyo ug uban milyon nga mga hangyo kada adlaw, usa ka tomo nga, sa iyang opinyon, nagpakita nga sistematiko kay sa sulagma nga mga buhat. Tungod niini, gitangtang ang Perplexity gikan sa lista sa mga na-verify nga bot ug gi-activate ang heuristics ug pagdumala sa mga lagda alang sa babagan kini nga pagsubay pinaagi sa default.
Giunsa pagbuntog sa Kalibog ang mga babag
Sumala sa Cloudflare, kung ang imong gipahayag nga mga tracker (ingon nga giila sa Perplexity user agent nga mga ngalan) nakasugat og crash, ang sistema moadto sa magpakaaron-ingnon nga browser komon, nga nagpakita sa iyang kaugalingon ingon nga kini mao Chrome sa macOS sa pagtakoban sa ilang pagkatawo ug paglikay sa detection.
Dugang pa, ang mga pag-access gikan sa wala mamantala nga IP range pinaagi sa Kalibog ug gituyok kanunay, nga makapalisud sa pagsala. Ang Cloudflare usab nag-angkon nga nakakita og mga kausaban sa ASN (autonomous nga sistema) gigikanan sa mga hangyo, laing timailhan sa block paglikay network.
Ang panukiduki naghisgot nga ang naobserbahan nga kinaiya dili motahud sa sumbanan sa maayong mga crawler nga gihulagway sa RFC 9309 ug sa "verified bots" nga palisiya niini: identity transparency (ahente, IP ug kontak), pagpakalma sa trapiko, usa ka tin-aw nga tumong ug pagtahod sa robots.txt na ang mga limitasyon nga gitakda sa mga tag-iya sa site.
Cloudflare nag-ingon nga kini nakahimo sa "magbilin ug marka" niini nga trapiko pinaagi sa kombinasyon sa mga signal sa network ug pagkat-on sa makina, pagdugang og mga pirma sa imong gidumala nga mga lagda nga nagpaila ug nagbabag niini nga kalihokan, bisan sa mga kustomer sa libre nga plano.
Pagsulay gamit ang decoy domain ug mga resulta
Aron mapamatud-an ang ilang mga pagduda, nagmugna ang team bag-o ug wala mamantala nga mga dominyo (wala gi-index o na-link sa publiko) ug nag-apply sa usa ka palisiya sa kanila total ban sa robots.txt, ingon man ang piho nga mga lagda alang sa pagdili sa mga bot sa Perplexity. Pagkahuman sa pagkonsulta sa AI alang sa mga site, giangkon ni Cloudflare naay mga tubag nga adunay mga detalye bahin sa gi-host nga sulud, usa ka butang nga - kung husto - ipasabut access bisan pa sa mga babag.
Kung epektibo ang block, naobserbahan ni Cloudflare nga ang AI sa Perplexity midangop sa alternatibong tinubdan sa pagtukod og tubag, apan dili kaayo tukma ug walay mga partikularidad sa orihinal nga materyal, nga nagpakita nga ang ang pagdili nagtrabaho.
Opisyal nga tubag ni Perplexity
Pagkalibog, sa bahin niini, nagsalikway sa mga akusasyon sa tago nga pagsubay ug mga pag-angkon nga adunay Cloudflare sayop nga gipasabot bahin sa kalihokan nga gisusi. Gihulagway sa mga tigpamaba sa kompanya ang taho nga usa ka "komersyal nga piraso" ug sila nag-angkon nga ang pipila ka ebidensya dili nila sulayan ang tinuod nga mga pag-access o bisan katugbang sa mga bot sa ubang mga tawo.
Gipaambit usab sa startup ang baruganan niini mga publikasyon sa X, diin iyang gikuwestiyon ang kapasidad sa mga sistema sa pagtuki sa paglainlain tali sa lehitimong mga katabang sa AI, third-party tracker, ug malisyoso nga trapiko. Dugang pa, kini nangatarungan nga a ahente nga nangita sa tukma sa panahon nga impormasyon sa pagtubag sa usa ka pangutana kini dili molihok sama kay sa usa ka tradisyonal nga crawler nga nag-crawl sa web sa kadaghanan.
Mga lakang, maayong gawi ug papel sa ubang mga aktor
Isip bahin sa estratehiya niini, ang Cloudflare adunay Gitangtang sa listahan sa Perplexity gikan sa rehistro niini sa kasaligang mga bot ug midugang mga lagda sa pag-block ang giingong hidden tracking niini. Girekomenda sa kompanya nga i-aktibo ang mga administrador anti-bot nga mga palisiya, Ibutang mga hagit kung ang usa ka kinatibuk-ang bloke dili gusto ug gamiton ang piho nga pagdumala nga mga lagda batok sa AI scraping.
Sa argumento niini, gitandi sa Cloudflare ang kaso sa mga pananglitan sa pagsunod sa labing maayo nga mga gawi, nga naghisgot sa mga aktor nga pagtahod sa robots.txt, idokumento ang ilang mga ahente ug gisagop ang nag-uswag nga mga sumbanan sama sa Web Bot AuthSa pagtandi nga mga pagsulay, kini nag-angkon nga ang ubang mga bot mihunong sila kung makasugat og network ban o block, walay tinago nga pagsulay pag-usab.
Usa ka panagbangi nga nagtimaan sa dagan sa ekosistema
Ang supplier nagpaabut a kanunay nga ebolusyon sa mga taktika sa mga operator sa bot ug ang mga depensa nga gigamit sa pagpugong niini. Sa susama, siya miapil sa trabaho uban sa mga eksperto ug mga organisasyon sama sa IETF sa pagpausbaw robots.txt nga mga extension ug masukod nga mga prinsipyo nga angay sundon sa maayo og tuyo nga mga tracker.
Labaw sa piho nga pulso, ang kaso nagbutang sa lamesa sa krisis sa pagsalig tali sa mga tiglalang sa sulud, mga platform ug mga kompanya sa AI: kinsa ang makahimo access unsa, ubos sa unsa nga mga kondisyon, ug sa unsang paagi himoa kini nga transparent nga walay paglapas sa mga modelo sa negosyo o pagpahinay sa kabag-ohan. Ang tanan nagpunting niini nga panag-istoryahanay magpabiling bukas samtang ang mga ahente sa AI nahimong prominente ug ang web nag-adjust sa mga lagda niini sa coexistence.
Kini nga yugto nagbilin ug tin-aw nga mensahe: Ang pagsubay sa AI gisusi, uban sa Cloudflare nga nagsaway sa mga taktika sa camouflage nga gipahinungod sa Perplexity ug sa pagsugod hugot nga naglimud niini; sa tunga-tunga, ang mga tag-iya sa site adunay access sa bag-ong mga himan aron makontrol ang pag-access ug usa ka set sa maayong mga buhat under construction nga magtimaan sa dulaanan sa umaabot nga mga bulan.
Usa ako ka mahiligon sa teknolohiya nga naghimo sa iyang "geek" nga interes nga usa ka propesyon. Gigugol nako ang sobra sa 10 ka tuig sa akong kinabuhi gamit ang labing bag-ong teknolohiya ug pag-usisa sa tanan nga mga klase sa mga programa tungod sa putli nga pagkamausisaon. Karon espesyalista na ako sa teknolohiya sa kompyuter ug mga dula sa video. Kini tungod kay sa sobra sa 5 ka tuig nagsulat ako alang sa lainlaing mga website sa teknolohiya ug mga dula sa video, nagmugna og mga artikulo nga nagtinguha sa paghatag kanimo sa impormasyon nga imong gikinahanglan sa usa ka pinulongan nga masabtan sa tanan.
Kung naa kay mga pangutana, ang akong kahibalo gikan sa tanan nga may kalabotan sa operating system sa Windows ingon man sa Android para sa mga mobile phone. Ug ang akong pasalig kanimo, andam ako kanunay nga mogahin og pipila ka minuto ug tabangan ka nga masulbad ang bisan unsang mga pangutana nga mahimo nimo sa niining kalibutan sa internet.