- Cloudflare ກ່າວຫາຄວາມແປກໃຈຂອງການຂ້າມ robots.txt ແລະປິດບັງການລວບລວມຂໍ້ມູນຂອງມັນດ້ວຍຕົວແທນຜູ້ໃຊ້ທີ່ບໍ່ໄດ້ປະກາດແລະທີ່ຢູ່ IP.
- ບໍລິສັດອ້າງວ່າໄດ້ສັງເກດເຫັນການປ່ຽນແປງ ASN ແລະການຮ້ອງຂໍນັບລ້ານຕໍ່ມື້ໃນທົ່ວຫລາຍສິບພັນໂດເມນ.
- ຄວາມສັບສົນປະຕິເສດການປະຕິບັດທີ່ລັບໆ, ຖາມວິທີການ, ແລະໂຕ້ຖຽງວ່າ AI ຂອງມັນເຮັດວຽກແຕກຕ່າງຈາກຕົວກວາດເວັບແບບດັ້ງເດີມ.
- Cloudflare ຍົກເລີກ Perplexity ເປັນ bot ທີ່ຖືກຢືນຢັນແລະເປີດໃຊ້ກົດລະບຽບເພື່ອສະກັດການຕິດຕາມ AI ໂດຍຄ່າເລີ່ມຕົ້ນ.
Cloudflare ໄດ້ປຸກປຸກ ໂດຍການເຜີຍແຜ່ບົດລາຍງານທີ່ ກ່າວຫາເຄື່ອງຈັກຄໍາຕອບທີ່ຂັບເຄື່ອນດ້ວຍ AI ຄວາມສັບສົນຂອງການສືບຕໍ່ລວບລວມເວັບໄຊທ໌ເຖິງວ່າຈະມີອຸປະສັກ ວາງໄວ້ໂດຍເຈົ້າຂອງຂອງເຂົາເຈົ້າ. ອີງຕາມຜູ້ໃຫ້ບໍລິການພື້ນຖານໂຄງລ່າງ, ການບໍລິການຈະມີ robots.txt ຖືກລະເລີຍ ແລະຂ້າມທາງຕັນເຄືອຂ່າຍເພື່ອເຂົ້າເຖິງເນື້ອຫາທີ່ຖືກຫ້າມ.
ໃນພູມສັນຖານທີ່ AI ກິນຂໍ້ມູນເພື່ອຝຶກອົບຮົມແບບຈໍາລອງແລະຕອບສະຫນອງໃນເວລາທີ່ແທ້ຈິງ, ໄດ້ ຄວາມສົມດຸນລະຫວ່າງນະວັດຕະກໍາແລະການເຄົາລົບກົດລະບຽບຂອງລະບົບນິເວດເວັບ ກໍາລັງເຄັ່ງຕຶງການໂຕ້ຖຽງກັນໄດ້ເຮັດໃຫ້ການໂຕ້ວາທີຄືນໃໝ່ກ່ຽວກັບການໂຕ້ວາທີ ການຂູດທີ່ບໍ່ໄດ້ຮັບອະນຸຍາດ ແລະຂໍ້ຈໍາກັດທາງດ້ານເຕັກນິກແລະຈັນຍາບັນທີ່ຜູ້ທີ່ສ້າງຜະລິດຕະພັນໂດຍອີງໃສ່ຂໍ້ມູນອອນໄລນ໌ຈໍານວນຫລາຍຄວນປະຕິບັດຕາມ.
ສິ່ງທີ່ Cloudflare ກໍາລັງລາຍງານແລະເປັນຫຍັງມັນຈຶ່ງສໍາຄັນ
ບໍລິສັດຄວາມປອດໄພເຄືອຂ່າຍແລະການປະຕິບັດກ່າວວ່າມັນໄດ້ຮັບ ການຮ້ອງທຸກຂອງລູກຄ້າ ເວັບ ໄຊ ຂອງ ພວກ ເຂົາ ໄດ້ ສືບ ຕໍ່ ໄດ້ ຮັບ ການ ເຂົ້າ ເຖິງ ເນື່ອງ ຈາກ Perplexity ເຖິງ ແມ່ນ ວ່າ ຫ້າມມັນຢູ່ໃນ robots.txt ແລະນໍາໃຊ້ກົດລະບຽບຂອງ waff ເພື່ອສະກັດຕົວຕິດຕາມທີ່ຖືກປະກາດຂອງພວກເຂົາ. ຫຼັງຈາກການສືບສວນ, Cloudflare ອ້າງວ່າໄດ້ກວດພົບຮູບແບບຂອງ ການຕິດຕາມຄວາມລັບ ບໍ່ເຫມາະສົມກັບຄວາມມັກຂອງເຈົ້າຂອງເວັບໄຊທ໌.
ຜູ້ສະຫນອງອ້າງວ່າໄດ້ສັງເກດເຫັນພຶດຕິກໍານີ້ໃນ ຫລາຍສິບພັນໂດເມນ ແລະມີ ລ້ານຄໍາຮ້ອງຂໍປະຈໍາວັນ, ປະລິມານທີ່, ໃນຄວາມຄິດເຫັນຂອງລາວ, ສະແດງໃຫ້ເຫັນເປັນລະບົບແທນທີ່ຈະເປັນການປະຕິບັດໂດຍບັງເອີນ. ດັ່ງນັ້ນ, ໄດ້ເອົາ Perplexity ອອກຈາກບັນຊີລາຍຊື່ຂອງ bots ຢືນຢັນຂອງຕົນ ແລະໄດ້ເປີດໃຊ້ heuristics ແລະກົດລະບຽບການຄຸ້ມຄອງສໍາລັບ ຂັດຂວາງການຕິດຕາມນີ້ ໂດຍຄ່າເລີ່ມຕົ້ນ.
ຄວາມສັບສົນຈະເອົາຊະນະອຸປະສັກແນວໃດ
ອີງຕາມ Cloudflare, ໃນເວລາທີ່ທ່ານ ປະກາດຕິດຕາມ (ຕາມທີ່ລະບຸໂດຍຊື່ຕົວແທນຜູ້ໃຊ້ Perplexity) ພົບອຸປະຕິເຫດ, ລະບົບຈະໄປ ປອມຕົວເປັນຕົວທ່ອງເວັບ ທົ່ວໄປ, ນໍາສະເຫນີຕົວຂອງມັນເອງຄືກັບວ່າມັນແມ່ນ Chrome ໃນ macOS ເພື່ອ camouflage ຕົວຕົນຂອງເຂົາເຈົ້າແລະ ຫຼີກເວັ້ນການກວດພົບ.
ນອກຈາກນັ້ນ, ການເຂົ້າເຖິງແມ່ນມາຈາກ ຊ່ວງ IP ທີ່ບໍ່ໄດ້ເຜີຍແຜ່ ໂດຍ perplexity ແລະ ໝູນວຽນເລື້ອຍໆ, ເຊິ່ງຈະເຮັດໃຫ້ການກັ່ນຕອງມີຄວາມຫຍຸ້ງຍາກ. Cloudflare ຍັງອ້າງວ່າໄດ້ເຫັນການປ່ຽນແປງໃນ ASN (ລະບົບອັດຕະໂນມັດ) ຕົ້ນກໍາເນີດຂອງຄໍາຮ້ອງຂໍ, ອາການອື່ນຂອງ ຕັນການຫຼີກລ່ຽງ ເຄືອຂ່າຍ.
ການຄົ້ນຄວ້າກ່າວເຖິງວ່າພຶດຕິກໍາທີ່ສັງເກດເຫັນ ຈະບໍ່ເຄົາລົບຮູບແບບ ຂອງຕົວກວາດເວັບທີ່ດີທີ່ອະທິບາຍໄວ້ໃນ RFC 9309 ແລະໃນນະໂຍບາຍ "bots ຢືນຢັນ" ຂອງຕົນ: ຄວາມໂປ່ງໃສຂອງຕົວຕົນ (ຕົວແທນ, IPs ແລະການຕິດຕໍ່), ການສັນຈອນສະຫງົບ, ຈຸດປະສົງທີ່ຊັດເຈນແລະ ເຄົາລົບ robots.txt ແລ້ວຂໍ້ຈໍາກັດທີ່ເຈົ້າຂອງເວັບໄຊທ໌ກໍານົດ.
Cloudflare ເວົ້າວ່າມັນສາມາດເຮັດໄດ້ "ປ່ອຍໃຫ້ເຄື່ອງຫມາຍ" ກັບການຈະລາຈອນນີ້ໂດຍຜ່ານການປະສົມປະສານຂອງ ສັນຍານເຄືອຂ່າຍ ແລະການຮຽນຮູ້ເຄື່ອງຈັກ, ການເພີ່ມລາຍເຊັນກັບກົດລະບຽບການຄຸ້ມຄອງຂອງທ່ານທີ່ກໍານົດແລະສະກັດກິດຈະກໍານີ້, ເຖິງແມ່ນວ່າສໍາລັບລູກຄ້າຂອງ ແຜນການຟຣີ.
ການທົດສອບກັບໂດເມນ decoy ແລະຜົນໄດ້ຮັບ
ເພື່ອຢືນຢັນຄວາມສົງໃສຂອງເຂົາເຈົ້າ, ທີມງານໄດ້ສ້າງ ໂດເມນໃຫມ່ແລະບໍ່ໄດ້ເຜີຍແຜ່ (ບໍ່ຖືກດັດສະນີຫຼືເຊື່ອມຕໍ່ສາທາລະນະ) ແລະນໍາໃຊ້ນະໂຍບາຍໃຫ້ເຂົາເຈົ້າ ການຫ້າມທັງໝົດໃນ robots.txt, ເຊັ່ນດຽວກັນກັບກົດລະບຽບສະເພາະສໍາລັບການຫ້າມ bots Perplexity. ຫຼັງຈາກປຶກສາຫາລື AI ສໍາລັບສະຖານທີ່ເຫຼົ່ານັ້ນ, Cloudflare ອ້າງວ່າ ໄດ້ຮັບຄໍາຕອບ ດ້ວຍລາຍລະອຽດກ່ຽວກັບເນື້ອຫາທີ່ເປັນເຈົ້າພາບ, ບາງສິ່ງບາງຢ່າງ - ຖ້າຖືກຕ້ອງ - ຈະຊີ້ບອກ ການເຂົ້າເຖິງເຖິງວ່າຈະມີອຸປະສັກ.
ເມື່ອບລັອກມີປະສິດທິພາບ, Cloudflare ສັງເກດເຫັນວ່າ AI ຂອງ Perplexity ອີງໃສ່ແຫຼ່ງທາງເລືອກ ເພື່ອສ້າງການຕອບໂຕ້, ແຕ່ ຊັດເຈນຫນ້ອຍ ແລະໂດຍບໍ່ມີການສະເພາະຂອງອຸປະກອນການຕົ້ນສະບັບ, ສະທ້ອນໃຫ້ເຫັນວ່າ ຂໍ້ຈໍາກັດໄດ້ເຮັດວຽກ.
ການຕອບໂຕ້ຢ່າງເປັນທາງການຂອງ Perplexity
ຄວາມສັບສົນ, ສໍາລັບສ່ວນຫນຶ່ງຂອງຕົນ, ປະຕິເສດຂໍ້ກ່າວຫາ ຂອງການຕິດຕາມຄວາມລັບແລະການອ້າງວ່າ Cloudflare ມີ ຕີຄວາມຜິດ ສ່ວນຫນຶ່ງຂອງກິດຈະກໍາທີ່ໄດ້ວິເຄາະ. ໂຄສົກຂອງບໍລິສັດໄດ້ອະທິບາຍບົດລາຍງານດັ່ງກ່າວເປັນ "ສິ້ນການຄ້າ" ແລະພວກເຂົາອ້າງວ່າຫຼັກຖານບາງຢ່າງ ພວກເຂົາເຈົ້າຈະບໍ່ທົດສອບການເຂົ້າເຖິງທີ່ແທ້ຈິງ ຫຼືແມ້ກະທັ້ງກົງກັນກັບ bots ຂອງຄົນອື່ນ.
ການເລີ່ມຕົ້ນຍັງໄດ້ແບ່ງປັນຈຸດຢືນຂອງຕົນກ່ຽວກັບ ສິ່ງພິມໃນ X, ບ່ອນທີ່ທ່ານໄດ້ຄໍາຖາມຄວາມສາມາດຂອງ ລະບົບການກວດສອບ ທີ່ຈະແຕກຕ່າງລະຫວ່າງ ຜູ້ຊ່ວຍ AI ທີ່ຖືກຕ້ອງຕາມກົດໝາຍ, ຕົວຕິດຕາມພາກສ່ວນທີສາມ, ແລະການຈະລາຈອນທີ່ເປັນອັນຕະລາຍ. ຍິ່ງໄປກວ່ານັ້ນ, ມັນໂຕ້ຖຽງວ່າ a ຕົວແທນຊອກຫາຂໍ້ມູນສະເພາະ ເພື່ອຕອບຄໍາຖາມ ມັນບໍ່ເຮັດວຽກຄືກັນ ກ່ວາຕົວກວາດເວັບແບບດັ້ງເດີມທີ່ກວາດເວັບ en masse.
ມາດຕະການ, ການປະຕິບັດທີ່ດີແລະພາລະບົດບາດຂອງນັກສະແດງອື່ນໆ
ເປັນສ່ວນຫນຶ່ງຂອງຍຸດທະສາດຂອງມັນ, Cloudflare ມີ ຖືກຖອນອອກຈາກ Perplexity ຈາກການລົງທະບຽນຂອງ bots ທີ່ເຊື່ອຖືໄດ້ແລະໄດ້ເພີ່ມ ກົດລະບຽບສໍາລັບການສະກັດ ການຕິດຕາມທີ່ຖືກກ່າວຫາທີ່ເຊື່ອງໄວ້ຂອງຕົນ. ບໍລິສັດແນະນໍາໃຫ້ຜູ້ບໍລິຫານເປີດໃຊ້ງານ ນະໂຍບາຍຕ້ານ bot, ສະ ໝັກ ສິ່ງທ້າທາຍ ໃນເວລາທີ່ຕັນທັງຫມົດບໍ່ຕ້ອງການແລະນໍາໃຊ້ກົດລະບຽບການຄຸ້ມຄອງສະເພາະຕໍ່ກັບການ AI scraping.
ໃນການໂຕ້ຖຽງຂອງມັນ, Cloudflare ກົງກັນຂ້າມກັບກໍລະນີ ຕົວຢ່າງຂອງການປະຕິບັດຕາມ ຂອງການປະຕິບັດທີ່ດີທີ່ສຸດ, ອ້າງເຖິງນັກສະແດງຜູ້ທີ່ ເຄົາລົບ robots.txt, ເອກະສານຕົວແທນຂອງເຂົາເຈົ້າແລະຮັບຮອງເອົາມາດຕະຖານທີ່ພົ້ນເດັ່ນຂື້ນເຊັ່ນ: Web Bot Authໃນການທົດສອບປຽບທຽບ, ມັນອ້າງວ່າ bots ອື່ນໆ ພວກເຂົາເຈົ້າຢຸດເຊົາ ເມື່ອພົບກັບການຫ້າມເຄືອຂ່າຍຫຼືບລັອກ, ໂດຍບໍ່ມີການພະຍາຍາມ camouflaged.
ຂໍ້ຂັດແຍ່ງທີ່ໝາຍເຖິງເສັ້ນທາງຂອງລະບົບນິເວດ
ຜູ້ສະໜອງຄາດວ່າ ກ ວິວັດທະນາການຄົງທີ່ ມີສິດເທົ່າທຽມຂອງຜູ້ປະຕິບັດການ bot ແລະການປ້ອງກັນທີ່ໃຊ້ເພື່ອບັນຈຸພວກມັນ. ໃນຂະຫນານ, ລາວເຂົ້າຮ່ວມໃນການເຮັດວຽກກັບຜູ້ຊ່ຽວຊານແລະອົງການຈັດຕັ້ງເຊັ່ນ: ອົງການ IETF ເພື່ອກະຕຸ້ນ ສ່ວນຂະຫຍາຍ robots.txt ແລະຫຼັກການທີ່ສາມາດວັດແທກໄດ້ທີ່ຜູ້ຕິດຕາມທີ່ມີເຈດຕະນາດີຄວນປະຕິບັດຕາມ.
ນອກ ເໜືອ ຈາກ ກຳ ມະຈອນສະເພາະ, ກໍລະນີວາງຢູ່ເທິງໂຕະ ວິກິດການຄວາມຫມັ້ນໃຈ ລະຫວ່າງຜູ້ສ້າງເນື້ອຫາ, ເວທີແລະບໍລິສັດ AI: ຜູ້ທີ່ສາມາດເຮັດໄດ້ ເຂົ້າເຖິງຫຍັງ, ພາຍໃຕ້ເງື່ອນໄຂໃດ, ແລະແນວໃດ ເຮັດໃຫ້ມັນໂປ່ງໃສ ໂດຍບໍ່ມີການທໍາລາຍຮູບແບບທຸລະກິດຫຼືການຊັກຊ້າຂອງນະວັດກໍາ. ທຸກສິ່ງທຸກຢ່າງຊີ້ໃຫ້ເຫັນເຖິງການສົນທະນານີ້ ຈະຍັງຄົງເປີດຢູ່ ໃນຂະນະທີ່ຕົວແທນ AI ໄດ້ຮັບຄວາມໂດດເດັ່ນແລະເວັບປັບກົດລະບຽບການຢູ່ຮ່ວມກັນ.
ຕອນນີ້ມີຂໍ້ຄວາມທີ່ຊັດເຈນວ່າ: ການຕິດຕາມ AI ແມ່ນຢູ່ພາຍໃຕ້ການກວດສອບ, ດ້ວຍ Cloudflare ປະຕິເສດຍຸດທະວິທີ camouflage ມາຈາກ Perplexity ແລະການເລີ່ມຕົ້ນ. ປະຕິເສດຢ່າງໜັກແໜ້ນ; ໃນກາງ, ເຈົ້າຂອງເວັບໄຊທ໌ມີການເຂົ້າເຖິງ ເຄື່ອງມື ໃໝ່ ເພື່ອຄວບຄຸມການເຂົ້າເຖິງແລະຊຸດຂອງ ການປະຕິບັດທີ່ດີ ພາຍໃຕ້ການກໍ່ສ້າງທີ່ຈະຫມາຍສະຫນາມຫຼີ້ນໃນເດືອນຂ້າງຫນ້າ.
ຂ້ອຍເປັນນັກເທັກໂນໂລຍີທີ່ກະຕືລືລົ້ນທີ່ໄດ້ຫັນຄວາມສົນໃຈ "geek" ຂອງລາວໄປສູ່ອາຊີບ. ຂ້າພະເຈົ້າໄດ້ໃຊ້ເວລາຫຼາຍກ່ວາ 10 ປີຂອງຊີວິດຂອງຂ້າພະເຈົ້າໂດຍການນໍາໃຊ້ເຕັກໂນໂລຊີທີ່ທັນສະໄຫມແລະ tinkering ກັບທຸກປະເພດຂອງໂຄງການອອກຈາກ curiosity ອັນບໍລິສຸດ. ຕອນນີ້ຂ້ອຍມີຄວາມຊ່ຽວຊານດ້ານເທັກໂນໂລຍີຄອມພິວເຕີ ແລະເກມວີດີໂອ. ນີ້ແມ່ນຍ້ອນວ່າຫຼາຍກວ່າ 5 ປີທີ່ຂ້ອຍໄດ້ຂຽນສໍາລັບເວັບໄຊທ໌ຕ່າງໆກ່ຽວກັບເຕັກໂນໂລຢີແລະວິດີໂອເກມ, ການສ້າງບົດຄວາມທີ່ຊອກຫາເພື່ອໃຫ້ທ່ານມີຂໍ້ມູນທີ່ທ່ານຕ້ອງການໃນພາສາທີ່ທຸກຄົນເຂົ້າໃຈໄດ້.
ຖ້າທ່ານມີຄໍາຖາມໃດໆ, ຄວາມຮູ້ຂອງຂ້ອຍແມ່ນມາຈາກທຸກສິ່ງທຸກຢ່າງທີ່ກ່ຽວຂ້ອງກັບລະບົບປະຕິບັດການ Windows ເຊັ່ນດຽວກັນກັບ Android ສໍາລັບໂທລະສັບມືຖື. ແລະຄໍາຫມັ້ນສັນຍາຂອງຂ້າພະເຈົ້າແມ່ນກັບທ່ານ, ຂ້າພະເຈົ້າສະເຫມີເຕັມໃຈທີ່ຈະໃຊ້ເວລາສອງສາມນາທີແລະຊ່ວຍທ່ານແກ້ໄຂຄໍາຖາມໃດໆທີ່ທ່ານອາດຈະມີຢູ່ໃນໂລກອິນເຕີເນັດນີ້.