- Cloudflare menuduh Perplexity melewati robots.txt dan menutupi perayapannya dengan agen pengguna dan alamat IP yang tidak dideklarasikan.
- Perusahaan tersebut mengklaim telah mengamati perubahan ASN dan jutaan permintaan setiap hari di puluhan ribu domain.
- Perplexity membantah praktik rahasia, mempertanyakan metodologinya, dan berpendapat bahwa AI-nya bekerja secara berbeda dari perayap tradisional.
- Cloudflare menghapus Perplexity sebagai bot terverifikasi dan mengaktifkan aturan untuk memblokir pelacakan AI secara default.
Cloudflare telah membunyikan alarm dengan menerbitkan laporan yang menuduh mesin penjawab bertenaga AI Perplexity terus merayapi situs web meskipun ada hambatan ditempatkan oleh pemiliknya. Menurut penyedia infrastruktur, layanan tersebut akan memiliki robots.txt diabaikan dan melewati pemblokiran jaringan untuk mengakses konten yang dilarang.
Dalam lanskap di mana AI melahap data untuk melatih model dan merespons secara real-time, keseimbangan antara inovasi dan penghormatan terhadap aturan ekosistem web mulai tegangKontroversi ini kembali memicu perdebatan mengenai pengikisan tidak sah dan batasan teknis dan etika yang harus dipatuhi oleh mereka yang membangun produk berdasarkan sejumlah besar informasi daring.
Apa yang dilaporkan Cloudflare dan mengapa itu penting
Perusahaan keamanan dan kinerja jaringan mengatakan telah menerima keluhan pelanggan yang situsnya terus menerima akses yang dikaitkan dengan Perplexity meskipun larang di robots.txt dan menerapkan aturan-aturan WAF untuk memblokir pelacak yang mereka nyatakan. Setelah menyelidiki, Cloudflare mengklaim telah mendeteksi pola pelacakan rahasia tidak sesuai dengan preferensi pemilik situs web.
Pemasok mengklaim telah mengamati perilaku ini di puluhan ribu domain dan jutaan permintaan setiap hari, sebuah volume yang, menurut pendapatnya, menunjukkan praktik-praktik sistematis, alih-alih insidental. Akibatnya, telah menghapus Perplexity dari daftar bot terverifikasinya dan telah mengaktifkan heuristik dan mengelola aturan untuk blokir pelacakan ini secara default.
Bagaimana Perplexity bisa mengatasi hambatan tersebut
Menurut Cloudflare, ketika Anda pelacak yang dideklarasikan (seperti yang diidentifikasi oleh nama agen pengguna Perplexity) mengalami kerusakan, sistem akan masuk ke meniru browser umum, menampilkan dirinya seolah-olah itu Chrome di macOS untuk menyamarkan identitas mereka dan menghindari deteksi.
Selain itu, akses berasal dari rentang IP yang tidak dipublikasikan oleh Kebingungan dan diputar secara berkala, yang akan membuat penyaringan menjadi sulit. Cloudflare juga mengklaim telah melihat perubahan dalam ASN (sistem otonom) asal permintaan, tanda lain dari penghindaran blok jaringan.
Penelitian tersebut menyebutkan bahwa perilaku yang diamati tidak akan menghormati polanya dari perayap yang baik yang dijelaskan di RFC 9309 dan dalam kebijakan “bot terverifikasi”: transparansi identitas (agen, IP, dan kontak), penenangan lalu lintas, tujuan yang jelas dan hormati robots.txt sudah batasan yang ditetapkan oleh pemilik situs.
Cloudflare mengatakan bahwa mereka telah mampu “meninggalkan jejak” ke lalu lintas ini melalui kombinasi sinyal jaringan dan pembelajaran mesin, menambahkan tanda tangan ke aturan terkelola yang mengidentifikasi dan memblokir aktivitas ini, bahkan untuk pelanggan paket gratis.
Pengujian dengan domain umpan dan hasilnya
Untuk mengkonfirmasi kecurigaan mereka, tim menciptakan domain baru dan belum dipublikasikan (tidak diindeks atau ditautkan secara publik) dan menerapkan kebijakan terhadapnya larangan total terhadap robots.txt, serta aturan khusus untuk melarang bot Perplexity. Setelah berkonsultasi dengan AI untuk situs-situs tersebut, Cloudflare mengklaim bahwa mendapat jawaban dengan rincian tentang konten yang dihosting, sesuatu yang—jika benar—akan menunjukkan akses meskipun ada hambatan.
Ketika blok tersebut efektif, Cloudflare mengamati bahwa AI Perplexity beralih ke sumber alternatif untuk membangun respon, tapi kurang tepat dan tanpa kekhasan materi aslinya, mencerminkan bahwa pembatasan telah berhasil.
Tanggapan resmi Perplexity
Kebingungan, pada bagiannya, menolak tuduhan tersebut pelacakan rahasia dan klaim bahwa Cloudflare memiliki disalahartikan bagian dari aktivitas yang dianalisis. Juru bicara perusahaan menggambarkan laporan tersebut sebagai “barang komersial” dan mereka mengklaim bahwa ada beberapa bukti mereka tidak akan menguji akses sebenarnya atau bahkan sesuai dengan bot orang lain.
Startup ini juga telah membagikan pendiriannya tentang publikasi di X, di mana dia mempertanyakan kapasitas sistem deteksi untuk membedakan antara asisten AI yang sah, pelacak pihak ketiga, dan lalu lintas berbahaya. Lebih lanjut, ia berpendapat bahwa agen yang mencari informasi spesifik untuk menanggapi pertanyaan itu tidak bekerja dengan cara yang sama daripada perayap tradisional yang menjelajahi web secara massal.
Pengukuran, praktik baik, dan peran aktor lain
Sebagai bagian dari strateginya, Cloudflare telah dihapus dari Perplexity dari daftar bot tepercaya dan telah menambahkan aturan pemblokiran dugaan pelacakan tersembunyi. Perusahaan merekomendasikan agar administrator mengaktifkan kebijakan anti-bot, Menerapkan tantangan ketika blok total tidak diinginkan dan menggunakan aturan terkelola khusus terhadap Pengikisan AI.
Dalam argumennya, Cloudflare membandingkan kasus tersebut dengan contoh kepatuhan praktik terbaik, mengutip aktor yang hormati robots.txt, mendokumentasikan agen mereka dan mengadopsi standar yang muncul seperti Otorisasi Bot WebDalam uji perbandingan, ia mengklaim bahwa bot lain mereka berhenti ketika mengalami larangan atau pemblokiran jaringan, tanpa percobaan ulang yang disamarkan.
Konflik yang menandai jalannya ekosistem
Pemasok mengantisipasi evolusi konstan taktik operator bot dan pertahanan yang digunakan untuk menahannya. Secara paralel, ia berpartisipasi dalam kerja sama dengan para ahli dan organisasi seperti IETF untuk impuls ekstensi robots.txt dan prinsip-prinsip terukur yang harus dipatuhi oleh pelacak yang bermaksud baik.
Selain denyut nadi spesifik, kasus ini menempatkan di atas meja krisis kepercayaan antara pembuat konten, platform, dan perusahaan AI: siapa yang bisa akses apa, dalam kondisi apa, dan bagaimana membuatnya transparan tanpa merusak model bisnis atau memperlambat inovasi. Semuanya mengarah pada percakapan ini. akan tetap terbuka sementara agen AI memperoleh keunggulan dan web menyesuaikan aturan koeksistensinya.
Episode ini meninggalkan pesan yang jelas: Pelacakan AI sedang dalam pengawasan, dengan Cloudflare mengecam taktik kamuflase yang dikaitkan dengan Perplexity dan startup dengan tegas menyangkalnya; di tengah, pemilik situs memiliki akses ke alat baru untuk mengontrol akses dan satu set praktik yang baik sedang dibangun yang akan menandai lapangan permainan dalam beberapa bulan mendatang.
Saya seorang penggila teknologi yang telah mengubah minat "geek"-nya menjadi sebuah profesi. Saya telah menghabiskan lebih dari 10 tahun hidup saya menggunakan teknologi mutakhir dan mengutak-atik semua jenis program hanya karena rasa ingin tahu. Sekarang saya memiliki spesialisasi dalam teknologi komputer dan video game. Hal ini karena selama lebih dari 5 tahun saya telah menulis untuk berbagai website tentang teknologi dan video game, membuat artikel yang berupaya memberikan informasi yang Anda butuhkan dalam bahasa yang dapat dimengerti oleh semua orang.
Jika Anda memiliki pertanyaan, pengetahuan saya berkisar dari segala sesuatu yang berhubungan dengan sistem operasi Windows serta Android untuk ponsel. Dan komitmen saya adalah kepada Anda, saya selalu bersedia meluangkan beberapa menit dan membantu Anda menyelesaikan pertanyaan apa pun yang mungkin Anda miliki di dunia internet ini.