Kebingungan dikatakan secara tidak sah mengakses konten dari situs web meskipun dilarang melakukannya. Cloudflare, perusahaan layanan keamanan web global, melakukan pengujian untuk mengonfirmasi perilaku siluman perusahaan mesin jawaban. Para peneliti menyoroti bahwa bot crawler dari Perplexity tidak hanya mengabaikan arahan dari situs web, tetapi mereka juga secara aktif menyembunyikan identitas mereka melalui berbagai cara untuk memastikan pemilik situs web tidak dapat melacak aktivitas tersebut. Cloudflare juga mampu menemukan cara untuk berhasil mematikan upaya perusahaan kecerdasan buatan (AI).
Cloudflare Menangkap Taktik Siluman Perplexity dalam Aksi
Dalam sebuah posting blog, platform keamanan web mengklaim bahwa Perplexity terlibat dalam aktivitas “perayapan sembunyi-sembunyi”. “Kami melihat bukti berkelanjutan bahwa Perplexity berulang kali memodifikasi agen pengguna mereka dan mengubah ASN sumber mereka untuk menyembunyikan aktivitas perayapan mereka, serta mengabaikan – atau terkadang bahkan gagal mengambil – file robots.txt,” tambah postingan itu.
Sebelum mempelajari perilaku Perplexity, penting untuk memahami cara kerja seluruh sistem. Pemilik situs web konten menambahkan informasi, dan layanan pihak ketiga seperti mesin telusur mengambil data ini untuk mengindeks situs web ini dan membuatnya muncul saat kueri yang relevan diketik. Beberapa aplikasi dan situs web juga mengikis situs web untuk memunculkannya dalam antarmuka mereka atau mengumpulkan data dengan izin.
Namun, agar hubungan antara situs web dan crawler ini berfungsi, harus ada kepercayaan. Ini ditetapkan oleh bot-bot ini mengikuti seperangkat aturan saat merayapi situs web apa pun. Aturan ini menentukan bahwa aktivitas bot harus transparan, mereka harus melayani tujuan yang jelas dan hanya melakukan aktivitas tertentu, dan mereka harus mengikuti arahan dan preferensi situs web. Jadi, jika situs web memblokir bot, itu tidak boleh merayapi situs web mereka.
Menurut peneliti Cloudflare, Perplexity mematahkan model kepercayaan ini dengan menggunakan taktik siluman untuk mengikis data situs web bahkan dari situs web yang secara eksplisit memblokir bot yang dideklarasikan — PerplexityBot dan Perplexity-User. Para peneliti dapat mengkonfirmasi aktivitas ini dengan membuat domain pengujian baru.
Domain ini tidak diindeks oleh mesin pencari mana pun atau dibuat dapat diakses atau ditemukan oleh publik. Selain itu, para peneliti menerapkan file robots.txt (file teks yang digunakan oleh situs web untuk memberikan instruksi kepada perayap web) untuk menghentikan semua bot mengakses bagian mana pun dari situs web.
Kemudian, peneliti Cloudflare pergi ke Perplexity dan mengajukan pertanyaan spesifik tentang domain yang baru dibuat ini. Mereka menemukan bahwa, meskipun mengikuti protokol Internet untuk mencegah aktivitas perayapan, Perplexity masih dapat memunculkan informasi terperinci tentang situs web ini.
Cloudflare mengklaim agen pengguna atau perayap web Perplexity mengambil beberapa langkah untuk melewati arahan situs web dan mengakses data. Jika agen pengguna yang dideklarasikan ditolak akses melalui robots.txt, agen tersebut mengabaikannya dan terus mengikis data. Jika situs web telah menerapkan firewall aplikasi web (WAF) untuk memblokir bot, perusahaan menggunakan agen browser generik yang dimaksudkan untuk menyamar sebagai Google Chrome atau macOS.
Bot yang tidak dideklarasikan ini juga dikatakan menggunakan beberapa IP yang tidak tercantum dalam rentang IP resmi Perplexity untuk mengelabui situs web. Untuk lebih menyembunyikan jejaknya, crawler ini dikatakan menggunakan nomor sistem otomatis yang berbeda. Khususnya, Cloudflare menyatakan bahwa ketika bot yang tidak dideklarasikan ini berhasil dihentikan, kualitas respons Perplexity menurun, karena mulai mengandalkan sumber data lain untuk menjawab kueri.
Cloudflare mengatakan sistem manajemen botnya dapat mendaftarkan semua aktivitas perayapan yang tidak dideklarasikan dari agen pengguna tersembunyi Perplexity dan sekarang secara otomatis melindungi semua pelanggan manajemen botnya. Selain itu, perusahaan telah menambahkan kecocokan tanda tangan untuk perayap siluman ke aturan terkelolanya, yang memblokir aktivitas perayapan AI. Ini tersedia untuk semua pengguna Cloudflare, termasuk mereka yang berada di tingkat gratis.
