Cloudflare Rilis Alat Baru untuk Cegah Bot AI Ambil Data Situs Web

Malang, 6 Juli 2024 – Cloudflare, penyedia layanan infrastruktur internet dan sistem keamanan situs web, baru saja merilis alat baru yang bertujuan untuk mencegah bot kecerdasan buatan (AI) mengambil data dari situs web untuk melatih model AI. Alat ini, yang tersedia secara gratis, dirancang khusus untuk situs web yang di-hosting di platform Cloudflare.

Cloudflare dikenal sebagai layanan yang berfungsi sebagai jembatan antara pengunjung situs atau aplikasi dengan hosting, dengan tugas utama mengamankan dan meningkatkan kecepatan transfer data antar server.

Fitur dan Fungsi Alat Pemblokir Bot AI

Alat baru dari Cloudflare ini dirancang untuk memberikan perlindungan tambahan bagi pemilik situs web yang tidak ingin bot AI mengambil data dari situs mereka tanpa izin. Beberapa vendor AI seperti Google, OpenAI, dan Apple memang telah mengizinkan pemilik situs web untuk memblokir bot mereka dengan mengubah file robots.txt pada situs web. File robots.txt adalah file teks yang memberi tahu bot, situs atau halaman mana yang bisa atau tidak bisa mereka kunjungi.

Namun, Cloudflare mengungkapkan bahwa tidak semua pemilik situs web, khususnya pelanggan Cloudflare, bersedia dikunjungi oleh bot AI tersebut. “Pelanggan tidak ingin bot AI mampir ke situs web mereka, terutama yang melakukannya diam-diam,” tulis pihak Cloudflare dalam blog resmi mereka.

Analisis Trafik Bot AI

Sebelum meluncurkan alat ini, Cloudflare melakukan analisis terhadap trafik bot AI dan crawler-nya, yaitu program yang menelusuri atau merayapi semua informasi yang ada sesuai kueri yang diberikan. Analisis ini bertujuan untuk melatih teknologi/model yang akan mendeteksi bot secara otomatis. Model ini nantinya akan mempertimbangkan apakah bot AI mencoba menghindari deteksi dengan menyamar sebagai seseorang yang menggunakan browser web.

“Ketika pelaku mencoba merayapi situs web dalam skala besar, mereka biasanya menggunakan alat dan kerangka kerja yang bisa kami catat,” jelas pihak Cloudflare. Dari catatan itulah, model Cloudflare mendeteksi trafik bot AI yang berupaya menghindari pengawasan.

Langkah-Langkah Lanjutan dan Pelaporan Bot AI

Cloudflare juga menyediakan formulir bagi pelanggan untuk melaporkan dugaan bot AI dan crawler. Seiring waktu, mereka akan menambahkan bot AI yang teridentifikasi ke daftar hitam secara manual.

Kekhawatiran dan Respons Terhadap AI Generatif

Perkembangan AI generatif seperti ChatGPT hingga Copilot membuat banyak situs web semakin waspada terhadap model pelatihan AI dari perusahaan teknologi yang menggunakan materi dari situs mereka tanpa pemberitahuan atau kompensasi. Sebuah penelitian menunjukkan bahwa sekitar 26 persen dari 1.000 situs teratas di internet telah memblokir bot OpenAI, dan sebanyak 600 penerbit berita juga ikut memblokir bot tersebut.

Dengan alat baru ini, Cloudflare berharap dapat memberikan perlindungan lebih bagi pemilik situs web dari pengambilan data oleh bot AI tanpa izin, serta membantu menjaga integritas dan keamanan data di dunia maya.