Cloudflare akan memblokir crawler AI yang menyembunyikan tujuannya

Cloudflare mengubah pengaturan default-nya sehingga crawler "mixed-use" akan diblokir di halaman yang memuat iklan, mulai 15 September. Crawler mixed-use adalah crawler yang mencampur pengindeksan search, penjelajahan agent AI, dan pelatihan model dalam satu alat tanpa memberi tahu situs mana yang sedang dilakukannya. Crawler khusus search seperti Google Search tetap diizinkan; yang dihentikan adalah crawler yang menolak memisahkan tujuannya, kecuali pemilik situs mengaktifkannya kembali. Default baru ini berlaku untuk pelanggan Cloudflare yang baru, situs baru dari pelanggan lama, dan semua pelanggan free-tier yang sudah ada.

Tujuannya memaksa perusahaan AI menjalankan crawler terpisah untuk tugas yang berbeda, supaya penerbit bisa mengizinkan search tetapi menolak training. Bersamaan dengan pemblokiran itu, Cloudflare mengubah eksperimen "Pay Per Crawl" menjadi marketplace "Pay Per Use" yang lebih luas, tempat penerbit bisa menagih perusahaan AI ketika kontennya menghasilkan nilai, dengan Ceramic.ai dan You.com sebagai mitra awal. CEO Matthew Prince menyampaikan urgensinya dengan lugas, bahwa perusahaan "harus melangkah lebih jauh dan bertindak lebih cepat agar ekosistem yang berkelanjutan bisa terbentuk." Cloudflare menambahkan argumen bandwidth: lebih dari separuh trafik crawler AI hanya mengambil ulang halaman yang tidak berubah. Detail penerapannya bisa dibaca di laporan TechCrunch.

Karena Cloudflare berada di depan sebagian besar web, perubahan default seperti ini menggerakkan seluruh pasar sekaligus, bukan satu situs demi satu situs.

Kenapa ini penting

Kalau kamu menjalankan crawler AI, mulai rencanakan pemisahan trafik search, agent, dan training ke crawler berlabel, atau siap-siap diblokir di situs beriklan dan diminta membayar. Kalau kamu penerbit, ini memberi tombol yang sebelumnya tidak ada: izinkan crawling yang kamu mau dan tagih sisanya.