Lewati ke konten
Tools

Cloudflare Pay Per Crawl vs Pay Per Use

M. Irfan Ramadhan4 menit baca
Rak server data center dengan kabel jaringan dan lampu indikator biru.
Foto: Pexels
Daftar Isi

Cloudflare mengubah model monetisasi crawler AI dari Pay Per Crawl (bayar per kali bot mengambil halaman, sejak 1 Juli 2025) menjadi Pay Per Use (diumumkan 1 Juli 2026): publisher kini dibayar saat konten mereka benar-benar dikutip dalam jawaban AI lewat partner seperti Ceramic.ai dan You.com, bukan sekadar saat bot singgah.

Ringkasan cepat:

  1. Pay Per Crawl (1 Juli 2025) memakai respons HTTP 402 agar situs bisa mengenakan tarif ke bot AI setiap kali halaman di-fetch, dengan tiga pilihan per crawler: izinkan gratis, kenakan tarif, atau blokir.
  2. Pay Per Use (diumumkan 1 Juli 2026, disebut Cloudflare "Content Independence Day 2") menukar basis pembayaran dari jumlah crawl ke momen konten benar-benar dikutip di jawaban AI.
  3. Dua partner awal Pay Per Use adalah Ceramic.ai (bayar tiap konten muncul di hasil pencarian AI, lengkap data query dan posisi) dan You.com (agent bayar on-demand untuk konten premium tertentu).
  4. Sejak 15 September 2026, domain dan pelanggan baru Cloudflare mendapat default blokir crawler AI training dan agent di halaman beriklan, sementara bot pencarian tetap diizinkan.
  5. Pergeseran ini didorong temuan Cloudflare sendiri: lebih dari separuh traffic crawler AI training adalah fetch berulang ke halaman yang kontennya tidak berubah.

Apa Itu Cloudflare Pay Per Crawl?

Pay Per Crawl adalah fitur yang pertama kali dirilis Cloudflare dalam private beta pada 1 Juli 2025, memberi pemilik situs kontrol untuk mengenakan tarif setiap kali bot AI mengambil (fetch) halaman mereka. Mekanismenya memakai kode status HTTP 402 Payment Required, yang sebelumnya jarang dipakai di web, untuk menandai bahwa akses butuh pembayaran sebelum crawler bisa lanjut membaca konten.

Untuk setiap crawler AI yang teridentifikasi, pemilik situs punya tiga pilihan: mengizinkannya gratis, mengenakan tarif per permintaan, atau memblokirnya sepenuhnya. Pendekatan ini memberi publisher leverage langsung terhadap perusahaan AI yang selama ini mengambil konten tanpa kompensasi otomatis.

Kenapa Model Ini Akhirnya Dianggap Kurang Pas

Menurut siaran pers resmi Cloudflare (1 Juli 2026), lebih dari separuh traffic crawler AI training ternyata adalah fetch berulang ke halaman yang isinya tidak berubah. Membayar per crawl berarti publisher tetap dibayar untuk fetch yang sama sekali tidak menghasilkan nilai, sementara fetch yang benar-benar berujung ke kutipan di jawaban AI dibayar sama saja dengan fetch yang diabaikan.

Apa Beda Pay Per Crawl dan Pay Per Use di Cloudflare?

Pay Per Use, yang Cloudflare sebut sebagai "Content Independence Day 2" saat pengumuman 1 Juli 2026, menggeser basis pembayaran dari jumlah crawl ke momen konten benar-benar muncul dalam jawaban AI. Siaran pers Cloudflare mengutip alasan intinya langsung:

"publishers are paid when their content actually creates value, not just when it's fetched"

— Cloudflare, siaran pers resmi (1 Juli 2026)

Dua partner awal sudah berjalan dengan model berbeda. Ceramic.ai membayar publisher setiap kali konten mereka muncul di hasil pencarian Ceramic, lengkap dengan laporan query spesifik, snippet halaman yang dipakai, dan posisi rata-rata di jawaban. You.com memakai model berbeda lagi: agent AI membayar on-demand untuk satu bagian konten premium tertentu saat benar-benar dibutuhkan, tanpa komitmen di muka dari kedua pihak.

Anna Patterson, pendiri Ceramic.ai, membingkai kemitraan ini lewat kekuatan jangkauan Cloudflare:

"massive reach and a shared commitment to transparency and fair compensation"

— Anna Patterson, pendiri Ceramic.ai, dikutip ppc.land

Tabel Perbandingan Singkat

AspekPay Per CrawlPay Per Use
Dipicu saatBot mengambil (fetch) halamanKonten muncul di jawaban AI
Diluncurkan1 Juli 2025 (private beta)1 Juli 2026 (diumumkan, bertahap)
MekanismeHTTP 402 per permintaanLaporan kutipan via partner (Ceramic.ai, You.com)
Risiko utamaDibayar untuk fetch tak bernilaiBaru tersedia lewat partner terbatas

Apa Dampak Default Blokir Crawler AI Sejak 15 September 2026?

Sejak 15 September 2026, domain dan pelanggan baru Cloudflare mendapat kebijakan default baru: crawler AI yang dikategorikan "training" dan "agent" diblokir otomatis di halaman yang menampilkan iklan, sementara bot pencarian (yang membantu konten muncul di hasil pencarian biasa) tetap diizinkan. Pemilik situs tetap bisa mengizinkan ulang secara granular per jenis crawler lewat panel kontrolnya, bukan kebijakan yang sepenuhnya terkunci.

Implikasinya untuk pemilik situs yang justru ingin dikutip AI (tujuan GEO/AEO) adalah kebalikan dari niat awal kebijakan ini: default block bisa secara tidak sengaja menutup akses GPTBot atau ClaudeBot kalau situs memasang iklan dan tidak memeriksa pengaturan allowlist-nya. Sebelum memikirkan monetisasi lewat Pay Per Use, langkah lebih mendasar adalah memastikan crawler AI utama benar-benar bisa mengakses konten, lewat pengecekan log server atau audit robots.txt.

Apakah Situs Kecil Seperti Blog Personal Perlu Ikut Pay Per Use?

Belum mendesak. Per pengumuman Juli 2026, Pay Per Use masih diuji dengan dua partner awal (Ceramic.ai dan You.com), dengan ketersediaan yang lebih luas dijanjikan menyusul sepanjang 2026, bukan langsung terbuka untuk semua pengguna Cloudflare. Untuk situs skala personal/freelancer yang belum punya volume traffic AI besar, nilai monetisasi langsung dari Pay Per Use masih kecil dibanding tujuan utama GEO: dikutip dan ditemukan di jawaban AI terlebih dahulu.

Prioritas yang lebih realistis untuk situs kecil adalah memastikan akses crawler AI tidak justru tertutup oleh default blokir baru, sambil tetap membangun konten yang pantas dikutip. Kalau butuh bantuan audit teknis semacam ini untuk situs sendiri, jasa SEO dan web development mencakup pengecekan akses crawler AI sebagai bagian dari audit teknis.

Ringkasan: Cloudflare Geser Basis Bayar dari "Di-Crawl" ke "Dikutip"

  • Pay Per Crawl (2025) membayar per fetch halaman; Pay Per Use (diumumkan 2026) membayar saat konten benar-benar dikutip di jawaban AI lewat partner seperti Ceramic.ai dan You.com.
  • Alasan pergeseran bersumber langsung dari Cloudflare: lebih dari separuh traffic crawler AI training adalah fetch berulang ke halaman yang tidak berubah, jadi membayar per fetch tidak mencerminkan nilai nyata.
  • Default blokir crawler AI training/agent di halaman beriklan sejak 15 September 2026 bisa berdampak ke situs yang justru ingin dikutip AI kalau allowlist-nya tidak dicek ulang.
  • Untuk situs skala kecil, langkah yang lebih penting saat ini adalah memastikan akses crawler AI tetap terbuka lewat pengecekan log server, bukan terburu-buru mendaftar Pay Per Use yang masih terbatas partner awal. Butuh bantuan audit teknis semacam ini? Jasa SEO dan web development mencakup langkah ini.

cloudflare pay per crawl · pay per use · ai crawler monetization · geo tools · http 402

Pertanyaan yang Sering Diajukan

Apa itu Cloudflare Pay Per Crawl?

Pay Per Crawl adalah fitur Cloudflare yang diluncurkan private beta 1 Juli 2025, memungkinkan pemilik situs mengenakan tarif ke bot AI setiap kali bot itu mengambil (fetch) halaman, memakai respons HTTP 402 Payment Required. Pemilik situs memilih salah satu dari tiga opsi per crawler: izinkan gratis, kenakan tarif, atau blokir penuh.

Apa beda Pay Per Crawl dan Pay Per Use di Cloudflare?

Pay Per Crawl membayar per fetch halaman, tidak peduli hasilnya dipakai atau tidak. Pay Per Use, diumumkan 1 Juli 2026, menggeser basis pembayaran ke momen konten benar-benar muncul dalam jawaban AI lewat partner seperti Ceramic.ai dan You.com, sejalan dengan pengakuan Cloudflare bahwa crawl itu murah dan tidak selektif.

Kapan Cloudflare mulai blokir default crawler AI training di halaman beriklan?

Sejak 15 September 2026, domain dan pelanggan baru Cloudflare mendapat default blokir untuk crawler AI training dan agent di halaman yang menampilkan iklan, sementara bot pencarian tetap diizinkan. Pemilik situs tetap bisa mengizinkan ulang secara granular per jenis crawler bila mau.

Apakah situs kecil seperti blog personal bisa langsung ikut Pay Per Use?

Belum merata. Per pengumuman Juli 2026, Pay Per Use baru diuji dengan dua partner awal (Ceramic.ai dan You.com) dengan ketersediaan lebih luas dijanjikan menyusul di 2026. Situs kecil lebih dulu perlu memastikan crawler AI utama (GPTBot, ClaudeBot, PerplexityBot) benar-benar diizinkan mengakses, bukan terblokir default.

Artikel Terkait

M. Irfan Ramadhan

SEO Specialist & Web Developer

Menulis tentang SEO teknis, GEO/AI search, dan pengembangan web modern berdasarkan pengalaman langsung mengerjakan proyek klien.