Rasio crawl-to-refer ClaudeBot (Anthropic) membaik sekitar 87 kali lipat sepanjang 2026, dari sekitar 47.779 halaman di-crawl per satu referral di Januari menjadi 549:1 di September, menurut data Cloudflare Radar yang dirangkum SEOmator. Perbaikan ini didorong oleh referral yang mulai benar-benar muncul, bukan oleh volume crawl yang menurun, dan polanya tidak seragam dengan GPTBot (OpenAI) yang justru naik lagi setelah Juli.
Ringkasan cepat:
- Rasio crawl-to-refer ClaudeBot membaik dari sekitar 47.779:1 (Januari 2026) jadi 549:1 (September 2026), perbaikan sekitar 87 kali lipat dalam sembilan bulan.
- Rasio GPTBot bergerak tidak konsisten: dari 1.309:1 (Januari) turun ke titik terendah 256:1 (Juli), lalu naik lagi ke 341:1 (September 2026).
- Per September 2026, ClaudeBot menyumbang sekitar 12,0% dari total permintaan bot AI yang dipantau, GPTBot sekitar 6,2%, menurut data yang sama.
- Konteks skala: traffic bot sudah melampaui traffic manusia secara global sejak Mei 2026 (57,4% permintaan web otomatis vs 42,6% manusia, data Cloudflare yang dilaporkan Juni 2026).
- Angka rasio statis yang sering dikutip artikel lain (termasuk dua artikel lain di situs ini) berasal dari snapshot Januari-Maret 2026 yang sekarang sudah jauh berubah, bukan kondisi terkini.
Apa Itu Crawl-to-Refer Ratio dan Kenapa Perlu Dipantau dari Waktu ke Waktu?
Crawl-to-refer ratio mengukur berapa banyak halaman yang diambil bot AI dari sebuah situs dibanding berapa banyak pengunjung nyata yang bot itu kirim balik ke situs yang sama. Rasio tinggi berarti bot banyak "membaca" tapi jarang membawa pulang pembaca sungguhan; rasio yang menurun berarti proporsi traffic baliknya membesar relatif terhadap aktivitas crawl-nya. Artikel cara melacak traffic crawler AI dan tools gratis cek bot AI di server log di situs ini sama-sama mengutip rasio ini sebagai satu titik data dari kuartal pertama 2026 (ClaudeBot sekitar 23.951:1, GPTBot sekitar 1.252-1.276:1). Yang belum dibahas di kedua artikel itu: angka tersebut sudah berubah jauh sejak itu, dan arah perubahannya sendiri jadi cerita yang lebih penting daripada satu snapshot tunggal.
Seberapa Drastis Rasio ClaudeBot Membaik Sepanjang 2026?
Berdasarkan data Cloudflare Radar bulanan (Januari-September 2026) yang dikompilasi SEOmator (diperbarui 7 Oktober 2026), rasio ClaudeBot bergerak dari 47.779:1 di Januari menjadi 12.874:1 di Mei, lalu anjlok ke 1.914:1 di Juli, 910:1 di Agustus, dan 549:1 di September 2026. Secara total itu perbaikan sekitar 87 kali lipat dalam sembilan bulan.
Anthropic went from ~48,000:1 to 549:1 in nine months because referrals appeared.
— Crawl-to-Refer Ratio: Which AI Crawlers & LLM Bots Take the Most and Give the Least?, SEOmator (diperbarui 7 Oktober 2026)
Penekanan pada kata "karena referral muncul" penting: data ini tidak menunjukkan ClaudeBot mengurangi aktivitas crawl-nya, melainkan jumlah kunjungan balik nyata yang dihasilkannya membesar jauh lebih cepat, sejalan dengan makin matangnya fitur pencarian dan sitasi di produk Claude sepanjang tahun.
Bagaimana dengan GPTBot?
GPTBot (OpenAI) tidak menunjukkan pola membaik yang konsisten. Rasionya turun dari 1.309:1 (Januari) ke titik terendah 256:1 (Juli 2026), tapi kemudian naik lagi ke 424:1 (Agustus) dan 341:1 (September), menurut data Cloudflare Radar yang sama. Per September 2026, ClaudeBot tercatat menyumbang sekitar 12,0% dari total permintaan bot AI yang dipantau, hampir dua kali pangsa GPTBot yang sekitar 6,2%.
Apa Artinya Data Ini untuk Pemilik Situs Kecil?
Konteks skalanya sendiri sudah berubah besar: traffic bot otomatis melampaui traffic manusia secara global untuk pertama kalinya sekitar Mei 2026, dengan Cloudflare melaporkan 57,4% permintaan web berasal dari bot dibanding 42,6% dari manusia (dilaporkan 4 Juni 2026). Dalam skala sebesar itu, rasio crawl-to-refer yang terus bergerak cepat dalam hitungan bulan berarti satu angka yang dikutip di artikel lama (termasuk dua artikel di situs ini sendiri) bisa sudah usang beberapa bulan kemudian. Implikasi praktisnya: jangan berhenti mengecek sekali lalu menganggap rasio itu tetap, dan jangan memutuskan blokir atau izinkan sebuah bot training hanya berdasarkan snapshot lama tanpa verifikasi ulang dari log situs sendiri.
Ringkasan: ClaudeBot Membaik 87x dalam 9 Bulan, GPTBot Tidak Konsisten
- Rasio crawl-to-refer ClaudeBot membaik dari 47.779:1 (Januari) jadi 549:1 (September 2026), sekitar 87 kali lipat dalam sembilan bulan, didorong oleh referral yang mulai muncul, bukan crawl yang berkurang.
- GPTBot sempat membaik ke 256:1 (Juli) tapi naik lagi ke 341:1 (September), pola yang tidak seragam dengan ClaudeBot.
- Angka rasio kuartal pertama 2026 yang masih sering dikutip (termasuk di artikel tutorial dan artikel tools lain di situs ini) sudah jauh berubah, jadi perlakukan sebagai titik data historis, bukan kondisi terkini.
- Butuh audit GEO yang memantau sinyal seperti ini secara berkala, bukan sekali lalu dilupakan? Lihat layanan SEO dan web development yang ditawarkan di situs ini.