Tempel sebuah URL dan Aeopro mencocokkan robots.txt Anda dengan 11 bot ChatGPT, Claude, Perplexity, dan Bing, lalu menunjukkan baris persis yang menutup pintu bagi mereka.
Satu Disallow yang salah tempat bisa merugikan Anda pada satu-satunya hal yang saat ini mendatangkan kunjungan dari AI: kutipan.
Aeopro mengunduh /robots.txt Anda, mengurainya per grup User-agent, dan mengevaluasi, bot demi bot, apakah URL yang sedang Anda audit diizinkan atau diblokir. Ia tidak mencari nama bot di dalam berkas «dengan mata telanjang»: ia menerapkan aturan yang sebenarnya: grup spesifik mengalahkan wildcard *, dan di dalam grup, aturan dengan pola terpanjang yang berlaku, dengan Allow memenangkan seri atas Disallow. Ia mendukung wildcard * dan $ pada path, sehingga Disallow: /*?* atau Allow: /blog/$ ditafsirkan sebagaimana perayap menafsirkannya, bukan seperti tampaknya sekilas.
Hasilnya adalah matriks 11 bot dengan kelasnya di sampingnya: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, dan Bingbot adalah bot jawaban —yang mencari, mengutip, dan menautkan—; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, dan CCBot adalah bot pelatihan. Pembedaan itu adalah kunci seluruh laporan: jika Anda memblokir bot jawaban, temuan masuk sebagai penghambat dan membatasi skor AEO Anda, karena tanpa akses tidak mungkin ada kutipan. Jika Anda memblokir bot pelatihan, temuannya bersifat informasi: tidak ingin konten Anda masuk ke dataset adalah keputusan yang sah dan Aeopro tidak memperdebatkannya.
Setiap bot yang diblokir datang dengan buktinya: lampu merah, grup User-agent yang berlaku padanya, dan baris persis dalam berkas yang menyebabkannya, disalin apa adanya. Anda tidak perlu membaca ulang robots.txt untuk mencari biang keladinya, semuanya sudah ada di depan Anda.
Aeopro juga mencakup kegagalan yang bukan Disallow. Jika /robots.txt Anda mengembalikan halaman HTML —khas 404 yang diberi tata letak atau router SPA yang menangani semuanya— atau merespons dengan error 500, ia mendeteksinya dan mengangkatnya sebagai temuan: bot memperlakukannya sebagai «tanpa pembatasan», tetapi itu tanda kelalaian. Dan jika ada Crawl-delay di atas 10 detik, ia memperingatkan Anda, karena pada kecepatan itu sebagian perayap berhenti membaca situs Anda secara utuh. Jika Anda sama sekali tidak punya robots.txt, laporan memberi tahu tanpa mengurangi skor Anda: ketiadaannya tidak memblokir siapa pun.
Memisahkan diblokir dari tidak terlihat
memblokir bot pelatihan adalah keputusan Anda dan hanya muncul sebagai informasi. Memblokir bot jawaban berarti menghilang dari jawaban ChatGPT atau Perplexity, dan itu temuan penghambat yang membatasi skor AEO Anda.
Prioritas yang sebenarnya, bukan pencarian teks
grup spesifik mengalahkan wildcard *, pola yang lebih panjang mengalahkan yang pendek, dan Allow menang saat seri, dengan dukungan * dan $ pada path. Logikanya sama dengan yang diterapkan perayap, sehingga putusannya adalah yang benar-benar akan Anda dapatkan.
Baris persis yang memblokir Anda
setiap bot berwarna merah disertai grup User-agent yang berlaku padanya dan teks harfiah baris penyebabnya. Tidak perlu lagi membaca 200 baris robots.txt secara manual untuk menemukan Disallow yang berlebih.
11 bot yang penting saat ini, beserta kelasnya
enam bot jawaban (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) dan lima bot pelatihan (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), dievaluasi terhadap URL spesifik yang Anda audit, bukan hanya terhadap akar domain.
Menangkap kegagalan diam-diam
/robots.txt yang menyajikan HTML alih-alih teks biasa, yang merespons 500, atau Crawl-delay yang tidak masuk akal di atas 10 detik. Kegagalan yang tidak muncul di alat SEO klasik mana pun dan menandakan server yang salah konfigurasi.
Perbaikan yang sudah tertulis, tanpa memakai AI
dari temuan itu sendiri Anda membuat patch robots.txt dengan satu saklar per bot. Anda memilih siapa yang dibuka, berkas akhir dibuat ulang secara langsung dari robots.txt Anda saat ini ditambah blok baru, lalu Anda menyalinnya. Deterministik: tidak memakai token.
Gratis diulang
audit robots.txt adalah bagian dari pemeriksaan deterministik dalam laporan. Anda mengubah berkasnya, menerapkannya, menganalisis lagi, dan delta memberi tahu apakah temuan sudah tertutup. Sebanyak yang Anda mau.

Tempel sebuah URL dan terima matriks 11 bot, baris persis yang memblokir masing-masing, dan patch yang siap disalin.