# Periksa robots.txt untuk bot AI: apakah GPTBot atau ChatGPT diblokir?

> Analisis robots.txt Anda terhadap 11 bot AI (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot…). Anda akan melihat bot mana yang diblokir, baris persis penyebabnya, dan patch siap salin.

- **Sumber (source):** https://aistohire.com/id/aeopro-audit-apakah-chatgpt-dan-perplexity-bisa-kutip-situs-anda-198/f/audit-robots-txt-bot-ai
- **Platform (platform):** AIstoHire
- **Bahasa (language):** id

## Ringkasan

- Periksa apakah robots.txt Anda memblokir bot AI
- Tempel sebuah URL dan Aeopro mencocokkan robots.txt Anda dengan 11 bot ChatGPT, Claude, Perplexity, dan Bing, lalu menunjukkan baris persis yang menutup pintu bagi mereka.
- Memisahkan diblokir dari tidak terlihat
- Prioritas yang sebenarnya, bukan pencarian teks
- Baris persis yang memblokir Anda

## Periksa apakah robots.txt Anda memblokir bot AI

Aeopro mengunduh /robots.txt Anda, mengurainya per grup User-agent, dan mengevaluasi, bot demi bot, apakah URL yang sedang Anda audit diizinkan atau diblokir. Ia tidak mencari nama bot di dalam berkas «dengan mata telanjang»: ia menerapkan aturan yang sebenarnya: grup spesifik mengalahkan wildcard *, dan di dalam grup, aturan dengan pola terpanjang yang berlaku, dengan Allow memenangkan seri atas Disallow. Ia mendukung wildcard * dan $ pada path, sehingga Disallow: /*?*  atau Allow: /blog/$ ditafsirkan sebagaimana perayap menafsirkannya, bukan seperti tampaknya sekilas.

Hasilnya adalah matriks 11 bot dengan kelasnya di sampingnya: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, dan Bingbot adalah bot jawaban —yang mencari, mengutip, dan menautkan—; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, dan CCBot adalah bot pelatihan. Pembedaan itu adalah kunci seluruh laporan: jika Anda memblokir bot jawaban, temuan masuk sebagai penghambat dan membatasi skor AEO Anda, karena tanpa akses tidak mungkin ada kutipan. Jika Anda memblokir bot pelatihan, temuannya bersifat informasi: tidak ingin konten Anda masuk ke dataset adalah keputusan yang sah dan Aeopro tidak memperdebatkannya.

Setiap bot yang diblokir datang dengan buktinya: lampu merah, grup User-agent yang berlaku padanya, dan baris persis dalam berkas yang menyebabkannya, disalin apa adanya. Anda tidak perlu membaca ulang robots.txt untuk mencari biang keladinya, semuanya sudah ada di depan Anda.

Aeopro juga mencakup kegagalan yang bukan Disallow. Jika /robots.txt Anda mengembalikan halaman HTML —khas 404 yang diberi tata letak atau router SPA yang menangani semuanya— atau merespons dengan error 500, ia mendeteksinya dan mengangkatnya sebagai temuan: bot memperlakukannya sebagai «tanpa pembatasan», tetapi itu tanda kelalaian. Dan jika ada Crawl-delay di atas 10 detik, ia memperingatkan Anda, karena pada kecepatan itu sebagian perayap berhenti membaca situs Anda secara utuh. Jika Anda sama sekali tidak punya robots.txt, laporan memberi tahu tanpa mengurangi skor Anda: ketiadaannya tidak memblokir siapa pun.

## Yang termasuk

- **Memisahkan diblokir dari tidak terlihat** — memblokir bot pelatihan adalah keputusan Anda dan hanya muncul sebagai informasi. Memblokir bot jawaban berarti menghilang dari jawaban ChatGPT atau Perplexity, dan itu temuan penghambat yang membatasi skor AEO Anda.
- **Prioritas yang sebenarnya, bukan pencarian teks** — grup spesifik mengalahkan wildcard *, pola yang lebih panjang mengalahkan yang pendek, dan Allow menang saat seri, dengan dukungan * dan $ pada path. Logikanya sama dengan yang diterapkan perayap, sehingga putusannya adalah yang benar-benar akan Anda dapatkan.
- **Baris persis yang memblokir Anda** — setiap bot berwarna merah disertai grup User-agent yang berlaku padanya dan teks harfiah baris penyebabnya. Tidak perlu lagi membaca 200 baris robots.txt secara manual untuk menemukan Disallow yang berlebih.
- **11 bot yang penting saat ini, beserta kelasnya** — enam bot jawaban (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) dan lima bot pelatihan (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), dievaluasi terhadap URL spesifik yang Anda audit, bukan hanya terhadap akar domain.
- **Menangkap kegagalan diam-diam** — /robots.txt yang menyajikan HTML alih-alih teks biasa, yang merespons 500, atau Crawl-delay yang tidak masuk akal di atas 10 detik. Kegagalan yang tidak muncul di alat SEO klasik mana pun dan menandakan server yang salah konfigurasi.
- **Perbaikan yang sudah tertulis, tanpa memakai AI** — dari temuan itu sendiri Anda membuat patch robots.txt dengan satu saklar per bot. Anda memilih siapa yang dibuka, berkas akhir dibuat ulang secara langsung dari robots.txt Anda saat ini ditambah blok baru, lalu Anda menyalinnya. Deterministik: tidak memakai token.
- **Gratis diulang** — audit robots.txt adalah bagian dari pemeriksaan deterministik dalam laporan. Anda mengubah berkasnya, menerapkannya, menganalisis lagi, dan delta memberi tahu apakah temuan sudah tertutup. Sebanyak yang Anda mau.

## Pertanyaan umum

### Bagaimana saya tahu apakah robots.txt saya memblokir ChatGPT?

Tempel URL di Aeopro: ia mengunduh /robots.txt Anda, mengurainya per grup User-agent, dan mengevaluasi URL spesifik itu terhadap 11 bot AI. Di kartu «Akses bot AI» setiap bot ditampilkan dengan lampu hijau atau merah. Untuk ChatGPT ada dua bot berbeda yang sebaiknya tidak tertukar: OAI-SearchBot dan ChatGPT-User adalah bot jawaban, yang mencari dan mengutip sumber dalam percakapan; GPTBot adalah bot pelatihan. Jika Anda ingin tampil sebagai kutipan, yang tidak boleh Anda blokir adalah dua yang pertama.

### Apa bedanya bot jawaban dengan bot pelatihan?

Bot pelatihan (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) mengumpulkan konten untuk melatih model. Memblokirnya adalah keputusan yang sah dan Aeopro menandainya sebagai informasi, tanpa mengurangi skor Anda. Bot jawaban (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) adalah bot yang masuk membaca halaman Anda pada saat seseorang menanyakan sesuatu, dan dialah yang mengutip dan menautkan Anda dalam jawaban. Memblokirnya sama dengan tidak ada bagi AI itu: karena itu temuan tersebut masuk sebagai penghambat dan membatasi skor AEO dalam laporan.

### Mengapa robots.txt saya tampak longgar tetapi alat ini mengatakan saya memblokir bot?

Hampir selalu masalah prioritas. Jika Anda punya grup khusus untuk satu bot, grup itu sepenuhnya menggantikan grup wildcard *: aturan longgar dari * tidak lagi berlaku untuknya. Dan di dalam satu grup, yang menang bukan aturan pertama maupun terakhir, melainkan aturan dengan pola terpanjang, dengan Allow memenangkan seri atas Disallow. Tambahkan wildcard * dan $ dan mudah sekali sebuah Disallow yang dimaksudkan untuk parameter pencarian akhirnya menutupi separuh situs. Aeopro menerapkan aturan itu sama seperti perayap dan menunjukkan baris persis yang menentukan putusan, sehingga Anda melihat dari mana asal pemblokiran.

### Bagaimana jika saya tidak punya robots.txt, atau mengembalikan error?

Tidak punya robots.txt tidak memblokir siapa pun dan Aeopro tidak mengurangi skor Anda karenanya: ia mencatatnya lalu lanjut. Yang memang memunculkan temuan adalah berkas yang rusak: jika /robots.txt Anda mengembalikan halaman HTML alih-alih teks biasa —sangat umum di situs satu halaman, tempat router menangani semua rute— atau jika merespons dengan error 500. Bot menafsirkannya sebagai «tanpa pembatasan», jadi pintu Anda tidak tertutup, tetapi itu gejala server yang salah konfigurasi. Aeopro juga memperingatkan Crawl-delay di atas 10 detik, karena pada kecepatan itu sebagian perayap menyerah sebelum membaca seluruh situs Anda.

### Apakah Aeopro memberi saya robots.txt yang sudah diperbaiki atau hanya diagnosis?

Aeopro memberikannya dalam bentuk yang sudah dikoreksi. Dari temuan, Anda membuka patch robots.txt, yang menyertakan satu saklar untuk setiap bot yang diblokir: Anda menentukan siapa yang dibuka dan siapa yang tetap di luar, dan berkas lengkapnya dibuat ulang secara langsung dengan menggabungkan robots.txt Anda saat ini dan blok izin baru, memanfaatkan fakta bahwa grup spesifik mengalahkan wildcard. Anda menyalinnya dan mengunggahnya. Patch ini disusun tanpa AI: deterministik dan tidak memakai token, sama seperti auditnya sendiri, sehingga Anda bisa menganalisis lagi sesudahnya untuk memastikan temuan sudah tertutup.

- [Aeopro — Audit AEO: buat AI bisa membaca dan mengutip Anda](https://aistohire.com/id/aeopro-audit-apakah-chatgpt-dan-perplexity-bisa-kutip-situs-anda-198)

## Tentang platform

**Aeopro — Audit AEO: buat AI bisa membaca dan mengutip Anda** — aplikasi dari AIstoHire. Tersedia di: https://aistohire.com/id/aeopro-audit-apakah-chatgpt-dan-perplexity-bisa-kutip-situs-anda-198/f/audit-robots-txt-bot-ai

### Bahasa lainnya

- `es`: https://aistohire.com/es/aeopro-auditoria-aeo-visibilidad-en-ia-198/f/auditoria-robots-txt-bots-ia
- `en`: https://aistohire.com/aeopro-aeo-audit-ai-visibility-198/f/robots-txt-audit-ai-bots
- `fr`: https://aistohire.com/fr/aeopro-audit-aeo-visibilite-ia-198/f/audit-robots-txt-bots-ia
- `it`: https://aistohire.com/it/aeopro-audit-aeo-visibilita-ia-198/f/audit-robots-txt-bot-ia
- `pt`: https://aistohire.com/pt/aeopro-auditoria-aeo-visibilidade-ia-198/f/auditoria-robots-txt-bots-ia
- `de`: https://aistohire.com/de/aeopro-aeo-audit-ki-sichtbarkeit-198/f/robots-txt-audit-ki-bots
- `bg`: https://aistohire.com/bg/aeopro-proverete-dali-chatgpt-i-perplexity-mogat-da-tsitirat-sayta-vi-198/f/odit-na-robots-txt-za-ai-botove
- `ja`: https://aistohire.com/ja/aeo-kansa-ai-inyo-taisaku-198/f/robots-txt-ai-bot-kansa
- `nl`: https://aistohire.com/nl/aeopro-controleer-of-chatgpt-en-perplexity-je-site-kunnen-citeren-198/f/robots-txt-audit-ai-bots
- `ko`: https://aistohire.com/ko/aeopro-aeo-audit-ai-inyong-198/f/robots-txt-ai-bot-jeomgeom
- `sv`: https://aistohire.com/sv/aeopro-granska-om-chatgpt-och-perplexity-kan-citera-din-webbplats-198/f/granskning-robots-txt-ai-botar
- `da`: https://aistohire.com/da/aeopro-tjek-om-chatgpt-og-perplexity-kan-citere-dit-websted-198/f/audit-af-robots-txt-for-ai-bots
- `ar`: https://aistohire.com/ar/aeopro-dqq-hl-ysttia-chatgpt-wperplexity-alastshhad-bmuqak-198/f/tadqiq-robots-txt-botat-althaka2-alistinaa3i
- `no`: https://aistohire.com/no/aeopro-sjekk-om-chatgpt-og-perplexity-kan-sitere-nettstedet-ditt-198/f/revisjon-robots-txt-ki-roboter
- `fi`: https://aistohire.com/fi/aeopro-auditoi-voivatko-chatgpt-ja-perplexity-lainata-sivustoasi-198/f/robots-txt-tekoalybotit-auditointi
- `zh`: https://aistohire.com/zh/aeopro-aeo-geo-audit-198/f/robots-txt-ai-bots-audit
- `pl`: https://aistohire.com/pl/aeopro-sprawdz-czy-chatgpt-i-perplexity-zacytuja-twoja-strone-198/f/audyt-robots-txt-boty-ai
- `he`: https://aistohire.com/he/aeopro-bdko-am-chatgpt-v-perplexity-ykolim-ltstt-at-hatr-shlkm-198/f/bdikat-robots-txt-botim-bina-melachutit
- `cs`: https://aistohire.com/cs/aeopro-zjisti-zda-chatgpt-a-perplexity-mohou-citovat-tvuj-web-198/f/audit-robots-txt-ai-boti
