AI ๋ด‡์„ ์œ„ํ•œ robots.txt

๋‚ด robots.txt๊ฐ€ AI ๋ด‡์„ ์ฐจ๋‹จํ•˜๊ณ  ์žˆ๋Š”์ง€ ํ™•์ธํ•˜์„ธ์š”

URL์„ ๋ถ™์—ฌ๋„ฃ์œผ๋ฉด Aeopro๊ฐ€ robots.txt๋ฅผ ChatGPT, Claude, Perplexity, Bing์˜ 11๊ฐœ ๋ด‡๊ณผ ๋Œ€์กฐํ•˜๊ณ , ๋ฌธ์„ ๋‹ซ๋Š” ์ •ํ™•ํ•œ ์ค„์„ ๋ณด์—ฌ ์ค˜์š”.

์ž˜๋ชป ๋†“์ธ Disallow ํ•˜๋‚˜๊ฐ€ AI๋ฅผ ํ†ตํ•ด ๋ฐฉ๋ฌธ์„ ๊ฐ€์ ธ๋‹ค์ฃผ๋Š” ์œ ์ผํ•œ ๊ฒƒ, ๋ฐ”๋กœ ์ธ์šฉ์„ ์•—์•„๊ฐˆ ์ˆ˜ ์žˆ์–ด์š”.

Aeopro๋Š” /robots.txt๋ฅผ ๋‚ด๋ ค๋ฐ›์•„ User-agent ๊ทธ๋ฃน๋ณ„๋กœ ํ•ด์„ํ•˜๊ณ , ์ ๊ฒ€ ์ค‘์ธ URL์ด ๋ด‡๋งˆ๋‹ค ํ—ˆ์šฉ๋˜๋Š”์ง€ ์ฐจ๋‹จ๋˜๋Š”์ง€ ํ‰๊ฐ€ํ•ด์š”. ํŒŒ์ผ์—์„œ ๋ด‡ ์ด๋ฆ„์„ ยซ๋Œ€์ถฉ ๋ˆˆ์œผ๋กœยป ์ฐพ์ง€ ์•Š๊ณ  ์‹ค์ œ ๊ทœ์น™์„ ์ ์šฉํ•ด์š”. ํŠน์ • ๊ทธ๋ฃน์ด ์™€์ผ๋“œ์นด๋“œ *๋ณด๋‹ค ์šฐ์„ ํ•˜๊ณ , ๊ทธ๋ฃน ์•ˆ์—์„œ๋Š” ๊ฐ€์žฅ ๊ธด ํŒจํ„ด์˜ ๊ทœ์น™์ด ์ด๊ธฐ๋ฉฐ, ๋™๋ฅ ์ด๋ฉด Allow๊ฐ€ Disallow๋ฅผ ์ด๊ฒจ์š”. ๊ฒฝ๋กœ์˜ ์™€์ผ๋“œ์นด๋“œ *์™€ $๋„ ์ง€์›ํ•˜๋ฏ€๋กœ Disallow: /*?* ๋‚˜ Allow: /blog/$ ๊ฐ™์€ ๊ทœ์น™๋„ ์–ผํ• ๋ณด์ด๋Š” ๋Œ€๋กœ๊ฐ€ ์•„๋‹ˆ๋ผ ํฌ๋กค๋Ÿฌ๊ฐ€ ํ•ด์„ํ•˜๋Š” ๋Œ€๋กœ ํ•ด์„๋ผ์š”.

๊ฒฐ๊ณผ๋Š” ํด๋ž˜์Šค๊ฐ€ ์˜†์— ๋ถ™์€ 11๊ฐœ ๋ด‡์˜ ๋งคํŠธ๋ฆญ์Šค์˜ˆ์š”. OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot์€ ๊ฒ€์ƒ‰ํ•˜๊ณ  ์ธ์šฉํ•˜๊ณ  ๋งํฌํ•˜๋Š” ๋‹ต๋ณ€์šฉ ๋ด‡์ด๊ณ , GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot์€ ํ•™์Šต์šฉ์ด์—์š”. ์ด ๊ตฌ๋ถ„์ด ๋ฆฌํฌํŠธ ์ „์ฒด์˜ ํ•ต์‹ฌ์ด์—์š”. ๋‹ต๋ณ€์šฉ ๋ด‡์„ ์ฐจ๋‹จํ•˜๋ฉด ๊ทธ ๋ฐœ๊ฒฌ ์‚ฌํ•ญ์€ ์ฐจ๋‹จ ์ˆ˜์ค€์œผ๋กœ ๋“ค์–ด๊ฐ€ AEO ์ ์ˆ˜์˜ ์ƒํ•œ์„ ์ •ํ•ด์š”. ์ ‘๊ทผํ•  ์ˆ˜ ์—†์œผ๋ฉด ์ธ์šฉ๋„ ๋ถˆ๊ฐ€๋Šฅํ•˜๊ธฐ ๋•Œ๋ฌธ์ด์—์š”. ํ•™์Šต์šฉ ๋ด‡์„ ์ฐจ๋‹จํ•˜๋ฉด ์ฐธ๊ณ  ํ•ญ๋ชฉ์ด์—์š”. ๋‚ด ์ฝ˜ํ…์ธ ๊ฐ€ ๋ฐ์ดํ„ฐ์…‹์— ๋“ค์–ด๊ฐ€๊ธฐ๋ฅผ ์›ํ•˜์ง€ ์•Š๋Š” ๊ฒƒ์€ ์ •๋‹นํ•œ ๊ฒฐ์ •์ด๊ณ  Aeopro๋Š” ์ด๋ฅผ ๋ฌธ์ œ ์‚ผ์ง€ ์•Š์•„์š”.

์ฐจ๋‹จ๋œ ๋ด‡๋งˆ๋‹ค ๊ทผ๊ฑฐ๊ฐ€ ํ•จ๊ป˜ ๋‚˜์™€์š”. ๋นจ๊ฐ„ ์‹ ํ˜ธ๋“ฑ, ๊ทธ ๋ด‡์— ์ ์šฉ๋˜๋Š” User-agent ๊ทธ๋ฃน, ๊ทธ๋ฆฌ๊ณ  ์›์ธ์ด ๋˜๋Š” ํŒŒ์ผ์˜ ์ •ํ™•ํ•œ ์ค„์ด ์›๋ฌธ ๊ทธ๋Œ€๋กœ ํ‘œ์‹œ๋ผ์š”. robots.txt๋ฅผ ๋‹ค์‹œ ์ฝ์œผ๋ฉฐ ๋ฒ”์ธ์„ ์ฐพ์„ ํ•„์š” ์—†์ด ๋ฐ”๋กœ ๋ˆˆ์•ž์— ์žˆ์–ด์š”.

Aeopro๋Š” Disallow๊ฐ€ ์•„๋‹Œ ์‹คํŒจ๋„ ๋‹ค๋ค„์š”. /robots.txt๊ฐ€ HTML ํŽ˜์ด์ง€๋ฅผ ๋Œ๋ ค์ฃผ๊ฑฐ๋‚˜(๋””์ž์ธ์ด ์ž…ํ˜€์ง„ 404๋‚˜ ๋ชจ๋“  ๊ฒƒ์„ ๊ฐ€์ ธ๊ฐ€๋Š” SPA ๋ผ์šฐํ„ฐ์—์„œ ํ”ํ•ด์š”) 500 ์˜ค๋ฅ˜๋กœ ์‘๋‹ตํ•˜๋ฉด ์ด๋ฅผ ๊ฐ์ง€ํ•ด ๋ฐœ๊ฒฌ ์‚ฌํ•ญ์œผ๋กœ ์˜ฌ๋ ค์š”. ๋ด‡์€ ์ด๋ฅผ ยซ์ œํ•œ ์—†์Œยป์œผ๋กœ ์ฒ˜๋ฆฌํ•˜์ง€๋งŒ ๋ฐฉ์น˜์˜ ์‹ ํ˜ธ์˜ˆ์š”. 10์ดˆ๋ฅผ ๋„˜๋Š” Crawl-delay๊ฐ€ ์žˆ์œผ๋ฉด ์•Œ๋ ค ์ฃผ๋Š”๋ฐ, ๊ทธ ์†๋„์—์„œ๋Š” ์ผ๋ถ€ ํฌ๋กค๋Ÿฌ๊ฐ€ ์‚ฌ์ดํŠธ ์ „์ฒด๋ฅผ ์ฝ์ง€ ์•Š๊ณ  ํฌ๊ธฐํ•˜๊ธฐ ๋•Œ๋ฌธ์ด์—์š”. robots.txt๊ฐ€ ์•„์˜ˆ ์—†๋‹ค๋ฉด ๋ฆฌํฌํŠธ๋Š” ๊ฐ์  ์—†์ด ๊ทธ ์‚ฌ์‹ค์„ ์•Œ๋ ค ์ค˜์š”. ์—†๋‹ค๊ณ  ํ•ด์„œ ๋ˆ„๊ตฐ๊ฐ€๋ฅผ ์ฐจ๋‹จํ•˜๋Š” ๊ฒƒ์€ ์•„๋‹ˆ์—์š”.

AI ๋ด‡์„ ์œ„ํ•œ robots.txt์˜ ์žฅ์ 

Ventaja 1

์ฐจ๋‹จ๊ณผ ๋ณด์ด์ง€ ์•Š์Œ์„ ๊ตฌ๋ถ„ํ•ด์š”. ํ•™์Šต ๋ด‡์„ ์ฐจ๋‹จํ•˜๋Š” ๊ฒƒ์€ ์ง์ ‘ ๋‚ด๋ฆฌ๋Š” ๊ฒฐ์ •์ด๋ผ ์ฐธ๊ณ  ํ•ญ๋ชฉ์œผ๋กœ ํ‘œ์‹œ๋ผ์š”. ๋‹ต๋ณ€ ๋ด‡์„ ์ฐจ๋‹จํ•˜๋Š” ๊ฒƒ์€ ChatGPT๋‚˜ Perplexity์˜ ๋‹ต๋ณ€์—์„œ ์‚ฌ๋ผ์ง„๋‹ค๋Š” ๋œป์ด๊ณ , ์ด๊ฒƒ์€ AEO ์ ์ˆ˜์˜ ์ƒํ•œ์„ ์ •ํ•˜๋Š” ์ฐจ๋‹จ ์ˆ˜์ค€์˜ ๋ฐœ๊ฒฌ ์‚ฌํ•ญ์ด์—์š”.

Ventaja 2

๋‹จ์ˆœ ํ…์ŠคํŠธ ๊ฒ€์ƒ‰์ด ์•„๋‹ˆ๋ผ ์‹ค์ œ ์šฐ์„ ์ˆœ์œ„๋ฅผ ์ ์šฉํ•ด์š”. ํŠน์ • ๊ทธ๋ฃน์ด ์™€์ผ๋“œ์นด๋“œ *๋ณด๋‹ค ์šฐ์„ ํ•˜๊ณ , ๊ธด ํŒจํ„ด์ด ์งง์€ ํŒจํ„ด๋ณด๋‹ค ์šฐ์„ ํ•˜๋ฉฐ, ๋™๋ฅ ์ผ ๋•Œ๋Š” Allow๊ฐ€ ์ด๊ฒจ์š”. ๊ฒฝ๋กœ์˜ *์™€ $๋„ ์ง€์›ํ•ด์š”. ํฌ๋กค๋Ÿฌ๊ฐ€ ์ ์šฉํ•˜๋Š” ๊ฒƒ๊ณผ ๊ฐ™์€ ๋…ผ๋ฆฌ๋ผ์„œ ํŒ์ •์ด ์‹ค์ œ ๊ฒฐ๊ณผ์™€ ๊ฐ™์•„์š”.

Ventaja 3

๋‚˜๋ฅผ ๋ง‰๋Š” ์ •ํ™•ํ•œ ์ค„์„ ๋ณด์—ฌ ์ค˜์š”. ๋นจ๊ฐ„์ƒ‰์œผ๋กœ ํ‘œ์‹œ๋œ ๋ด‡๋งˆ๋‹ค ์ ์šฉ๋˜๋Š” User-agent ๊ทธ๋ฃน๊ณผ ์›์ธ์ด ๋˜๋Š” ์ค„์˜ ์›๋ฌธ์ด ํ•จ๊ป˜ ๋‚˜์™€์š”. ๋ถˆํ•„์š”ํ•œ Disallow๋ฅผ ์ฐพ๊ฒ ๋‹ค๊ณ  robots.txt 200์ค„์„ ์ง์ ‘ ์ฝ์„ ํ•„์š”๊ฐ€ ์—†์–ด์š”.

Ventaja 4

์ง€๊ธˆ ์ค‘์š”ํ•œ 11๊ฐœ ๋ด‡์„ ํด๋ž˜์Šค์™€ ํ•จ๊ป˜ ๋ณด์—ฌ ์ค˜์š”. ๋‹ต๋ณ€์šฉ 6๊ฐœ(OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot)์™€ ํ•™์Šต์šฉ 5๊ฐœ(GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot)๋ฅผ ๋„๋ฉ”์ธ ๋ฃจํŠธ๊ฐ€ ์•„๋‹ˆ๋ผ ์ ๊ฒ€ ์ค‘์ธ ๊ตฌ์ฒด์ ์ธ URL ๊ธฐ์ค€์œผ๋กœ ํ‰๊ฐ€ํ•ด์š”.

Ventaja 5

์กฐ์šฉํ•œ ์‹คํŒจ๋ฅผ ์ฐพ์•„๋‚ด์š”. ์ผ๋ฐ˜ ํ…์ŠคํŠธ ๋Œ€์‹  HTML์„ ๋‚ด๋ณด๋‚ด๋Š” /robots.txt, 500์„ ๋Œ๋ ค์ฃผ๋Š” /robots.txt, 10์ดˆ๋ฅผ ๋„˜๋Š” ํ„ฐ๋ฌด๋‹ˆ์—†๋Š” Crawl-delay ๊ฐ™์€ ๊ฒƒ๋“ค์ด์—์š”. ๊ธฐ์กด SEO ๋„๊ตฌ ์–ด๋””์—๋„ ๋‚˜์˜ค์ง€ ์•Š์ง€๋งŒ ์„œ๋ฒ„ ์„ค์ •์ด ์ž˜๋ชป๋˜์—ˆ๋‹ค๋Š” ์‹ ํ˜ธ์˜ˆ์š”.

Ventaja 6

AI๋ฅผ ์“ฐ์ง€ ์•Š๊ณ ๋„ ์ˆ˜์ •์•ˆ์ด ์ด๋ฏธ ์ž‘์„ฑ๋˜์–ด ์žˆ์–ด์š”. ๋ฐœ๊ฒฌ ์‚ฌํ•ญ์—์„œ ๋ฐ”๋กœ ๋ด‡๋งˆ๋‹ค ์Šค์œ„์น˜๊ฐ€ ์žˆ๋Š” robots.txt ํŒจ์น˜๋ฅผ ๋งŒ๋“ค์–ด์š”. ์—ด์–ด ์ค„ ๋ด‡์„ ๊ณ ๋ฅด๋ฉด ํ˜„์žฌ robots.txt์— ์ƒˆ ๋ธ”๋ก์„ ๋”ํ•œ ์ตœ์ข… ํŒŒ์ผ์ด ์‹ค์‹œ๊ฐ„์œผ๋กœ ๋‹ค์‹œ ๋งŒ๋“ค์–ด์ง€๊ณ , ๋ณต์‚ฌํ•˜๋ฉด ๋ผ์š”. ๊ฒฐ์ •์  ๋ฐฉ์‹์ด๋ผ ํ† ํฐ์„ ์“ฐ์ง€ ์•Š์•„์š”.

Ventaja 7

๋ฐ˜๋ณตํ•ด๋„ ๋ฌด๋ฃŒ์˜ˆ์š”. robots.txt ์ ๊ฒ€์€ ๋ฆฌํฌํŠธ์˜ ๊ฒฐ์ •์  ๊ฒ€์‚ฌ์— ํฌํ•จ๋ผ์š”. ํŒŒ์ผ์„ ๋ฐ”๊พธ๊ณ  ๋ฐฐํฌํ•˜๊ณ  ๋‹ค์‹œ ๋ถ„์„ํ•˜๋ฉด, ๋ณ€ํ™”๋Ÿ‰์œผ๋กœ ๋ฐœ๊ฒฌ ์‚ฌํ•ญ์ด ํ•ด๊ฒฐ๋๋Š”์ง€ ์•Œ ์ˆ˜ ์žˆ์–ด์š”. ์›ํ•˜๋Š” ๋งŒํผ ๋ฐ˜๋ณตํ•  ์ˆ˜ ์žˆ์–ด์š”.

Stephen Ramos

์–ด๋–ค AI ๋ด‡์—๊ฒŒ ๋ฌธ์„ ๋‹ซ๊ณ  ์žˆ๋Š”์ง€ 1๋ถ„ ๋งŒ์— ํ™•์ธํ•˜์„ธ์š”

URL์„ ๋ถ™์—ฌ๋„ฃ์œผ๋ฉด 11๊ฐœ ๋ด‡์˜ ๋งคํŠธ๋ฆญ์Šค, ๋ด‡๋งˆ๋‹ค ์ฐจ๋‹จํ•˜๋Š” ์ •ํ™•ํ•œ ์ค„, ๋ฐ”๋กœ ๋ณต์‚ฌํ•  ์ˆ˜ ์žˆ๋Š” ํŒจ์น˜๋ฅผ ๋ฐ›์„ ์ˆ˜ ์žˆ์–ด์š”.

AI ๋ด‡์šฉ robots.txt ํ™•์ธ: GPTBot์ด๋‚˜ ChatGPT๋ฅผ ์ฐจ๋‹จํ•˜๊ณ  ์žˆ๋‚˜์š”?