URL์ ๋ถ์ฌ๋ฃ์ผ๋ฉด Aeopro๊ฐ robots.txt๋ฅผ ChatGPT, Claude, Perplexity, Bing์ 11๊ฐ ๋ด๊ณผ ๋์กฐํ๊ณ , ๋ฌธ์ ๋ซ๋ ์ ํํ ์ค์ ๋ณด์ฌ ์ค์.
์๋ชป ๋์ธ Disallow ํ๋๊ฐ AI๋ฅผ ํตํด ๋ฐฉ๋ฌธ์ ๊ฐ์ ธ๋ค์ฃผ๋ ์ ์ผํ ๊ฒ, ๋ฐ๋ก ์ธ์ฉ์ ์์๊ฐ ์ ์์ด์.
Aeopro๋ /robots.txt๋ฅผ ๋ด๋ ค๋ฐ์ User-agent ๊ทธ๋ฃน๋ณ๋ก ํด์ํ๊ณ , ์ ๊ฒ ์ค์ธ URL์ด ๋ด๋ง๋ค ํ์ฉ๋๋์ง ์ฐจ๋จ๋๋์ง ํ๊ฐํด์. ํ์ผ์์ ๋ด ์ด๋ฆ์ ยซ๋์ถฉ ๋์ผ๋กยป ์ฐพ์ง ์๊ณ ์ค์ ๊ท์น์ ์ ์ฉํด์. ํน์ ๊ทธ๋ฃน์ด ์์ผ๋์นด๋ *๋ณด๋ค ์ฐ์ ํ๊ณ , ๊ทธ๋ฃน ์์์๋ ๊ฐ์ฅ ๊ธด ํจํด์ ๊ท์น์ด ์ด๊ธฐ๋ฉฐ, ๋๋ฅ ์ด๋ฉด Allow๊ฐ Disallow๋ฅผ ์ด๊ฒจ์. ๊ฒฝ๋ก์ ์์ผ๋์นด๋ *์ $๋ ์ง์ํ๋ฏ๋ก Disallow: /*?* ๋ Allow: /blog/$ ๊ฐ์ ๊ท์น๋ ์ผํ ๋ณด์ด๋ ๋๋ก๊ฐ ์๋๋ผ ํฌ๋กค๋ฌ๊ฐ ํด์ํ๋ ๋๋ก ํด์๋ผ์.
๊ฒฐ๊ณผ๋ ํด๋์ค๊ฐ ์์ ๋ถ์ 11๊ฐ ๋ด์ ๋งคํธ๋ฆญ์ค์์. OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot์ ๊ฒ์ํ๊ณ ์ธ์ฉํ๊ณ ๋งํฌํ๋ ๋ต๋ณ์ฉ ๋ด์ด๊ณ , GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot์ ํ์ต์ฉ์ด์์. ์ด ๊ตฌ๋ถ์ด ๋ฆฌํฌํธ ์ ์ฒด์ ํต์ฌ์ด์์. ๋ต๋ณ์ฉ ๋ด์ ์ฐจ๋จํ๋ฉด ๊ทธ ๋ฐ๊ฒฌ ์ฌํญ์ ์ฐจ๋จ ์์ค์ผ๋ก ๋ค์ด๊ฐ AEO ์ ์์ ์ํ์ ์ ํด์. ์ ๊ทผํ ์ ์์ผ๋ฉด ์ธ์ฉ๋ ๋ถ๊ฐ๋ฅํ๊ธฐ ๋๋ฌธ์ด์์. ํ์ต์ฉ ๋ด์ ์ฐจ๋จํ๋ฉด ์ฐธ๊ณ ํญ๋ชฉ์ด์์. ๋ด ์ฝํ ์ธ ๊ฐ ๋ฐ์ดํฐ์ ์ ๋ค์ด๊ฐ๊ธฐ๋ฅผ ์ํ์ง ์๋ ๊ฒ์ ์ ๋นํ ๊ฒฐ์ ์ด๊ณ Aeopro๋ ์ด๋ฅผ ๋ฌธ์ ์ผ์ง ์์์.
์ฐจ๋จ๋ ๋ด๋ง๋ค ๊ทผ๊ฑฐ๊ฐ ํจ๊ป ๋์์. ๋นจ๊ฐ ์ ํธ๋ฑ, ๊ทธ ๋ด์ ์ ์ฉ๋๋ User-agent ๊ทธ๋ฃน, ๊ทธ๋ฆฌ๊ณ ์์ธ์ด ๋๋ ํ์ผ์ ์ ํํ ์ค์ด ์๋ฌธ ๊ทธ๋๋ก ํ์๋ผ์. robots.txt๋ฅผ ๋ค์ ์ฝ์ผ๋ฉฐ ๋ฒ์ธ์ ์ฐพ์ ํ์ ์์ด ๋ฐ๋ก ๋์์ ์์ด์.
Aeopro๋ Disallow๊ฐ ์๋ ์คํจ๋ ๋ค๋ค์. /robots.txt๊ฐ HTML ํ์ด์ง๋ฅผ ๋๋ ค์ฃผ๊ฑฐ๋(๋์์ธ์ด ์ ํ์ง 404๋ ๋ชจ๋ ๊ฒ์ ๊ฐ์ ธ๊ฐ๋ SPA ๋ผ์ฐํฐ์์ ํํด์) 500 ์ค๋ฅ๋ก ์๋ตํ๋ฉด ์ด๋ฅผ ๊ฐ์งํด ๋ฐ๊ฒฌ ์ฌํญ์ผ๋ก ์ฌ๋ ค์. ๋ด์ ์ด๋ฅผ ยซ์ ํ ์์ยป์ผ๋ก ์ฒ๋ฆฌํ์ง๋ง ๋ฐฉ์น์ ์ ํธ์์. 10์ด๋ฅผ ๋๋ Crawl-delay๊ฐ ์์ผ๋ฉด ์๋ ค ์ฃผ๋๋ฐ, ๊ทธ ์๋์์๋ ์ผ๋ถ ํฌ๋กค๋ฌ๊ฐ ์ฌ์ดํธ ์ ์ฒด๋ฅผ ์ฝ์ง ์๊ณ ํฌ๊ธฐํ๊ธฐ ๋๋ฌธ์ด์์. robots.txt๊ฐ ์์ ์๋ค๋ฉด ๋ฆฌํฌํธ๋ ๊ฐ์ ์์ด ๊ทธ ์ฌ์ค์ ์๋ ค ์ค์. ์๋ค๊ณ ํด์ ๋๊ตฐ๊ฐ๋ฅผ ์ฐจ๋จํ๋ ๊ฒ์ ์๋์์.
Ventaja 1
์ฐจ๋จ๊ณผ ๋ณด์ด์ง ์์์ ๊ตฌ๋ถํด์. ํ์ต ๋ด์ ์ฐจ๋จํ๋ ๊ฒ์ ์ง์ ๋ด๋ฆฌ๋ ๊ฒฐ์ ์ด๋ผ ์ฐธ๊ณ ํญ๋ชฉ์ผ๋ก ํ์๋ผ์. ๋ต๋ณ ๋ด์ ์ฐจ๋จํ๋ ๊ฒ์ ChatGPT๋ Perplexity์ ๋ต๋ณ์์ ์ฌ๋ผ์ง๋ค๋ ๋ป์ด๊ณ , ์ด๊ฒ์ AEO ์ ์์ ์ํ์ ์ ํ๋ ์ฐจ๋จ ์์ค์ ๋ฐ๊ฒฌ ์ฌํญ์ด์์.
Ventaja 2
๋จ์ ํ ์คํธ ๊ฒ์์ด ์๋๋ผ ์ค์ ์ฐ์ ์์๋ฅผ ์ ์ฉํด์. ํน์ ๊ทธ๋ฃน์ด ์์ผ๋์นด๋ *๋ณด๋ค ์ฐ์ ํ๊ณ , ๊ธด ํจํด์ด ์งง์ ํจํด๋ณด๋ค ์ฐ์ ํ๋ฉฐ, ๋๋ฅ ์ผ ๋๋ Allow๊ฐ ์ด๊ฒจ์. ๊ฒฝ๋ก์ *์ $๋ ์ง์ํด์. ํฌ๋กค๋ฌ๊ฐ ์ ์ฉํ๋ ๊ฒ๊ณผ ๊ฐ์ ๋ ผ๋ฆฌ๋ผ์ ํ์ ์ด ์ค์ ๊ฒฐ๊ณผ์ ๊ฐ์์.
Ventaja 3
๋๋ฅผ ๋ง๋ ์ ํํ ์ค์ ๋ณด์ฌ ์ค์. ๋นจ๊ฐ์์ผ๋ก ํ์๋ ๋ด๋ง๋ค ์ ์ฉ๋๋ User-agent ๊ทธ๋ฃน๊ณผ ์์ธ์ด ๋๋ ์ค์ ์๋ฌธ์ด ํจ๊ป ๋์์. ๋ถํ์ํ Disallow๋ฅผ ์ฐพ๊ฒ ๋ค๊ณ robots.txt 200์ค์ ์ง์ ์ฝ์ ํ์๊ฐ ์์ด์.
Ventaja 4
์ง๊ธ ์ค์ํ 11๊ฐ ๋ด์ ํด๋์ค์ ํจ๊ป ๋ณด์ฌ ์ค์. ๋ต๋ณ์ฉ 6๊ฐ(OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot)์ ํ์ต์ฉ 5๊ฐ(GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot)๋ฅผ ๋๋ฉ์ธ ๋ฃจํธ๊ฐ ์๋๋ผ ์ ๊ฒ ์ค์ธ ๊ตฌ์ฒด์ ์ธ URL ๊ธฐ์ค์ผ๋ก ํ๊ฐํด์.
Ventaja 5
์กฐ์ฉํ ์คํจ๋ฅผ ์ฐพ์๋ด์. ์ผ๋ฐ ํ ์คํธ ๋์ HTML์ ๋ด๋ณด๋ด๋ /robots.txt, 500์ ๋๋ ค์ฃผ๋ /robots.txt, 10์ด๋ฅผ ๋๋ ํฐ๋ฌด๋์๋ Crawl-delay ๊ฐ์ ๊ฒ๋ค์ด์์. ๊ธฐ์กด SEO ๋๊ตฌ ์ด๋์๋ ๋์ค์ง ์์ง๋ง ์๋ฒ ์ค์ ์ด ์๋ชป๋์๋ค๋ ์ ํธ์์.
Ventaja 6
AI๋ฅผ ์ฐ์ง ์๊ณ ๋ ์์ ์์ด ์ด๋ฏธ ์์ฑ๋์ด ์์ด์. ๋ฐ๊ฒฌ ์ฌํญ์์ ๋ฐ๋ก ๋ด๋ง๋ค ์ค์์น๊ฐ ์๋ robots.txt ํจ์น๋ฅผ ๋ง๋ค์ด์. ์ด์ด ์ค ๋ด์ ๊ณ ๋ฅด๋ฉด ํ์ฌ robots.txt์ ์ ๋ธ๋ก์ ๋ํ ์ต์ข ํ์ผ์ด ์ค์๊ฐ์ผ๋ก ๋ค์ ๋ง๋ค์ด์ง๊ณ , ๋ณต์ฌํ๋ฉด ๋ผ์. ๊ฒฐ์ ์ ๋ฐฉ์์ด๋ผ ํ ํฐ์ ์ฐ์ง ์์์.
Ventaja 7
๋ฐ๋ณตํด๋ ๋ฌด๋ฃ์์. robots.txt ์ ๊ฒ์ ๋ฆฌํฌํธ์ ๊ฒฐ์ ์ ๊ฒ์ฌ์ ํฌํจ๋ผ์. ํ์ผ์ ๋ฐ๊พธ๊ณ ๋ฐฐํฌํ๊ณ ๋ค์ ๋ถ์ํ๋ฉด, ๋ณํ๋์ผ๋ก ๋ฐ๊ฒฌ ์ฌํญ์ด ํด๊ฒฐ๋๋์ง ์ ์ ์์ด์. ์ํ๋ ๋งํผ ๋ฐ๋ณตํ ์ ์์ด์.

URL์ ๋ถ์ฌ๋ฃ์ผ๋ฉด 11๊ฐ ๋ด์ ๋งคํธ๋ฆญ์ค, ๋ด๋ง๋ค ์ฐจ๋จํ๋ ์ ํํ ์ค, ๋ฐ๋ก ๋ณต์ฌํ ์ ์๋ ํจ์น๋ฅผ ๋ฐ์ ์ ์์ด์.