네이버 블로그에 쓴 글은 왜 AI 답변에 나오지 않는가?

2026-09-16읽는 시간 6분

유준식 · 뷰티 AI 컨설턴트

네이버 블로그와 카페는 robots.txt에서 주요 AI 크롤러의 접근을 막고 있습니다. 글이 부족해서가 아니라 AI가 들어가 읽을 수 없는 자리에 쌓여 있기 때문에 답변에 인용되지 않습니다.

robots.txt가 무엇인가

모든 웹사이트는 주소 끝에 /robots.txt를 붙이면 열리는 파일을 하나 둘 수 있습니다. 어떤 크롤러가 어디를 읽어도 되는지 적어 둔 안내문입니다. 크롤러는 사이트에 들어오기 전에 이 파일을 먼저 읽고, 막혀 있으면 돌아갑니다.

중요한 점은 이 파일을 글쓴이가 아니라 플랫폼이 정한다는 것입니다. 블로그에 글을 아무리 많이 써도, 그 글이 있는 도메인의 robots.txt가 AI 크롤러를 막고 있으면 AI는 그 글을 읽지 못합니다.

2026년 9월 16일에 각 플랫폼의 robots.txt를 직접 받아 확인한 결과입니다.

네이버 블로그: GPTBot, OAI-SearchBot, PerplexityBot, Google-Extended, ClaudeBot, Claude-SearchBot, meta-externalagent, Applebot-Extended, CCBot에 Disallow: /
네이버 카페: User-agent: *에 Disallow: /, 위 AI 크롤러도 각각 차단
네이버(플레이스 포함): User-agent: *에 Disallow: /, 첫 화면만 허용
다음: User-agent: *에 Disallow: /, 첫 화면과 광고 파일만 허용
카카오 브런치: AI 학습 크롤러는 차단, OAI-SearchBot·Claude-SearchBot·PerplexityBot·ChatGPT-User는 공개 글에 허용
인스타그램: GPTBot, ClaudeBot, Google-Extended, PerplexityBot, Applebot-Extended 등에 Disallow: /
티스토리: 서비스 대표 주소의 robots.txt가 404로 응답해 확인하지 못함

플랫폼별 표는 GEO란 무엇인가에도 정리해 두었습니다.

네이버 블로그와 카페의 robots.txt에는 규칙 위에 문장이 하나 붙어 있습니다.

BOT ACCESS FOR THE PURPOSES OF AI TRAINING AND RETRIEVAL-AUGMENTED GENERATION (RAG) IS STRICTLY PROHIBITED.

AI 학습과 검색증강생성 목적의 봇 접근을 금지한다는 뜻입니다. 검색증강생성은 AI가 답변을 만들 때 웹에서 자료를 찾아와 근거로 쓰는 방식을 말합니다. 지금 AI 검색이 하는 일이 바로 그것입니다.

블로그 글이 AI 답변에 나오지 않는 이유는 글의 품질이 아닙니다. 사진을 더 넣거나 글자 수를 늘려도 결과는 같습니다. 문이 잠긴 건물 안에 좋은 자료를 쌓아 둔 상태이기 때문입니다.

같은 내용을 자사 도메인 페이지에 한 번 더 정리해 두면, AI는 그 페이지를 읽고 답변에 인용할 수 있습니다. 노력의 양이 아니라 쌓는 자리의 문제입니다.

robots.txt는 누가 정하나요?

사이트를 운영하는 회사가 정합니다. 블로그를 쓰는 사람이 바꿀 수 있는 파일이 아니라, 플랫폼이 서버 주소 맨 위에 올려 두는 규칙 파일입니다.

차단되어 있으면 검색에도 안 나오나요?

다릅니다. 구글·네이버 같은 일반 검색 크롤러와 AI 크롤러는 이름이 따로 있고, 플랫폼이 각각 다르게 허용합니다. 네이버 블로그 글이 구글에 나오는 것과 AI 답변에 인용되는 것은 별개입니다.

그럼 블로그를 그만둬야 하나요?

아닙니다. 블로그는 사람이 읽고 검색으로 들어오는 통로로 계속 쓰면 됩니다. 다만 AI 답변 노출까지 블로그가 해 줄 것이라고 기대하지 않는 편이 정확합니다.

차단 정책은 계속 유지되나요?

바뀔 수 있습니다. robots.txt는 언제든 수정될 수 있으므로, 이 글의 내용도 확인일 기준입니다. 주기적으로 다시 확인하는 것이 좋습니다.