Google-Extended 를 막으면 구글 검색 순위가 떨어지나요?

구글 크롤러 문서는 Google-Extended 가 구글 검색 포함 여부에 영향을 주지 않고 검색 순위 신호로도 쓰이지 않는다고 밝힙니다. 다만 Gemini 모델 학습뿐 아니라 Gemini 앱·Vertex AI 의 그라운딩에도 적용되기 때문에, 막으면 Gemini 앱 답변에서 출처로 나올 기회가 줄 수 있습니다.

GPTBot 차단과 OAI-SearchBot 차단은 무엇이 다른가요?

OpenAI 문서에 따르면 GPTBot 을 막으면 생성형 AI 기반 모델 학습에 쓰지 말라는 뜻이 되고, OAI-SearchBot 을 막으면 ChatGPT 검색 답변에서 사이트가 빠집니다. 학습만 거부하고 ChatGPT 검색 노출은 지키고 싶다면 GPTBot 만 막으면 됩니다. robots.txt 변경이 반영되기까지 약 24시간이 걸릴 수 있습니다.

__usage_ai-training 을 지금 robots.txt 에 넣어도 되나요?

기존 robots.txt 문법 그대로 User-Agent 자리에 쓰는 방식이라 넣어도 문법 문제는 없습니다. 다만 구글은 2027년 지원을 목표로 하고 있고 초안도 아직 IETF 승인 전이라, 지금 실제로 작동하는 것은 GPTBot·ClaudeBot·Google-Extended 같은 회사별 이름입니다.

robots.txt 로 AI 학습을 막으면 이미 학습된 자료도 빠지나요?

Anthropic 도움말은 ClaudeBot 을 막으면 이후의 사이트 자료가 학습 데이터에서 빠진다고 설명하고, IETF 초안도 자료를 가져온 시점의 robots.txt 선호를 따른다고 정합니다. 과거에 이미 수집된 자료가 지워진다는 공식 안내는 찾지 못했습니다.

AI 학습 차단 robots.txt 설정법 | Google-Extended·GPTBot과 새 공통 신호

AI 학습 차단은 지금까지 robots.txt 에 Google-Extended, GPTBot, ClaudeBot 처럼 회사마다 다른 이름을 하나씩 적어 막는 방식이었는데요. 구글이 2026년 10월 30일, 여러 AI 회사가 함께 읽는 공통 AI 학습 선호 신호를 2027년에 지원하겠다고 밝혔습니다. 다만 이 신호는 「학습에 쓰지 말아 달라」는 의사 표시일 뿐이라, 검색 노출과 AI 답변 인용은 여전히 따로 판단해야 합니다.

"우리 블로그 글이 AI 학습에 쓰이는 건 싫은데, 막았다가 검색에서 빠지면 어떡하지?" 회사 블로그를 맡고 계신 분이라면 한 번쯤 해 보셨을 고민인데요. AI 회사마다 크롤러 이름이 다르고 같은 회사 안에서도 학습용과 검색용이 나뉘어 있어 헷갈리기 쉽죠. 이번 글에서는 구글이 발표한 공통 신호가 무엇인지, 지금 쓸 수 있는 방법들은 서로 어떻게 다른지, 그리고 마케터가 robots.txt 를 어떤 기준으로 점검하면 되는지 함께 알아보겠습니다.

구글이 지원하겠다는 「공통 AI 학습 신호」란?

구글 검색 센터 블로그 발표에 따르면, 구글은 IETF(인터넷 표준을 만드는 국제 기구)의 AIPREF 워킹그룹에서 논의된 내용을 바탕으로 robots.txt 에 공통 「정책 토큰」을 쓰는 방식을 지원할 계획인데요. 사이트가 이 토큰으로 AI 학습을 거부하면, 참여하는 AI 회사들에 한 번에 같은 뜻을 전할 수 있게 하자는 것이 목표입니다. 구글은 이 토큰으로 거부하면서 Google-Extended 를 따로 적지 않은 사이트는 Google-Extended 를 막은 것으로 해석하겠다고 밝혔습니다.

토큰 이름은 블로그 글에는 나오지 않고, 구글 크롤러 문서의 Google-Extended 항목과 IETF 초안에 적혀 있는데요. 같은 날 올라온 IETF 개인 초안 「Machine-Readable Training Preference Signal」은 새 지시어를 만들지 않고, 기존 robots.txt 문법 그대로 User-Agent 자리에 __usage_ai-training 이라는 토큰을 쓰자고 제안합니다. 초안에 실린 예시는 이렇습니다.

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

사이트 전체는 AI 학습에 쓰지 말아 달라고 하면서, 보도자료 폴더(/press-kit/)만은 학습에 써도 좋다고 밝히는 뜻인데요. 여기서 AI 학습은 IETF 어휘 초안의 정의를 따라 「자료로 생성형 AI 모델의 학습된 매개변수를 바꾸는 일」을 말하고, 분류·순위 매기기에만 쓰는 모델은 빠집니다.

비유하자면 기존 크롤러 차단은 건물 출입문을 잠그는 일이고, 새 토큰은 문은 열어 둔 채 안쪽 벽에 「이 자료는 학습용으로 가져가지 마세요」라는 이용 안내문을 붙이는 일에 가깝습니다. 초안도 이 토큰이 크롤링 지시가 아니라고 분명히 하면서, 수집 자체를 줄이고 싶다면 크롤러 이름으로 된 그룹을 쓰라고 안내하죠.

AI 학습 차단 robots.txt 에서 크롤러 차단(출입문 잠금)과 __usage_ai-training 토큰(이용 안내문)의 차이 그림: 크롤러 이름 그룹은 수집 자체를 막고, 공통 토큰은 수집된 자료를 학습에 쓰지 말라는 선호만 밝힙니다.

AI 학습 차단, 지금은 어떤 방법이 있을까요?

공통 토큰은 2027년 이야기라 지금 당장은 회사별 이름을 써야 합니다. 같은 회사 안에서도 학습용, 검색용 봇이 나뉘어 있어서 무엇을 막느냐에 따라 결과가 다른데요. 각 회사 문서의 내용을 같은 기준으로 나란히 놓아 보면 이렇습니다.

이름	회사	하는 일	막으면 생기는 일
Google-Extended	Google	Gemini 모델 학습과 Gemini 앱·Vertex AI 의 그라운딩(답할 때 검색 색인 자료를 넣어 주는 것) 사용 여부를 정하는 토큰	구글 검색 포함 여부·순위에는 영향이 없다고 문서에 적혀 있습니다
GPTBot	OpenAI	생성형 AI 기반 모델 학습에 쓰일 수 있는 자료 수집	학습에 쓰지 말라는 뜻이 됩니다
OAI-SearchBot	OpenAI	ChatGPT 검색 기능에 사이트를 보여 주는 용도	ChatGPT 검색 답변에서 빠집니다(이동용 링크로는 보일 수 있음)
ClaudeBot	Anthropic	학습에 쓰일 수 있는 웹 자료 수집	이후 사이트 자료가 학습 데이터에서 빠집니다
Claude-SearchBot	Anthropic	사용자 검색 결과 품질 향상	검색 결과에서 노출과 정확도가 줄 수 있습니다
`__usage_ai-training`	공통(제안)	생성형 AI 학습에 대한 선호 표시	참여하는 회사가 학습에서 빼 주기를 기대하는 신호, 구글은 2027년 지원 목표

출처는 Google-Extended 문서, OpenAI 크롤러 문서, Anthropic 크롤러 도움말입니다.

여기서 꼭 짚을 점이 하나 있는데요. Google-Extended 는 별도 HTTP 사용자 에이전트가 없는 「제어용 이름」이라 기존 구글 크롤러가 수집하고, AI 개요·AI 모드를 다룬 AI 기능 문서는 검색에서 보이는 정보를 줄이려면 nosnippet, data-nosnippet, max-snippet, noindex 를 쓰라고 따로 안내합니다. 같은 문서는 Google-Extended 를 구글의 「다른 시스템」에서 AI 학습과 그라운딩을 줄이는 수단으로 따로 소개하고 있어서, AI 개요 노출을 줄이는 스위치로 보기는 어렵습니다. 반대로 nosnippet 은 일반 검색 스니펫까지 줄인다는 점도 함께 생각해야 하죠. 또 ChatGPT-User, Claude-User 처럼 사용자가 직접 요청할 때 들어오는 봇도 있는데, OpenAI 문서는 사용자가 시작한 동작이라 robots.txt 규칙이 적용되지 않을 수 있다고 적고 있습니다.

AI 학습 차단 방법별로 AI 학습, AI 검색 답변, 구글 검색 노출에 영향을 주는지 비교한 표 그림: 공식 문서에 적힌 범위만 표시했습니다. 「영향 없음」은 문서에 명시된 경우, 「언급 없음」은 문서에 내용이 없는 경우, 「해당 없음」은 다른 회사 서비스라 관계가 없는 경우입니다.

막을까, 열어 둘까? 사이트 유형별 판단 기준

그렇다면 모두 막는 것이 안전할까요? 제 생각에는 「무엇이 싫은지」를 먼저 나누는 것이 순서인데요. 학습에 쓰이는 것과 AI 답변에 인용되는 것, 검색 결과에 뜨는 것은 이제 서로 다른 스위치이기 때문입니다. 아래는 공식 문서의 범위를 바탕으로 제가 세운 기준이라, 회사 정책과 법무 판단이 있다면 그쪽이 우선입니다.

사이트 상황	학습용(GPTBot·ClaudeBot·Google-Extended)	검색·답변용(OAI-SearchBot·Claude-SearchBot)	이유
유입이 목적인 마케팅 블로그·제품 소개	열어 두는 쪽 검토	열어 둠	널리 알려지는 것이 목적이고, Google-Extended 는 Gemini 앱 그라운딩과 묶여 있습니다
유료 리포트·회원 전용 자료	막음	상황에 따라	학습 거부와 별개로, 로그인 뒤 자료는 애초에 크롤러가 못 보게 두는 것이 기본입니다
직접 만든 사진·일러스트·원고가 자산인 곳	막음	열어 두는 쪽 검토	학습은 거부하면서 검색 유입은 지킬 수 있습니다
보도자료·공지처럼 널리 퍼지길 원하는 자료	열어 둠	열어 둠	초안 예시의 `/press-kit/` 처럼 폴더만 따로 허용할 수 있습니다

Google-Extended 는 학습과 그라운딩을 함께 묶고 있다는 점도 판단에 넣어야 하는데요. 구글 발표는 Google-Extended 를 명시적으로 허용한 사이트가 Gemini 앱에서 그라운딩을 통해 응답에 나오고 클릭을 받을 수 있다고 설명합니다. 학습만 싫어서 막았는데 Gemini 앱 답변의 출처 링크 기회까지 줄어들 수 있다는 뜻이라, 이 둘을 저울질해 보셔야 합니다.

그래서 마케터는 무엇을 바꾸면 되나요?

회사 블로그를 맡은 마케팅 담당자가 「AI 학습은 거부하되 검색·AI 답변 노출은 지키자」는 방침을 받았다고 가정하고 순서대로 따라가 보겠습니다.

지금 robots.txt 열어 보기: 브라우저에서 사이트주소/robots.txt 를 열어 GPTBot, ClaudeBot, Google-Extended 같은 이름이 이미 있는지, User-agent: * 에 Disallow: / 처럼 전체를 막는 줄은 없는지 확인합니다.
방침을 스위치별로 나누기: 위 판단 기준 표처럼 학습, AI 검색 답변, 구글 검색을 따로 적고, 각각 허용·거부를 정해 팀과 합의합니다.
회사별 학습용 이름만 막기: 아래 예시처럼 학습용 이름만 그룹으로 막고, 검색용 봇은 건드리지 않습니다.
하위 도메인마다 반복하기: Anthropic 도움말은 거부하려는 하위 도메인마다 robots.txt 를 따로 둬야 한다고 안내하니, 블로그가 blog. 처럼 따로 있다면 거기에도 넣습니다.
반영 시간 기다리고 기록 남기기: OpenAI 문서는 검색용 봇 기준으로 robots.txt 변경이 반영되기까지 약 24시간이 걸릴 수 있다고 적고 있습니다. 바꾼 날짜와 내용을 기록해 두면 나중에 유입이 달라졌을 때 원인을 찾기 쉽습니다.

아래는 3단계에 해당하는 예시인데요. 제 사이트에 적용한 결과가 아니라 공식 문서에 나온 이름과 문법으로 조합한 틀입니다.

# 학습용: 거부
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# 공통 신호(구글은 2027년 지원 목표, 기존 문법 그대로)
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

# 검색용(Googlebot·OAI-SearchBot·Claude-SearchBot)은 따로 막지 않음

공통 토큰을 미리 넣어 둘지는 선택인데요. 구글의 지원 목표가 2027년이라, 지금 실제로 작동하는 것은 회사별 이름 쪽입니다.

AI 학습은 거부하고 검색 노출은 지키는 robots.txt 점검 다섯 단계 그림: 현재 파일 확인부터 하위 도메인 반복, 반영 기록까지 순서대로 묶었습니다.

※ 참고 사항: 공통 신호의 한계와 주의점

아직 제안 단계: __usage_ai-training 초안은 버전 00의 개인 초안이고, 문서 스스로 IETF 가 승인한 것이 아니라고 밝힙니다. 어휘 초안도 일부 절이 아직 워킹그룹 합의가 아니라고 밝히고 있어 세부 내용이 바뀔 수 있습니다.
강제력이 없음: AIPREF 워킹그룹 헌장은 선호를 기술적으로 강제하는 일을 범위 밖으로 둡니다. 신호를 지킬지는 각 회사의 몫이고, 구글 발표도 참여하는 다른 회사 이름을 밝히지 않았습니다.
User-agent: * 는 적용되지 않음: 초안은 별표 그룹이 정책 토큰에 적용되지 않는다고 정했습니다. 「전체 차단」 한 줄로는 학습 선호가 전달되지 않으니 토큰 이름을 직접 써야 합니다.
지원 시점 표기 차이: 블로그는 「2027년」, Google-Extended 문서는 「2027년 초(early 2027)」로 적고 있습니다.
이미 수집된 자료: 초안은 자료를 가져온 시점에 적용되던 robots.txt 의 선호를 따른다고 정하고 있고, Anthropic 도움말도 막은 뒤 「이후」 자료가 빠진다고 설명합니다. 지금 막는다고 과거 학습이 되돌려지는 것은 아닙니다.
IP 차단은 권하지 않음: Anthropic 도움말은 IP 를 막으면 봇이 robots.txt 를 읽지 못해 거부 의사가 제대로 전달되지 않을 수 있다고 설명합니다.

마치며

AI 학습 차단은 지금은 회사별 이름으로, 2027년부터는 공통 토큰까지 함께 쓰는 방향으로 가고 있고, 어느 쪽이든 「학습」과 「검색·답변 노출」은 따로 정해야 합니다. 저도 이 블로그의 robots.txt 를 스위치별로 다시 나눠 보고, 공통 신호 지원이 실제로 시작되면 달라진 점을 다시 알려 드리겠습니다. 자세한 문법은 구글 발표와 IETF 초안을 참고해 주세요.

자주 묻는 질문

Google-Extended 를 막으면 구글 검색 순위가 떨어지나요?: 구글 크롤러 문서는 Google-Extended 가 구글 검색 포함 여부에 영향을 주지 않고 검색 순위 신호로도 쓰이지 않는다고 밝힙니다. 다만 Gemini 모델 학습뿐 아니라 Gemini 앱·Vertex AI 의 그라운딩에도 적용되기 때문에, 막으면 Gemini 앱 답변에서 출처로 나올 기회가 줄 수 있습니다.
GPTBot 차단과 OAI-SearchBot 차단은 무엇이 다른가요?: OpenAI 문서에 따르면 GPTBot 을 막으면 생성형 AI 기반 모델 학습에 쓰지 말라는 뜻이 되고, OAI-SearchBot 을 막으면 ChatGPT 검색 답변에서 사이트가 빠집니다. 학습만 거부하고 ChatGPT 검색 노출은 지키고 싶다면 GPTBot 만 막으면 됩니다. robots.txt 변경이 반영되기까지 약 24시간이 걸릴 수 있습니다.
__usage_ai-training 을 지금 robots.txt 에 넣어도 되나요?: 기존 robots.txt 문법 그대로 User-Agent 자리에 쓰는 방식이라 넣어도 문법 문제는 없습니다. 다만 구글은 2027년 지원을 목표로 하고 있고 초안도 아직 IETF 승인 전이라, 지금 실제로 작동하는 것은 GPTBot·ClaudeBot·Google-Extended 같은 회사별 이름입니다.
robots.txt 로 AI 학습을 막으면 이미 학습된 자료도 빠지나요?: Anthropic 도움말은 ClaudeBot 을 막으면 이후의 사이트 자료가 학습 데이터에서 빠진다고 설명하고, IETF 초안도 자료를 가져온 시점의 robots.txt 선호를 따른다고 정합니다. 과거에 이미 수집된 자료가 지워진다는 공식 안내는 찾지 못했습니다.