추론 모델은 답을 바로 쓰지 않고, 문제를 쪼개고 계획을 세우는 생각 과정을 먼저 거친 뒤 답하는 AI입니다. Claude와 Gemini는 이 생각의 양을 노력 수준(effort)이나 사고 수준(thinking level)으로 조절하게 해 두었는데요, 생각을 많이 시킬수록 복잡한 문제에는 강해지지만 답이 늦어지고 토큰도 더 씁니다. 이번 글에서는 추론 모델이 무엇인지, 두 서비스에서 생각 모드를 어떻게 조절하는지, 마케터 업무별로 언제 높이고 언제 낮추면 좋을지 함께 알아보겠습니다.
"모델 이름 옆에 있는 Thinking, Effort는 도대체 언제 바꿔야 하는 걸까?"
AI 채팅 화면의 모델 메뉴를 열어 보면 모델 이름 말고도 낮음·중간·높음 같은 단계가 붙어 있는데요. 기본값 그대로 쓰자니 중요한 분석에서 손해를 보는 것 같고, 매번 가장 높게 두자니 답이 너무 늦게 나와서 고민해 보신 적 있으신가요? 저도 디지털 마케팅 일을 하다 보니 문장 하나 다듬는 일과 캠페인 성과를 따져 보는 일에 같은 설정을 쓰는 게 맞는지 궁금해져서, 각 회사의 공식 문서를 하나씩 읽어 봤습니다.
추론 모델이란? AI가 답하기 전에 생각하는 방식
추론 모델(reasoning model)은 답변을 쓰기 전에 내부에서 먼저 생각하는 단계를 거치도록 만든 AI 모델을 두루 가리키는 말입니다. 회사마다 부르는 이름은 조금씩 다른데요, Anthropic은 이 기능을 Thinking이라고 부르고(예전 방식은 extended thinking이라고 불렸습니다), Google도 Gemini 문서에서 thinking이라고 부릅니다. Google은 이 내부 추론 과정이 추론과 여러 단계로 된 계획 능력을 크게 높여서 코딩, 수학, 데이터 분석 같은 작업에 도움이 된다고 설명합니다.
Claude 도움말의 설명도 비슷합니다. Thinking을 쓰면 Claude가 문제를 쪼개고, 해결 방법을 계획하고, 여러 접근을 살펴본 뒤에 답한다고 하죠.
비유하자면 시험 문제를 풀 때 연습장을 쓰는 것과 비슷합니다. 쉬운 문제는 암산으로 바로 답을 적지만, 어려운 문제는 연습장에 풀이를 써 가며 검산한 뒤에 답을 옮겨 적죠. 추론 모델의 생각 과정이 바로 이 연습장이고, 노력 수준이나 사고 수준은 연습장을 얼마나 넉넉하게 쓰게 할지 정하는 손잡이라고 보시면 됩니다.
질문과 답 사이에 보이지 않는 연습장이 하나 더 있고, 그 연습장에 쓴 양도 출력 토큰으로 계산됩니다.
요즘 모델은 이 연습장을 쓸지 말지를 스스로 판단하기도 합니다. Claude의 생각 조절 문서에 따르면 Claude는 요청마다 복잡도를 따져 생각할지와 얼마나 생각할지를 정하고, 간단한 사실 질문에는 생각 없이 바로 답하기도 합니다. Gemini도 기본적으로 요청의 복잡도에 맞춰 추론의 양을 조절한다고 안내하고 있는데요, 그렇다면 사용자가 손잡이를 따로 돌려야 하는 이유는 무엇일까요?
Claude와 Gemini에서는 생각 모드를 어떻게 조절할까요?
모델이 알아서 판단하더라도, 사용자가 "이 일은 더 깊게" 또는 "이 일은 빠르게"라고 방향을 줄 수 있게 해 둔 것이 노력 수준과 사고 수준입니다. 두 서비스의 채팅 앱 기준으로 나란히 놓아 보면 이렇습니다.
| 항목 | Claude (claude.ai 앱) | Gemini (Gemini 앱) |
|---|---|---|
| 조절하는 곳 | 보내기 버튼 옆 모델 메뉴 | 입력창 아래 모델 선택 메뉴 |
| 조절 단위 | 노력 수준 Low·Medium·High·Extra high·Max, Thinking 켜기·끄기 | 사고 수준 Low·Medium·High (모델을 직접 고를 때) |
| 생각을 끌 수 있나 | Opus 5.5·Sonnet 5.5·Haiku 5.5·Fable 5.2 등은 끌 수 없고, 노력 수준을 낮춰 줄인다 | 앱 도움말에는 끄는 방법이 따로 없다 |
| 기본값 | 도움말은 일상 업무에는 기본값이면 충분하다고 안내 | 모델을 직접 고르고 사고 수준을 안 고르면 Low |
| 생각 내용 보기 | 답변 위 「Thinking」 영역을 펼치면 생각 과정 요약 | 앱 도움말에 언급 없음 |
※ 메뉴 이름은 영문 도움말 표기를 따랐습니다. Gemini 한국어 도움말은 이 설정을 「사고 수준」이라고 부르는데, 단계 이름은 페이지 안에서도 표기가 섞여 있어 영문으로 적었습니다.
Claude의 모델·노력 수준 설정 도움말에 따르면 노력 수준과 Thinking은 서로 다른 설정이라 아무 조합으로나 쓸 수 있는데요. Extra high는 Opus 4.7 이후 모델에서 고를 수 있고, Enterprise 요금제에서는 관리자가 일부 모델이나 단계를 꺼 두었을 수 있다고 합니다. Claude의 주력 모델들은 생각을 끌 수 없으니, 사실상 노력 수준이 생각의 양을 정하는 손잡이인 셈입니다.
Gemini 모델 도움말을 보면 Gemini는 모델을 직접 고를 때만 사고 수준을 정할 수 있고, 한 번 고르면 그 대화 동안 같은 모델과 사고 수준을 계속 씁니다. 자동(Auto)으로 두면 Gemini가 Hydrogen 모델이나 빠르고 가벼운 모델 가운데 하나를 골라 쓰고, 고를 수 있는 모델과 사고 수준은 요금제에 따라 다르다고 적혀 있습니다. 도움말은 Google AI 요금제가 있으면 모델을 직접 바꿀 수 있다고 설명하고 있어서, 요금제가 없다면 사고 수준을 직접 고르는 메뉴가 보이지 않을 수 있습니다.
Claude는 노력 수준으로, Gemini는 모델을 직접 고른 뒤 사고 수준으로 생각의 양을 정합니다.
생각을 많이 시키면 비용·속도·사용량은 어떻게 달라질까요?
연습장을 넉넉하게 쓰면 그만큼 시간이 들고 종이도 많이 쓰죠. 추론 모델도 같아서, 생각을 늘리면 답이 늦어지고 토큰을 더 씁니다.
- 사용량 한도: Claude 도움말은 노력 수준을 높이면 답이 더 꼼꼼해지는 대신 토큰을 더 써서 사용량 한도에 더 빨리 닿는다고 안내합니다. 반대로 Low와 Medium은 사용량을 더 오래 쓰게 해 준다고 하죠.
- 응답 시간: 노력 수준이 높을수록 답이 늦어지고, Max로 가장 어려운 작업을 맡기면 응답 시간이 더 길어진다고 적혀 있습니다.
- API 요금: 개발자용 API에서는 생각에 쓴 토큰이 출력 토큰으로 요금이 매겨집니다. Claude 문서는 화면에 보이는 것이 생각의 요약이어도 요금은 실제로 생각한 전체 토큰으로 매겨진다고 경고하고, Gemini 문서도 요약만 돌려받더라도 모델이 만든 생각 토큰 전체로 요금이 매겨진다고 설명합니다.
마지막 항목이 특히 헷갈리기 쉬운데요. 펼쳐 본 생각 과정이 몇 줄 안 되더라도, 그건 요약일 뿐이고 실제로는 훨씬 많은 토큰을 썼을 수 있습니다. 토큰과 요금 구조가 낯설다면 토큰과 컨텍스트 윈도우 글을 먼저 보시면 이해가 쉽습니다.
그렇다고 많이 생각할수록 끝없이 좋아지는 것도 아닙니다. Claude의 extended thinking 문서는 생각 예산을 늘리면 더 꼼꼼하게 추론하지만 작업에 따라 효과가 점점 줄고 응답은 늦어진다고 설명하고요, Gemini 문서도 가장 높은 단계는 지연과 토큰 사용을 늘리고 단순한 질문에는 지나치게 생각할 수 있다고 적고 있습니다.
마케터 업무별로 언제 높이고 언제 낮출까요?
공식 문서들이 드는 예시는 방향이 같습니다. Gemini 문서는 사실 찾기나 분류 같은 단순한 일에는 생각을 최소로, 개념 비교나 창의적인 추론에는 기본값을, 코딩·수학·여러 단계 계획처럼 복잡한 일에는 최대로 쓰라고 하고요. Claude 도움말은 일상 업무는 기본값이면 충분하고, 수학 증명이나 종합적인 프로젝트 계획, 꼼꼼한 문서 분석 같은 복잡한 일에 노력 수준을 높이라고 안내합니다.
이 기준을 마케터가 자주 하는 일에 옮겨 보면 아래처럼 나눌 수 있는데요, 공식 문서의 예시를 바탕으로 제가 세워 본 판단 기준입니다.
| 업무 | 추천 단계 | 이유 |
|---|---|---|
| 오탈자 수정, 문장 다듬기, 번역 초안 | 낮게 | 답이 정해져 있고 빨리 여러 번 고치는 편이 낫다 |
| 문의·리뷰를 정해 둔 유형으로 분류 | 낮게 | 공식 문서가 말하는 「분류」에 해당 |
| 광고 문구 여러 버전, 기획 아이디어 | 기본값 | 창의적인 추론이라 기본값에서 시작 |
| 경쟁사 두세 곳의 소구점 비교 | 기본값 | 개념 비교에 해당 |
| 성과가 떨어진 원인 찾기, 예산 재배분 계획 | 높게 | 여러 지표를 엮어 단계적으로 따져야 한다 |
| 긴 계약서·약관·정책 문서 검토 | 높게 | 꼼꼼한 문서 분석에 해당 |
| SQL·스크립트·수식 작성 | 높게 | 공식 문서가 꼽는 코딩·수학 영역 |
판단이 애매할 때 저는 틀렸을 때 다시 하는 비용을 기준으로 봅니다. 문장 하나가 어색하면 다시 시키면 되지만, 예산 재배분 근거가 틀리면 그 뒤의 결정이 다 흔들리기 때문입니다. 반대로 같은 일을 하루에도 수십 번 반복한다면, 낮은 단계로 빠르게 돌리고 사람이 결과를 확인하는 편이 사용량에도 유리합니다.
한 가지 기억해 두실 점은 "깊게 생각하지 말고 바로 답해"라고 써도 생각이 줄지 않을 수 있다는 것입니다. Claude 문서는 Sonnet 5.5, Haiku 5.5, Fable 5.2에서 프롬프트로 생각을 줄이라고 해도 잘 줄지 않았다며, 생각을 줄이려면 노력 수준을 낮추라고 안내합니다. 말로 부탁하기보다 손잡이를 돌리는 쪽이 확실한 셈이죠.
실무 시나리오: 월간 광고 보고서를 만든다면
월말에 매체별 광고 성과를 모아 보고서를 쓰는 담당자라고 가정해 보겠습니다. 하나의 대화 안에서도 단계마다 필요한 생각의 양이 다른데요, 아래는 가상의 순서이고 결과를 직접 확인한 예시는 아닙니다.
- 숫자 정리 (낮게): 매체별 CSV에서 비용·클릭·전환을 한 표로 합치고 열 이름을 맞춥니다. 형식을 맞추는 일이라 깊은 추론이 필요 없습니다.
- 원인 분석 (높게): 전월보다 전환이 줄어든 매체를 찾고, 비용·클릭률·전환율 가운데 무엇이 원인인지 단계적으로 따지게 합니다.
- 다음 달 계획 (높게): 분석 결과를 바탕으로 예산 재배분 안을 두세 가지 만들고, 각각의 가정과 위험을 적게 합니다.
- 보고서 문장 (기본값 또는 낮게): 정해진 결론을 상사가 읽기 좋은 문장으로 옮깁니다.
숫자 정리와 문장 다듬기는 낮게, 원인 분석과 계획은 높게 두는 식으로 단계마다 손잡이를 바꿉니다.
2단계에서 쓸 수 있는 프롬프트 틀은 이렇습니다. 생각을 깊게 시킬 때는 무엇을 따져야 하는지 순서를 같이 주면, 연습장을 엉뚱한 데 쓰지 않게 할 수 있습니다.
## 역할
너는 디지털 광고 성과를 분석하는 마케터다.
## 지시
아래 자료에서 전월보다 전환이 줄어든 매체를 찾아라.
매체마다 비용, 클릭률, 전환율 중 무엇이 가장 크게 바뀌었는지 따져 보고,
숫자로 확인할 수 있는 원인과 추측인 원인을 나눠서 적어라.
## 형식
- 매체별 표 (매체, 바뀐 지표, 원인, 확인 여부)
- 표 아래에 다음 달에 확인할 것 세 가지
## 자료
<자료>
(매체별 월간 성과 표를 붙여 넣는다)
</자료>Gemini 도움말은 한 번 고른 모델과 사고 수준을 그 대화 동안 계속 쓴다고 설명합니다. Gemini에서 단계마다 수준을 바꾸고 싶다면 단계별로 대화를 나눠 시작하는 편이 깔끔할 수 있습니다. 프롬프트를 짜는 기본기는 프롬프트 기초 글에서 더 자세히 다뤘습니다.
※ 참고 사항
- 요금제마다 고를 수 있는 것이 다릅니다. Gemini는 요금제에 따라 고를 수 있는 모델과 사고 수준이 다르고, Claude Enterprise는 관리자가 일부 모델이나 노력 수준을 꺼 두었을 수 있습니다.
- 생각 과정이 중간에 끊길 수 있습니다. Claude 도움말은 안전 시스템이 내용을 걸러 내면 생각 과정이 일찍 멈추고 나머지를 볼 수 없다는 안내가 나온다고 설명합니다.
- 펼쳐 보는 생각은 요약입니다. 생각 과정이 그럴듯해 보여도 답의 근거는 따로 확인해야 하고, 사실 확인이 중요한 글이라면 할루시네이션 줄이는 방법도 함께 챙겨 주세요.
- 메뉴 이름은 달라질 수 있습니다. Gemini 한국어 도움말 안에서도 단계 이름 표기가 섞여 있을 만큼 바뀌기 쉬운 부분이라, 이 글의 메뉴 이름이 보이지 않으면 각 도움말에서 최신 표기를 확인해 주세요.
마치며
추론 모델의 생각 모드는 답하기 전에 쓰는 연습장이고, 노력 수준과 사고 수준은 그 연습장을 얼마나 쓰게 할지 정하는 손잡이입니다. 단순하고 반복적인 일은 낮게 두어 빠르게 돌리고, 틀리면 다시 하기 어려운 분석과 계획에서만 높이는 것이 속도와 사용량을 함께 지키는 방법이었습니다. 업무에 AI를 쓰실 때 모델을 고르는 것만큼 이 손잡이도 한 번씩 돌려 보시길 권하고, 위의 판단 기준표를 참고해 주세요.
자주 묻는 질문
- 추론 모델과 일반 모델은 무엇이 다른가요?
- 추론 모델은 답을 쓰기 전에 문제를 쪼개고 계획을 세우는 생각 과정을 거칩니다. Google은 이 과정이 추론과 여러 단계 계획 능력을 높인다고 설명하고, Claude는 요청마다 생각할지와 얼마나 생각할지를 스스로 정합니다. 그래서 간단한 질문에는 생각 없이 바로 답하기도 합니다.
- Claude 노력 수준은 항상 Max로 두는 게 좋은가요?
- 아닙니다. Claude 도움말은 일상 업무에는 기본값이면 충분하고, 노력 수준을 높이면 답이 늦어지고 토큰을 더 써서 사용량 한도에 더 빨리 닿는다고 안내합니다. 복잡한 분석이나 계획처럼 꼼꼼함이 필요한 일에만 높이시는 편이 좋습니다.
- Gemini 사고 수준은 어디서 바꾸나요?
- Gemini 도움말에 따르면 입력창 아래에서 모델을 직접 고를 때 사고 수준(Low·Medium·High)을 함께 고를 수 있습니다. 사고 수준을 따로 고르지 않으면 Low로 정해지고, 자동(Auto)으로 두면 Gemini가 모델을 알아서 고릅니다. 모델을 직접 바꾸는 기능과 고를 수 있는 단계는 Google AI 요금제에 따라 다릅니다.
- 생각에 쓴 토큰도 요금이 나오나요?
- 개발자용 API에서는 그렇습니다. Claude와 Gemini 문서 모두 생각에 쓴 토큰을 출력 토큰으로 계산하고, 화면에 생각의 요약만 보여도 요금은 실제로 생각한 전체 토큰 기준으로 매겨진다고 설명합니다.
관련 글 더 보기
- 토큰과 컨텍스트 윈도우란? - 생각 토큰이 요금에 어떻게 잡히는지 이해하는 기초
- Claude Fable 5.2 출시, Opus 5.5와 차이 - 모델별 기본 노력 수준과 언제 상위 모델을 쓸지
- 프롬프트 잘 쓰는 법 기초 - 깊게 생각시킬 때 함께 쓰면 좋은 프롬프트 작성법