10편: 복잡한 문제를 논리적으로 풀게 만드는 '단계별 생각하기(CoT)' 기법

지난 9편에서는 AI를 활용하다가 가장 당황스러운 순간인 답변 끊김 현상과 헛소리(할루시네이션)를 통제하는 방어적 프롬프트 기술을 알아봤습니다. 마지막 문장을 짚어주며 이어서 쓰게 만들고, 모르는 것은 모른다고 말할 권리를 주는 것만으로도 대화의 신뢰도가 몰라보게 높아진다는 것을 경험하셨을 겁니다.

방어막을 튼튼하게 구축했다면, 이제 AI의 두뇌 수준을 한 단계 더 업그레이드할 고난도 기술을 적용할 차례입니다. 오늘 다룰 기술은 프롬프트 엔지니어링의 최고봉 중 하나로 꼽히는 '단계별 생각하기(Chain of Thought, CoT)' 기법입니다. 쉽게 말해 AI에게 "정답만 툭 던지지 말고, 그 답이 나오기까지의 과정과 논리를 단계를 나누어 스스로 증명하며 풀어라"고 명령하는 것입니다. 이 기술을 적용하면 복잡한 데이터 분석, 수학적 계산, 다차원적인 기획 업무에서 AI의 정답률과 논리성이 비약적으로 상승합니다.

1. 정답을 성급하게 내는 AI의 한계와 원인

챗GPT나 클로드 같은 대형 언어 모델(LLM)은 문맥 상 다음에 올 가장 확률이 높은 단어를 실시간으로 예측하며 문장을 이어 나가는 방식으로 작동합니다. 즉, 깊이 고뇌하고 숙고한 뒤에 입을 여는 것이 아니라, 첫 단어를 뱉으면서 동시에 그다음 문장을 생각하는 구조입니다.

그러다 보니 질문이 조금만 복잡해지거나 여러 단계의 논리적 추론이 필요할 때, 첫 단추를 잘못 끼우면 뒤이어 나오는 모든 논리가 도미노처럼 무너지며 엉뚱한 결론으로 치닫게 됩니다.

예컨대 "내 블로그의 지난달 방문자는 1,000명이고 이번 달은 1,500명이야. 이 추세대로라면 3개월 뒤 방문자는 몇 명이 될까? 그리고 이를 달성하기 위한 구체적인 포스팅 개수와 주제 가이드라인을 줘"라는 질문을 던지면, AI는 수식 계산과 기획을 동시에 하려다가 계산 과정을 통째로 틀려버리거나 기획의 논리가 뒤죽박죽 꼬이는 실수를 저지릅니다. 멀티태스킹을 하다가 과부하가 걸리는 인간의 뇌와 비슷합니다.

2. CoT(Chain of Thought)를 발동시키는 마법의 주문

AI의 이런 성급한 예측 성향을 제어하고 차분하게 논리 구조를 짜게 만드는 방법은 생각보다 간단합니다. 프롬프트 끝에 단 한 줄의 문장만 추가해 주면 됩니다.

"단계별로 차근차근 생각해봐 (Let's think step by step)."

이 짧은 문장이 들어가는 순간, AI는 최종 정답을 즉시 내놓아야 한다는 압박에서 벗어나 문제를 잘게 쪼개기 시작합니다. 논리적 공백이 메워지면서 스스로 오류를 검잡아내고, 정답을 도출하는 중간 경로를 텍스트로 직접 출력하게 됩니다. 이를 통해 사용자는 AI가 어떤 논리적 흐름으로 이 결론에 도달했는지 투명하게 파악할 수 있고, 중간에 잘못된 가정이 있다면 그 부분만 콕 집어 수정 피드백을 줄 수 있습니다.

3. 실전 적용: CoT 프롬프트의 전후 변화

블로그 운영 전략을 짜기 위해 복잡한 조건의 기획을 AI에게 요청하는 상황을 통해 그 차이를 체감해 보겠습니다.

[CoT가 없는 일반 프롬프트]

"내 IT 블로그에 글을 일주일에 3개씩 올릴 거야. 초보자용 프롬프트 팁, 업무 자동화 툴 리뷰, 최신 AI 뉴스라는 3가지 카테고리가 있어. 독자들이 지루하지 않게 4주 동안의 포스팅 스케줄표를 짜줘."

이 경우 AI는 깊은 연산 없이 1주 차에 뉴스 3개, 2주 차에 툴 리뷰 3개 같은 식으로 특정 카테고리를 몰아서 배치하거나, 일주일 배분 비율을 깨뜨리는 등 대충 겉보기에만 그럴듯한 일정을 무작위로 뱉어내기 일쑤입니다.

[CoT를 적용한 구조화 프롬프트]

"너는 대형 콘텐츠 플랫폼의 수석 편성 기획자야. 내 블로그의 4주간 포스팅 스케줄을 짜야 해. 아래 가이드라인에 따라 단계별로 차근차근 생각해서 최종 결과물을 도출해줘.

[작업 단계]

• 1단계: 일주일에 3개씩 4주 동안 총 몇 개의 글이 필요한지 전체 수량을 먼저 계산할 것.

• 2단계: 3가지 카테고리(초보자 팁, 자동화 리뷰, AI 뉴스)가 한 주에 최소 1개씩은 반드시 교차 배정되도록 주차별 비율을 논리적으로 배분할 것.

• 3단계: 주말과 주중의 독자 유입 특성을 고려하여, 각 요일(월, 수, 금)에 어떤 카테고리가 들어가는 것이 유익할지 이유를 설명할 것.

• 4단계: 위 1~3단계의 추론 과정을 바탕으로 최종 4주 차 스케줄을 가독성 좋은 표 형태로 출력할 것."

이렇게 문제를 쪼개어 단계별 추론을 강제하면, AI는 "먼저 전체 글의 총개수는 12개입니다. 카테고리가 3개이므로 각각 4개씩 균등 배분하는 것이 첫 번째 단계입니다. 그다음 월요일에는 출근길에 읽기 좋은 가벼운 AI 뉴스를..."이라는 형태로 스스로 정답을 찾아가는 지도(Map)를 그립니다. 그 결과 왜 이 요일에 이 글이 배치되었는지 납득할 수 있는 정교하고 완벽한 스케줄러가 완성됩니다.

4. 창작자가 복합 업무를 처리할 때의 팁

블로그 글을 기획하거나 비즈니스 모델을 구상할 때처럼 머리를 많이 써야 하는 복잡한 과제일수록 이 CoT 기법은 빛을 발합니다. 한 번에 완벽한 본문을 뽑아내려고 욕심내지 마세요.

처음에는 AI에게 "이 주제에 대해 논리적인 목차 뼈대부터 단계별로 짜보자"고 제안하고, 뼈대가 완성되면 "그럼 1번 목차에 들어갈 구체적인 사례 3가지만 차근차근 생각해볼까?"라는 방식으로 대화를 한 단계씩 진전시키는 것이 좋습니다. AI와 핑퐁 대화를 나누며 생각을 좁혀나가는 이 과정 자체가 가장 고도화된 프롬프트 엔지니어링의 실천입니다.

📌 10편 핵심 요약

• AI는 다음 단어를 확률적으로 예측하며 문장을 쓰기 때문에, 복잡한 질문을 받으면 논리적 오류를 범하기 쉽다.

• 프롬프트에 "단계별로 차근차근 생각해봐"라는 문구를 넣거나 과정을 쪼개어 지시하면 AI 스스로 추론 경로를 만들며 정답률을 높인다.

• 문제를 잘게 나누어 질문하고 답변을 발전시키는 '단계별 대화 기법'을 활용할 때 가장 완성도 높은 기획안과 콘텐츠가 나온다.

🔮 다음 편 예고

다음 11편에서는 업무 생산성을 극대화하는 실전 테크닉인 "데이터 분석 초보를 위한 생성형 AI 활용 스프레딧 연동법"을 연재합니다. 복잡한 함수나 매크로를 전혀 모르는 초보자도 AI 프롬프트를 통해 엑셀과 구글 스프레드시트를 자유자재로 다루며 데이터를 시각화하는 비결을 소개해 드리겠습니다.