9편: AI 답변이 자꾸 끊기거나 헛소리(할루시네이션)를 할 때 해결법

생성형 AI를 업무나 블로그 글쓰기에 본격적으로 활용하다 보면, 누구나 한 번쯤 뒷목을 잡게 되는 순간이 찾아옵니다. 긴 글을 정성껏 작성해 주다가 갑자기 문장 중간에서 뚝 끊겨버리거나, 세상에 존재하지 않는 가짜 책이나 가짜 논문을 아주 그럴듯하게 지어내어 답변하는 경우입니다.

전자를 '텍스트 생략(Truncation)', 후자를 프롬프트 전문 용어로 '할루시네이션(Hallucination, 환각 현상)'이라고 부릅니다. 저 역시 초창기에 AI가 추천해 준 IT 트렌드 수치를 그대로 블로그에 썼다가, 나중에 알고 보니 완벽한 거짓말이어서 글을 통째로 날리고 식은땀을 흘렸던 기억이 있습니다.

AI는 문장의 논리적 흐름과 확률을 계산해 답을 주는 도구이기 때문에, 모르는 내용도 마치 아는 것처럼 뻔뻔하게 거짓말을 할 수 있습니다. 오늘은 이렇게 AI가 폭주하거나 멈출 때, 이를 부드럽게 통제하고 정제된 결과물을 얻어내는 방어 프롬프트 기술을 공유하겠습니다.

1. AI 답변이 뚝 끊겼을 때 대처하는 기술

글자 수 제한이나 서버 트래픽 문제로 AI의 답변이 "[다음과 같은 방법이 있습니다: 1. 첫째," 까지만 나오고 멈추는 경우가 많습니다. 이때 가장 많이 하는 실수가 "이어서 써줘" 또는 "계속해"라고 짧게 치는 것입니다.

이렇게 지시하면 AI는 방금 전까지 쓰던 문맥을 잊어버리고 전혀 다른 톤으로 처음부터 다시 글을 쓰거나, 엉뚱한 동문서답을 하기 쉽습니다. 끊어진 답변을 자연스럽게 이어 붙이려면 쉼표 하나까지 기억하게 만드는 명확한 유도가 필요합니다.

[가장 효과적인 이어 쓰기 프롬프트]

"방금 답변한 마지막 문장인 '[마지막으로 출력된 문장 복사]' 뒤 이어서 중복 없이 계속 작성해줘."

이렇게 지시하면 AI는 직전의 문맥과 어조를 정확히 인식하고, 마치 멈춘 적이 없었던 것처럼 매끄럽게 다음 문장을 이어 나갑니다.

2. 헛소리(할루시네이션)를 예방하는 프롬프트 제약 조건

AI의 거짓말을 100% 막을 수는 없지만, 프롬프트에 몇 가지 안전장치를 심어두면 거짓말의 확률을 극적으로 낮출 수 있습니다. AI에게 '정직함'과 '모른다고 말할 권리'를 부여하는 것입니다.

1) 모를 때는 모른다고 말하게 하기

AI는 사용자의 질문에 반드시 답을 해야 한다는 강박을 가지도록 설계되어 있습니다. 이 강박을 깨주어야 합니다.

• 추가 문구: "네가 학습한 데이터 중에서 확실한 사실(Fact)이 아니거나 정보가 부족하다면, 억지로 지어내지 말고 솔직하게 '관련 정보를 찾을 수 없습니다'라고 답변해줘."

2) 출처 및 근거 요구하기

답변의 신뢰도를 높이기 위해 논리적 근거를 압박하는 방법입니다.

• 추가 문구: "주장이나 수치를 제시할 때는 그것이 어떤 기관의 발표인지, 혹은 어떤 이론적 배경에 기반한 것인지 대략적인 출처나 맥락을 함께 언급해줘."

3. 실전 적용: 거짓말 방지 프롬프트 전후 비교

최근 생성형 AI 시장의 기술적 변화에 대해 질문하는 상황을 통해 프롬프트의 효과를 비교해 보겠습니다.

[위험한 일반 질문 (Zero-Guard)]

"요즘 가장 유행하는 최신 AI 프롬프트 엔지니어링 신기술 명칭 3개랑 그 정의 알려줘."

이 경우 AI는 실시간 검색 기능이 켜져 있지 않다면, 자신이 가진 과거 데이터와 상상력을 조합해 세상에 없는 '하이퍼 프롬프트 프로토콜' 같은 그럴듯한 신조어를 만들어내어 사기를 칠 가능성이 매우 높습니다.

[안전장치를 강화한 질문 (Safe-Guard)]

"너는 테크 칼럼을 기고하는 사실 기반의 IT 전문 기자야. 현재 업계에서 공식적으로 인정받고 널리 쓰이는 프롬프트 엔지니어링 기법(예: CoT, Few-Shot 등) 중에서 대표적인 3가지를 알려줘.

단, 검증되지 않은 개인의 일방적인 주장이나 최근에 임의로 만들어진 신조어는 제외해야 해. 만약 확실한 업계 표준 기법이 아니라면 답변을 생략해도 좋아."

이렇게 범위를 기법의 예시(CoT, Few-Shot 등)로 좁혀주고 검증되지 않은 단어를 배제하라고 선을 그어주면, AI는 헛소리를 멈추고 우리가 바로 사용할 수 있는 검증된 기술 정보(개념)만을 정확하게 출력합니다.

4. 창작자가 가져야 할 최종 필터링 마인드

아무리 프롬프트를 완벽하게 짜도 생성형 AI의 결과물은 언제나 '초안'일 뿐입니다. 특히 인물 정보, 역사적 사실, 최신 법률 및 수치 데이터는 AI의 답변을 맹신해서는 절대 안 됩니다.

블로그에 글을 올리기 전, AI가 제시한 핵심 키워드나 수치는 구글 검색창에 직접 한 번 더 쳐보는 크로스 체크 습관이 필수적입니다. 애드센스는 잘못된 정보나 허위 사실이 반복되는 블로그를 저품질로 판단하여 승인을 거절하거나 광고를 제한할 수 있기 때문입니다. 기술은 편리하게 활용하되, 신뢰성을 담보하는 최종 게이트키퍼는 항상 '나 자신'이어야 합니다.

📌 9편 핵심 요약

• 답변이 끊겼을 때는 단순히 "이어서 써줘"라고 하기보다, 마지막 문장을 짚어주며 중복 없이 이어 쓰도록 구체적으로 명령해야 한다.

• 할루시네이션(거짓말)을 막으려면 프롬프트에 "모르는 것은 지어내지 말고 모른다고 답변하라"는 예외 조항을 반드시 포함해야 한다.

• 수치, 인물, 역사 등 팩트가 중요한 정보는 발행 전 사용자가 직접 검색을 통해 교차 검증(크로스 체크)을 거쳐야 안전하다.

🔮 다음 편 예고

다음 10편에서는 AI에게 복잡하고 고난도의 문제를 해결하게 만드는 최고급 프롬프트 기술인 "복잡한 문제를 논리적으로 풀게 만드는 '단계별 생각하기(CoT)' 기법"을 연재합니다. 초등학생 수준의 단순 계산이나 논리적 오류를 범하던 AI가 스스로 생각을 정리해 정답률을 높이는 놀라운 비결을 소개해 드리겠습니다.