어느 날 나는 당신과 생각을 교환하고 있었습니다. ChatGPT 갑자기 그는 제 프롬프트와는 전혀 상관없는 길고 허구적인 이야기를 늘어놓기 시작했습니다. 너무 어이가 없어서 웃음이 나더군요. 요즘은 텍스트 프롬프트에서는 이런 오류를 자주 보지 못하지만, 이미지 생성에서는 여전히 꽤 자주 보입니다.
챗봇이 작업에서 벗어나는 이러한 무작위적인 순간을 "환각"이라고 합니다. 이상한 점은 이 봇이 자신이 제공하는 잘못된 답변을 신뢰한다는 점인데, 이는 오늘날 AI 비서의 가장 큰 약점 중 하나입니다. 하지만, OpenAI의 새로운 연구 하지만 이러한 실패는 무작위로 발생하는 것이 아니라, 모델을 훈련하고 평가하는 방식의 직접적인 결과입니다.
왜 챗봇은 추측해서는 안 될 일을 계속 추측하는 걸까요?
연구에 따르면 이러한 환각 현상은 구조적인 문제로 인해 발생한다고 합니다. 문제의 근원은 AI 모델을 평가하고 자신감 있는 답변에 보상을 제공하는 표준과 리더보드에서 비롯됩니다.
즉, 챗봇이 "모르겠습니다"라고 대답하면 테스트에서 페널티를 받습니다. 즉, 모델이 정답인지 확신하지 못하더라도 항상 답변을 제공하도록 적극적으로 권장하는 것입니다.
실제로, 이로 인해 스마트 비서가 불확실성을 인지하기보다는 추측에 의존할 가능성이 높아집니다. 이는 간단하고 일상적인 질문에서는 문제가 되지 않을 수 있습니다. 하지만 의료 질문부터 금융 조언까지 더 민감한 상황에서는 이러한 과감한 실수가 순식간에 심각한 위험으로 이어질 수 있습니다.
숙련된 사용자로서, 저는 항상 사실을 확인하고 챗봇에 출처를 묻습니다. 가끔 정보가 너무 억지스러워서 출처를 묻는데, 챗봇은 "좋은 지적입니다!" 같은 말을 할 뿐, 틀렸다는 것을 인정하지 않습니다.
최신 모델도 예외는 아닙니다.
흥미롭게도, OpenAI 논문은 o3와 o4-mini 같은 추론 중심 모델이 일부 기존 모델보다 실제로 환각 증상을 더 자주 보인다는 사실을 발견했습니다. 왜 그럴까요? 일반적으로 이러한 모델들이 더 많은 주장을 내놓기 때문에 오류 발생 가능성이 더 높기 때문입니다.
따라서 모델이 추론에 있어서 "더 똑똑하다"고 해서 반드시 모델이 모르는 것에 대해 더 진실하다는 의미는 아닙니다.
이 문제에 대한 해결책은 무엇입니까?
연구자들은 해결책이 AI를 평가하고 측정하는 방식을 바꾸는 데 있다고 믿습니다. "잘 모르겠습니다"라고 답한 모델에 페널티를 주는 대신, 더욱 가치 있는 테스트는 보정된 응답, 불확실성의 징후, 또는 다른 출처를 참조할 수 있는 능력을 보상해야 합니다.
이는 미래의 챗봇이 "이게 정답입니다"라는 접근 방식보다는 "제 생각은 이렇지만 확실하지는 않습니다"라는 접근 방식에 더 의존하여 답변을 더욱 분산시킬 수 있음을 의미합니다. 다소 느리다고 느껴질 수 있지만, 해로운 오류를 크게 줄일 수 있습니다. 이는 우리의 비판적 사고가 여전히 중요하다는 것을 보여줍니다.
이것이 당신에게 얼마나 중요한가요?
ChatGPT, Gemini, Claude, Grok과 같은 인기 챗봇을 사용한다면 "환각"을 경험해 본 적이 있을 것입니다. 이 연구는 이러한 환각이 전적으로 모델 자체의 문제가 아니라, 모델을 테스트하는 방식, 즉 누가 대부분 옳은지 시험하는 게임과 같은 문제임을 시사합니다.
사용자 입장에서는 AI의 답변을 최종적인 답변이 아닌, 첫 번째 제안으로 신중하게 고려해야 한다는 것을 의미합니다. 개발자 입장에서는 미래의 AI 비서가 중대한 실수를 저지르는 대신 자신이 모르는 것을 인식할 수 있도록 성공 측정 방식을 재고해야 할 때라는 신호입니다.
댓글이 닫혔습니다.