OpenAI는 지난주 o3 및 o4-mini 모델에 대한 다양한 내부 테스트와 결과를 자세히 설명하는 연구 논문을 발표했습니다. 이 최신 모델과 2023년에 출시된 초기 버전의 ChatGPT의 주요 차이점은 고급 추론 및 멀티모달 기능입니다. o3 및 o4-mini는 이미지 생성, 웹 검색, 작업 자동화, 과거 대화 기억, 복잡한 문제 해결 등의 기능을 제공합니다. 그러나 이러한 개선은 예상치 못한 부작용을 초래하여 AI 사용의 안전성을 보장하기 위한 포괄적인 평가가 필요한 것으로 보입니다.
테스트 결과는 AI 모델의 환각율에 대해 무엇을 말해줍니까?
OpenAI는 PersonQA라는 특정 테스트를 통해 오답률을 측정합니다. 이 테스트는 학습할 사람들에 대한 일련의 사실 데이터와 답변해야 할 질문들로 구성됩니다. 모델의 정확도는 답변 시도 횟수를 기준으로 측정됩니다. 작년에 o1 모델은 47%의 정확도와 16%의 오답률을 기록했습니다.
이 두 값의 합이 100%가 되지 않으므로 나머지 응답은 정확하지도 환각적이지도 않다고 가정할 수 있습니다. 모델은 때때로 정보를 모르거나 찾을 수 없다고 말할 수도 있고, 아무런 주장도 하지 않고 관련 정보를 제공할 수도 있으며, 완전한 환각으로 분류할 수 없는 사소한 오류를 범할 수도 있습니다.
o3와 o4-mini를 이 평가 기준으로 테스트했을 때, o1보다 훨씬 높은 환각률을 보였습니다. OpenAI에 따르면, o4-mini 모델은 크기가 더 작고 전역 지식이 적어 환각률이 더 높기 때문에 이러한 결과는 어느 정도 예상된 결과였습니다. 그러나 o4-mini가 사람들이 웹을 검색하고 다양한 정보와 조언을 얻는 데 사용하는 상용 제품이라는 점을 고려하면, 48%의 환각률은 상당히 높은 것으로 보입니다.
실제 크기의 o3 모델은 테스트 중 응답의 33%를 환각으로 처리하여 o4-mini보다 우수한 성능을 보였지만, o1보다 환각 발생률은 두 배 높았습니다. 하지만 정확도도 높았는데, OpenAI는 이를 일반적으로 과도하게 전달되는 주장의 경향 때문이라고 분석했습니다. 따라서 이 두 가지 최신 모델 중 하나를 사용하면서 환각을 많이 느낀다면, 단순히 당신의 착각이 아닙니다. (이쯤에서 "걱정 마세요, 환각을 보는 건 당신이 아니에요."와 같은 농담을 해야 할 것 같습니다.)
AI "환각"이란 무엇이고, 왜 발생하는가?
인공지능 모델이 "환각을 일으킨다"는 말을 들어보셨을 겁니다. 하지만 그 정확한 의미는 명확하지 않은 경우가 많습니다. 오픈아이디어든 다른 인공지능 제품이든, 어떤 제품을 사용하든 거의 항상 답변이 부정확할 수 있으며 사용자가 직접 사실을 확인해야 한다는 면책 조항을 보게 될 것입니다. 인공지능의 환각 현상은 인공지능 개발 분야에서 중요한 과제 입니다.
부정확한 정보는 어디에서나 나올 수 있습니다. 위키피디아에 잘못된 정보가 게시되거나, 레딧에 사용자가 말도 안 되는 글을 올리는 경우도 있는데, 이러한 잘못된 정보는 AI 응답에 영향을 미칠 수 있습니다. 예를 들어, 구글의 AI 요약은 "무독성 접착제"가 포함된 피자 레시피를 제안하면서 큰 주목을 받았습니다. 결국 구글이 레딧 스레드의 농담에서 이 "정보"를 얻었다는 사실이 밝혀졌습니다.
하지만 이것들은 "환각"이 아니라, 부실한 데이터와 오해에서 비롯된 추적 가능한 오류입니다. 반면 환각은 AI 모델이 명확한 근거나 이유 없이 주장을 펼칠 때 발생합니다. 이는 AI 모델이 특정 질문에 답하는 데 필요한 정보를 찾지 못할 때 자주 발생하며, OpenAI는 이를 "불확실한 순간에 사실을 만들어내는 경향"이라고 정의했습니다 . 업계의 다른 전문가들은 이를 "창의적인 공백 메우기"라고 부르기도 합니다.
"현재 출시된 iPhone 16 모델은 XNUMX가지가 무엇인가요?"와 같은 유도 질문을 ChatGPT에 던지면 환각을 유발할 수 있습니다. 모델이 XNUMX개가 아니기 때문에 LLM은 실제 답변을 제공할 가능성이 높고, 추가 모델을 생성하여 작업을 완료할 것입니다.
ChatGPT 와 같은 챗봇은 응답 내용을 구성하는 데 인터넷 데이터를 활용할 뿐만 아니라 "어떻게 응답해야 하는지"도 학습합니다. 수천 개의 질의 예시와 그에 완벽하게 부합하는 응답을 보여줌으로써 적절한 어조, 태도, 그리고 공손함을 익히도록 합니다.
훈련 과정의 이 부분은 LLM이 당신의 말에 동의하거나 당신의 말을 이해하는 것처럼 보이게 만드는데, 심지어 나머지 출력 결과가 당신의 진술과 완전히 모순되는 경우에도 마찬가지입니다. 이러한 훈련은 환각이 재발하는 이유 중 하나일 가능성이 높습니다. 질문에 대한 확신에 찬 답변이 질문에 대한 답변이 아닌 답변보다 더 적절한 결과로 강화되었기 때문입니다.
우리에게는 무작위로 거짓말을 퍼뜨리는 것이 답을 모르는 것보다 더 나쁘다는 것이 명백해 보입니다. 하지만 LLM은 "거짓말"을 하지 않습니다. 심지어 거짓말이 무엇인지도 모릅니다. 어떤 사람들은 AI의 오류가 인간의 오류와 유사하며, "우리가 항상 옳은 일을 하는 것은 아니므로 AI도 그렇게 할 것이라고 기대해서는 안 된다"고 말합니다. 하지만 AI의 오류는 우리가 설계한 불완전한 프로세스의 결과일 뿐이라는 점을 기억하는 것이 중요합니다.
인공지능 모델은 우리처럼 거짓말을 하거나, 오해를 하거나, 정보를 잘못 기억하지 않습니다. 정확성이나 부정확성이라는 개념조차 없죠. 그저 확률에 기반하여 문장의 다음 단어를 예측할 뿐입니다 . 다행히도 가장 흔한 것이 정답일 가능성이 높은 상황이 아직 지속되고 있기 때문에, 이러한 예측 결과는 종종 정확한 정보를 반영합니다. 이 때문에 우리가 "정답"을 얻는 것은 마치 의도적으로 설계한 결과가 아니라 우연한 부작용처럼 느껴지는데, 사실 이것이 바로 인공지능이 작동하는 방식입니다.
우리는 이 모델들에게 인터넷에 있는 모든 정보를 제공합니다. 하지만 어떤 정보가 좋고 나쁜지, 정확한지 부정확한지는 알려주지 않습니다. 아무것도 알려주지도 않습니다. 모델들에게는 기존의 기초 지식이나 스스로 정보를 분류하는 데 도움이 되는 기본 원칙이 없습니다. 이 모든 것은 단지 숫자 게임일 뿐입니다. 주어진 맥락에서 반복적으로 나타나는 단어 패턴이 LLM의 "진실"이 되는 것입니다. 저에게는 이 시스템이 곧 무너질 운명처럼 들립니다. 하지만 다른 사람들은 이 시스템이 AGI로 이어질 것이라고 믿습니다(물론 이는 다른 논의의 문제입니다).
해결책은 무엇입니까?
문제는 OpenAI가 이러한 고급 모델들이 왜 그렇게 자주 환각을 보이는지 아직 알지 못한다는 것입니다. 아마도 Plus 연구를 통해 문제를 이해하고 해결할 수 있을지도 모릅니다. 하지만 상황이 순조롭게 진행되지 않을 가능성도 있습니다. OpenAI는 의심할 여지 없이 자사의 "고급" 모델인 Plus와 Plus 버전을 계속 출시할 것이며, 환각 발생률이 계속 증가할 가능성도 있습니다.
이 경우 OpenAI는 근본 원인 연구를 지속하는 동안 단기적인 해결책을 마련해야 할 수도 있습니다. 결국 이러한 모델들은 수익 창출 상품 이므로 사용 가능해야 하기 때문입니다. 저는 AI 과학자는 아니지만, 제 생각에는 여러 OpenAI 모델에 접근할 수 있는 채팅 인터페이스와 같은 통합 제품을 만드는 것이 좋을 것 같습니다.
고급 추론이 필요한 쿼리에는 GPT-4o를 사용하고, 환각 가능성을 줄이고 싶을 때는 o1과 같은 기존 모델을 사용합니다. 어쩌면 회사는 더 정교하게 여러 모델을 사용하여 단일 쿼리의 여러 요소를 처리한 다음, 추가 모델을 사용하여 모든 것을 최종적으로 연결하는 방식을 사용할 수도 있을 것입니다. 이는 본질적으로 여러 AI 모델 간의 협업이 될 것이므로, 일종의 사실 확인 시스템도 구현할 수 있을 것입니다.
하지만 정확도를 높이는 것이 주된 목표는 아닙니다. 주된 목표는 환각률을 낮추는 것이므로, 정답을 포함한 답변뿐 아니라 "모르겠습니다"라고 답하는 답변도 중요하게 여겨야 합니다.
사실, OpenAI가 어떤 조치를 취할지, 그리고 연구원들이 환각 발생률 증가에 대해 얼마나 우려하고 있는지 전혀 모르겠습니다. 제가 아는 것은 환각이 증가하면 최종 사용자에게 해롭다는 것입니다. 단지 우리가 미처 깨닫지 못하는 사이에 우리를 오도할 기회가 더 많아진다는 것을 의미할 뿐입니다. LLM 모델을 애용한다면 굳이 사용을 중단할 필요는 없습니다. 하지만 시간 절약에 대한 욕심 때문에 결과의 사실 확인 필요성을 간과해서는 안 됩니다. 항상 사실 확인을 하세요!
댓글이 닫혔습니다.