OpenAI는 지난주 o3 및 o4-mini 모델에 대한 다양한 내부 테스트와 결과를 자세히 설명하는 연구 논문을 발표했습니다. 이 최신 모델과 2023년에 출시된 초기 버전의 ChatGPT의 주요 차이점은 고급 추론 및 멀티모달 기능입니다. o3 및 o4-mini는 이미지 생성, 웹 검색, 작업 자동화, 과거 대화 기억, 복잡한 문제 해결 등의 기능을 제공합니다. 그러나 이러한 개선은 예상치 못한 부작용을 초래하여 AI 사용의 안전성을 보장하기 위한 포괄적인 평가가 필요한 것으로 보입니다.
테스트 결과는 AI 모델의 환각율에 대해 무엇을 말해줍니까?
OpenAI에는 특정 테스트 환각률 측정에 사용되는 모델은 PersonQA입니다. 이 모델은 사람들에 대한 "학습"을 위한 사실 집합과 그 사람들에 대한 답변해야 할 질문 집합으로 구성됩니다. 모델의 정확도는 답변 시도 횟수를 기반으로 측정됩니다. 작년에 o1 모델은 정확도 47%, 환각률 16%를 달성했습니다.
이 두 값의 합이 100%가 되지 않으므로 나머지 응답은 정확하지도 환각적이지도 않다고 가정할 수 있습니다. 모델은 때때로 정보를 모르거나 찾을 수 없다고 말할 수도 있고, 아무런 주장도 하지 않고 관련 정보를 제공할 수도 있으며, 완전한 환각으로 분류할 수 없는 사소한 오류를 범할 수도 있습니다.
o3와 o4-mini를 이 평가 기준으로 테스트했을 때, o1보다 훨씬 높은 환각률을 보였습니다. OpenAI에 따르면, o4-mini 모델은 크기가 더 작고 전역 지식이 적어 환각률이 더 높기 때문에 이러한 결과는 어느 정도 예상된 결과였습니다. 그러나 o4-mini가 사람들이 웹을 검색하고 다양한 정보와 조언을 얻는 데 사용하는 상용 제품이라는 점을 고려하면, 48%의 환각률은 상당히 높은 것으로 보입니다.
실제 크기의 o3 모델은 테스트 중 응답의 33%를 환각으로 처리하여 o4-mini보다 우수한 성능을 보였지만, o1보다 환각 발생률은 두 배 높았습니다. 하지만 정확도도 높았는데, OpenAI는 이를 일반적으로 과도하게 전달되는 주장의 경향 때문이라고 분석했습니다. 따라서 이 두 가지 최신 모델 중 하나를 사용하면서 환각을 많이 느낀다면, 단순히 당신의 착각이 아닙니다. (이쯤에서 "걱정 마세요, 환각을 보는 건 당신이 아니에요."와 같은 농담을 해야 할 것 같습니다.)
AI "환각"이란 무엇이고, 왜 발생하는가?
AI 모델이 "환각"을 보인다는 이야기는 들어보셨겠지만, 정확히 무슨 뜻인지는 잘 모르겠습니다. OpenAI든 아니든, 어떤 AI 제품을 사용하든 어딘가에 해당 제품의 응답이 부정확할 수 있다는 내용의 면책 조항이 있을 테니 직접 확인해 보시기 바랍니다. AI 환각 이 분야의 주요 과제 인공지능 개발.
부정확한 정보는 어디에서나 나올 수 있습니다. 위키피디아에 잘못된 정보가 게시되거나, 레딧에 사용자가 말도 안 되는 글을 올리는 경우도 있는데, 이러한 잘못된 정보는 AI 응답에 영향을 미칠 수 있습니다. 예를 들어, 구글의 AI 요약은 "무독성 접착제"가 포함된 피자 레시피를 제안하면서 큰 주목을 받았습니다. 결국 구글이 레딧 스레드의 농담에서 이 "정보"를 얻었다는 사실이 밝혀졌습니다.
하지만 이는 "환각"이 아니라, 잘못된 데이터와 잘못된 해석으로 인해 발생하는 추적 가능한 오류에 가깝습니다. 반면, 환각은 AI 모델이 명확한 출처나 이유 없이 주장을 할 때 발생합니다. 이는 AI 모델이 특정 질의에 답하는 데 필요한 정보를 찾지 못할 때 자주 발생하며, 나는 알았다 OpenAI는 이를 "불확실한 순간에 사실을 만들어내는 경향"이라고 설명합니다. 다른 업계 관계자들은 이를 "창의적인 빈틈 메우기"라고 불렀습니다.
"현재 출시된 iPhone 16 모델은 XNUMX가지가 무엇인가요?"와 같은 유도 질문을 ChatGPT에 던지면 환각을 유발할 수 있습니다. 모델이 XNUMX개가 아니기 때문에 LLM은 실제 답변을 제공할 가능성이 높고, 추가 모델을 생성하여 작업을 완료할 것입니다.
챗봇은 다음과 같이 훈련되지 않습니다. ChatGPT 그들은 답변 내용을 통해 정보를 얻을 뿐만 아니라, "어떻게 답변해야 할지"에 대한 훈련도 받습니다. 수천 가지의 질문과 이상적인 답변 예시를 통해 적절한 어조, 태도, 그리고 예의범절을 익히도록 유도합니다.
훈련 과정의 이 부분은 LLM이 당신의 말에 동의하거나 당신의 말을 이해하는 것처럼 보이게 만드는데, 심지어 나머지 출력 결과가 당신의 진술과 완전히 모순되는 경우에도 마찬가지입니다. 이러한 훈련은 환각이 재발하는 이유 중 하나일 가능성이 높습니다. 질문에 대한 확신에 찬 답변이 질문에 대한 답변이 아닌 답변보다 더 적절한 결과로 강화되었기 때문입니다.
우리에게는 무작위로 거짓말을 퍼뜨리는 것이 답을 모르는 것보다 더 나쁘다는 것이 명백해 보입니다. 하지만 LLM은 "거짓말"을 하지 않습니다. 심지어 거짓말이 무엇인지도 모릅니다. 어떤 사람들은 AI의 오류가 인간의 오류와 유사하며, "우리가 항상 옳은 일을 하는 것은 아니므로 AI도 그렇게 할 것이라고 기대해서는 안 된다"고 말합니다. 하지만 AI의 오류는 우리가 설계한 불완전한 프로세스의 결과일 뿐이라는 점을 기억하는 것이 중요합니다.
AI 모델은 우리처럼 거짓말을 하거나, 오해를 하거나, 정보를 잘못 기억하지 않습니다. 정확도나 부정확성에 대한 개념조차 없습니다. 그들은 다음 단어를 기대한다. 확률에 기반한 문장입니다. 다행히도 우리는 여전히 가장 흔한 것이 정답일 가능성이 높은 상태에 있기 때문에, 이러한 재구성은 종종 정확한 정보를 반영합니다. 이로 인해 "정답"을 얻었을 때, 마치 우리가 의도한 결과가 아니라 단지 우연한 부작용인 것처럼 보이게 됩니다. 그리고 바로 그렇게 작동합니다.
우리는 이 모델들에게 인터넷에 있는 모든 정보를 제공합니다. 하지만 어떤 정보가 좋고 나쁜지, 정확한지 부정확한지는 알려주지 않습니다. 아무것도 알려주지도 않습니다. 모델들에게는 기존의 기초 지식이나 스스로 정보를 분류하는 데 도움이 되는 기본 원칙이 없습니다. 이 모든 것은 단지 숫자 게임일 뿐입니다. 주어진 맥락에서 반복적으로 나타나는 단어 패턴이 LLM의 "진실"이 되는 것입니다. 저에게는 이 시스템이 곧 무너질 운명처럼 들립니다. 하지만 다른 사람들은 이 시스템이 AGI로 이어질 것이라고 믿습니다(물론 이는 다른 논의의 문제입니다).
해결책은 무엇입니까?
문제는 OpenAI가 이러한 고급 모델들이 왜 그렇게 자주 환각을 보이는지 아직 알지 못한다는 것입니다. 아마도 Plus 연구를 통해 문제를 이해하고 해결할 수 있을지도 모릅니다. 하지만 상황이 순조롭게 진행되지 않을 가능성도 있습니다. OpenAI는 의심할 여지 없이 자사의 "고급" 모델인 Plus와 Plus 버전을 계속 출시할 것이며, 환각 발생률이 계속 증가할 가능성도 있습니다.
이 경우, OpenAI는 근본 원인 연구를 계속하는 것 외에도 단기적인 해결책을 모색해야 할 수도 있습니다. 결국 이러한 모델은 소득 창출 제품 사용 가능한 상태여야 합니다. 저는 AI 과학자는 아니지만, 첫 번째 아이디어는 여러 OpenAI 모델에 접근할 수 있는 채팅 인터페이스 같은, 일종의 묶음 상품을 만드는 것입니다.
고급 추론이 필요한 쿼리에는 GPT-4o를 사용하고, 환각 가능성을 줄이고 싶을 때는 o1과 같은 기존 모델을 사용합니다. 어쩌면 회사는 더 정교하게 여러 모델을 사용하여 단일 쿼리의 여러 요소를 처리한 다음, 추가 모델을 사용하여 모든 것을 최종적으로 연결하는 방식을 사용할 수도 있을 것입니다. 이는 본질적으로 여러 AI 모델 간의 협업이 될 것이므로, 일종의 사실 확인 시스템도 구현할 수 있을 것입니다.
하지만 정확도를 높이는 것이 주된 목표는 아닙니다. 주된 목표는 환각률을 낮추는 것이므로, 정답을 포함한 답변뿐 아니라 "모르겠습니다"라고 답하는 답변도 중요하게 여겨야 합니다.
사실, OpenAI가 어떤 조치를 취할지, 그리고 연구원들이 환각 발생률 증가에 대해 얼마나 우려하고 있는지 전혀 모르겠습니다. 제가 아는 것은 환각이 증가하면 최종 사용자에게 해롭다는 것입니다. 단지 우리가 미처 깨닫지 못하는 사이에 우리를 오도할 기회가 더 많아진다는 것을 의미할 뿐입니다. LLM 모델을 애용한다면 굳이 사용을 중단할 필요는 없습니다. 하지만 시간 절약에 대한 욕심 때문에 결과의 사실 확인 필요성을 간과해서는 안 됩니다. 항상 사실 확인을 하세요!
댓글이 닫혔습니다.