ChatGPT에 제 지식 수준을 테스트해달라고 요청했는데, 제 자신감은 완전히 틀렸습니다.
저자는 자신이 잘한다고 생각했던 5가지 분야에서 ChatGPT를 테스트해본 놀라운 경험을 공유합니다. 그 결과, 자신의 지식에 대한 자신감이 완전히 잘못된 것이었음을 깨달았습니다.
가장 중요한 사항들
- 사용자는 난이도, 문제 유형(객관식 또는 서술형), 문제 개수, 답변 및 해설 제시 방식 등 ChatGPT 퀴즈를 폭넓게 맞춤 설정할 수 있습니다.
- ChatGPT는 테스트 도중 문제 난이도를 유연하게 조정할 수 있으며, 반복되는 오류를 분석하여 약점을 보완하는 추가 문제 풀이를 제안하는 기능을 갖추고 있습니다.
- 학습 도우미로서 효과적이긴 하지만, ChatGPT도 오류를 범하거나 잘못된 정보를 제공할 수 있으므로 사용자는 ChatGPT의 답변을 직접 확인해야 합니다.
ChatGPT에 새로운 대화형 퀴즈 기능이 추가되었습니다. 이 기능은 챗봇 사용 과정에서 사용자가 직접 문제를 풀어보는 것을 더욱 능동적으로 만들어줍니다. 이제 ChatGPT에 설명을 요청하고 모든 내용이 익숙하게 느껴져 단순히 고개를 끄덕이는 대신, 직접 퀴즈를 풀어볼 수 있습니다. 이 기능은 OpenAI의 지속적으로 확장되는 학습 도구 모음의 일부이며, 학습 모드 및 기타 기능들을 기반으로 구축되었습니다.

나는 내가 어느 정도 자신 있는 주제 다섯 가지를 골랐는데, 이 방법이 내 지식의 부족한 부분을 파악하는 데 매우 효과적이라는 것을 알게 되었다.
테스트 기능 사용 방법
퀴즈 기능은 누구나 이용할 수 있습니다. ChatGPT에 요청하기만 하면 됩니다. 저는 인공지능 자체, 특히 그 역사에 대한 퀴즈로 시작해 보기로 했습니다. 하지만 너무 기본적인 질문만 있는 건 원치 않아서 난이도를 일정 수준으로 설정해 달라고 요청했습니다. 짧은 에세이 형식도 가능하지만, 저는 고전적인 객관식 형식을 선택하고 틀린 부분을 알려달라고 했습니다.
제가 ChatGPT에 요청한 구체적인 사항은 다음과 같습니다. "대학 수준의 AI 역사 관련 객관식 문제 10개를 풀어보세요. 제가 답안을 입력하기 전까지는 답을 보여주지 마세요. 틀린 문제는 이유를 설명해주고, 마지막에 점수를 알려주세요."
하나씩 답하는 방식이 예상보다 훨씬 큰 차이를 만들어냈습니다. 기존의 온라인 퀴즈는 보통 여러 문제가 나열된 페이지를 보여주고, 답을 다 풀면 점수와 간단한 해설이 나오는 식입니다. 하지만 ChatGPT는 각 답변 후에 상호작용하며 결과를 간략하게 설명하고 다음 문제로 넘어갔습니다.
솔직히 생각보다 어려워서 놀랐지만, 몇 가지 실수를 했음에도 불구하고 꽤 잘 해냈고 새로운 사실들도 몇 가지 알게 되었습니다.

다음 목표는 천문학으로 정했습니다. 우주에 관한 책을 많이 읽고, 망원경으로 관측하고, 별, 행성, 블랙홀에 대한 정보를 모으는 데 많은 시간을 보냈기에 자신 있었습니다. 하지만 몇 가지 질문 후에 제가 태양계에 대한 기본적인 정보는 꽤 쉽다고 말하자, 인공지능은 마치 저를 개인적으로 모욕한 것처럼 받아들였습니다.
저는 그에게 "남은 문제들을 더 어렵게 만들어 주세요" 라고 말했고 , ChatGPT는 이를 매우 진지하게 받아들였습니다. 실제로 저는 궤도 역학과 천문학에 관한 문제들을 접했는데, 절반도 제대로 맞추지 못했습니다. 하지만 사용 중에 난이도를 조절할 수 있다는 점은 좋았습니다.
이러한 유연성은 정적인 테스트에서는 제공 할 수 없는 장점입니다 . 저는 ChatGPT에게 어떤 부분이 너무 쉬운지, 예를 들어 명백히 틀린 답 같은 것을 정확히 알려주고 네 가지 선택지 모두 타당해 보이도록 수정해달라고 요청할 수도 있었습니다.
다음엔 좀 더 쉬운 걸 해야겠다 싶어서 90년대 팝 문화 문제를 골랐습니다. 제가 그 시대에 자랐기 때문에 난이도를 높게 설정했더라도 꽤 쉬울 거라고 생각했죠. TV, 영화, 음악, 비디오 게임, 기술에 대한 문제를 섞어서 내되, " 단순히 제목만 외우는 게 아닌, 좀 더 깊이 있는 사고를 요구 하는 문제"를 넣어달라고 부탁했습니다. 결과적으로 만점을 받았지만, 90년대 후반 보이밴드 멤버가 누구인지 정확히 기억나지 않아서 정답을 찍어야 했던 부분도 있었습니다.
AI 학습 도우미
그녀는 이어서 셰익스피어에 관한 퀴즈라는 좀 더 수준 높은 오락거리로 넘어갔고, 특히 ChatGPT에게 "너무 유명한 명언이나 '로미오와 줄리엣'의 주요 등장인물을 묻는 것과 같은 뻔한 질문은 피해주세요"라고 요청했습니다.
조연이나 줄거리 세부 사항에 대한 질문들이 객관식이라서 마음에 들었습니다. 만약 실제 강의실에서 셰익스피어를 공부했다면, ChatGPT에 제가 어려워하는 부분을 기록해 달라고 요청하고, 그 부분에 대해 더 자세히 질문해 달라고 했을 겁니다. 심지어 필기 노트를 업로드해서 시험에 수업 내용이 모두 포함되도록 할 수도 있었겠죠.

마지막 영역은 세계 지리였습니다. ChatGPT의 제안을 바탕으로 난이도를 더욱 역동적으로 조정하기 위해 지침을 수정했습니다. AI에게 "연속으로 세 문제를 맞힐 때마다 문제 난이도를 높여달라"고 요청했습니다.
자만심에 빠질까 봐 걱정했는데, 오히려 이 추가 난이도 덕분에 겸손해질 수 있었습니다. 처음 여섯 문제는 쉽게 풀었지만, 난이도가 두 배로 높아지자 마치 신비로운 산과 심해 해구를 찾아 헤매는 기분이 들었습니다.
시험을 마친 후 ChatGPT에게 제 답변을 분석해달라고 요청했는데, AI는 단순한 실수와 제 지식의 반복적인 공백을 구분할 수 있다고 했습니다. 특정 시기, 개념 또는 유형의 문제에서 반복적으로 어려움을 겪는 경우, 해당 부분에 초점을 맞춘 새로운 문제들을 제시해 주었습니다.
ChatGPT는 테스트에서도 오류를 범하거나 잘못된 답변(환상)을 제공할 수 있다는 점을 기억하는 것이 중요합니다. 답변이 정확하지 않다고 생각되면 직접 확인해야 합니다. 비공식 학습에는 AI가 매우 효과적이었습니다. 물론 스스로 공부하는 것도 중요하지만, 연습 문제가 부족할 경우 ChatGPT는 수업 시험 전에 학습을 이어가는 데 도움이 될 수 있습니다. ChatGPT에서 한 가지를 바꿀 수 있다면 바로 이 부분을 개선하고 싶습니다.
댓글이 닫혔습니다.