저는 성인들이 물어볼 만한 질문 5개를 가지고 ChatGPT와 Grok을 테스트해 봤습니다… 우승자는 저를 놀라게 했습니다.

ChatGPT와 Grok은 모두 인공지능 분야 에서 유명한 서비스이지만 , 가장 중요한 질문은 바로 이것입니다. 특히 부모 세대에게 일상적인 문제를 해결하는 데 있어 어느 서비스가 더 나은 도움을 제공할까요? 이 질문에 대한 답을 찾기 위해, 본 평가에서는 부모 세대나 연세가 있는 친척들이 할 법한 질문 유형에 초점을 맞추었습니다.

이번 테스트에서는 두 챗봇 모두에게 동일한 실제 시나리오 5개를 적용했습니다. 시나리오는 미국 우편 서비스(USPS)에서 온 의심스러운 문자 메시지를 식별하는 것부터 메디케어 시스템을 이해하는 것, 저렴한 저녁 식사 계획을 세우는 것, 새로운 스마트폰을 고르는 것까지 다양했습니다. 목표는 어떤 챗봇이 상황을 지나치게 복잡하게 만들지 않고 명확하고 간결하며 실질적으로 도움이 되는 조언을 제공할 수 있는지 알아보는 것이었습니다.

결과는 몇 가지 놀라운 점을 보여주었습니다. 한 로봇은 실질적인 세부 사항을 처리하는 데 탁월한 능력을 보였고, 다른 로봇은 간결함의 중요성을 더 깊이 이해하고 필수적인 정보만 제시하는 데 뛰어난 모습을 보였습니다. 자세한 성능 비교는 다음과 같습니다.

1. 의심스러운 문자 메시지 테스트

이번 테스트에서 ChatGPT는 Grok보다 USPS 사칭 문자 메시지에 대처하는 방법에 대해 더욱 포괄적이고 자세한 답변을 제공하며, 사기 신고를 위한 실질적인 단계와 명확한 지침을 제시하여 확실히 우수한 성능을 보였습니다.

문의 내용: 방금 'USPS: 주소가 불완전하여 소포를 배송할 수 없습니다. 24시간 이내에 usps-redelivery-help.com에서 정보를 업데이트하세요. 그렇지 않으면 소포가 반송됩니다.'라는 문자 메시지를 받았습니다. 이번 주에 소포를 받을 예정입니다. 이 내용이 사실인가요? 어떻게 확인할 수 있는지, 다음에 무엇을 해야 하는지, 그리고 링크를 클릭하면 어떤 일이 발생할 수 있는지 설명해 주세요. 전문 용어는 사용하지 말아 주세요.

Grok은 정답을 맞혔습니다. 가짜 도메인을 정확하게 식별하고 USPS 배송 추적 시스템이 어떻게 작동하는지 명확하게 설명했습니다. Grok은 해당 메시지를 미국 우편검사국(US Postal Inspection Service)이나 연방거래위원회(FTC)에 신고할 가능성을 언급했지만, ChatGPT와는 달리 구체적인 신고 방법, 전화번호 또는 이메일 주소는 제공하지 않았습니다.

ChatGPT는 해당 문자 메시지가 거의 확실한 사기라고 즉시 발표 하고 링크를 클릭하지 말 것을 권고했습니다. 그들은 명확하고 읽기 쉬운 표를 사용하여 사기 수법을 단계별로 설명했습니다(예: 세부 정보를 입력하지 않고 클릭하는 경우, 결제 정보를 입력하는 경우, 악성 소프트웨어를 다운로드하는 경우). 또한 사기꾼들이 신용카드 정보를 빼내기 위해 소액의 "재연결 수수료"를 요구하는 주된 수법을 강조했습니다(미국 우정청(USPS)은 이러한 수수료를 부과하지 않습니다). 더불어 7726(스팸)으로 메시지를 전달하거나 spam@uspis.gov로 이메일을 보내는 등 신고 방법도 안내했습니다.

승자: ChatGPT는 질문의 모든 부분을 다루면서도 명확하고 이해하기 쉬운 어조를 유지하여 더욱 포괄적 이고 실용적인 답변을 제공했기 때문에 승리했습니다.

2. 메디케어 프로그램 이해도 테스트

메디케어 이해도 테스트에서 Grok은 청구서에 명시된 기준을 충족하고, 필요한 단어 수와 어조를 유지하며, 정확한 수치를 제공하는 등 ChatGPT보다 뛰어난 성과를 보여 승리했습니다.

질문: 65세가 가까워졌지만 메디케어에 대해 잘 모르는 사람이 있다고 가정해 보세요. 친구와 커피를 마시며 이야기하듯 친근하고 편안한 어조로 메디케어 파트 A, B, C, D의 차이점을 설명해 주세요. 메디케어 오리지널과 메디케어 어드밴티지의 차이점은 무엇인가요? 가입 전에 피해야 할 값비싼 실수 세 가지는 무엇인가요? 답변은 400단어 이내로 작성해 주시고, 가입 전에 확인해야 할 정보도 포함해 주세요.

그록은 400단어 이내로 답변을 마무리했고, 필요한 대화 어조를 완벽하게 구사했으며, 정확한 재정 수치를 제시하여 2026년 파트 B 보험료가 월 약 203달러라고 밝혔습니다.

ChatGPT는 좋은 답변을 제공했지만 지정된 단어 수를 초과했고, 표준 정보 디렉토리 구조인 표를 사용했으며, 일반인에게 유용하지도 필요하지도 않은 추가 메타데이터를 하단에 포함했습니다.

승자: Grok은 주장에 명시된 기준을 더 잘 구현하여 이 테스트에서 탁월한 성과를 보였습니다.

3. 식료품 예산 관리의 어려움

식료품 예산 챌린지에서 ChatGPT는 제한 사항을 준수하고 가격이 포함된 상세한 쇼핑 목록을 제공하는 등 훨씬 더 실용적이고 포괄적이며 잘 실행된 답변을 제시하여 우승했습니다.

과제: 어떤 사람이 이번 주에 성인 두 명을 위한 저녁 식사를 5일 동안 요리할 계획인데, 식재료비는 65달러밖에 없다고 가정해 보세요. 이 사람은 해산물을 먹지 않고, 조리 시간이 30분 이상 걸리는 요리는 원하지 않습니다. 5가지 다른 저녁 메뉴를 만들고, 미국 매장의 예상 가격을 포함한 하나의 통합 장보기 목록을 작성한 후, 총비용을 계산하세요. 비용을 절약하기 위해 재료를 재활용하고, 소금, 후추, 식용유를 제외한 모든 재료는 미리 손질되어 있다고 가정하지 마세요.

Grok은 괜찮은 식단을 제시 하고 가격도 저렴하게 유지했지만, 누락된 재료를 가정한 점, 비현실적인 식재료 양(닭고기 1.5파운드는 고기가 듬뿍 들어간 저녁 식사 세 끼로 나누기에도 턱없이 부족함), 모호한 조리법 등 청구에서 요구된 몇 가지 핵심적인 사항을 제대로 처리하지 못했습니다.

ChatGPT는 "사전 재료 준비 금지" 규칙을 엄격히 준수했고 , 필수 향신료를 포함했으며, 지정된 재료를 사용한 자세한 요리 계획을 제공했습니다. 또한 상세한 가격 정보가 담긴 매우 포괄적인 쇼핑 목록도 제공했습니다.

승자: ChatGPT는 훨씬 더 실용적이고 포괄적이며 잘 구현된 답변을 제공하여 탁월한 성과를 보여주었습니다.

4. 가족 간 문자 메시지 딜레마

가족 간 문자 메시지 문제에 있어서 Grok은 따뜻함과 단호함을 적절히 조화시켜 자녀와의 경계를 설정하는 균형 잡힌 메시지를 작성하는 데 탁월한 능력을 보인 반면, ChatGPT는 요구되는 단어 수와 어조의 제약을 준수하는 데 어려움을 겪었습니다.

요청 사항: 성인 딸이 손주들을 돌봐주겠다고 자꾸만 갑자기 부탁합니다. 딸은 손주들과 시간을 보내는 것을 좋아하지만, 은퇴했고 자신만의 계획이 있습니다. 딸의 기분을 상하게 하거나 도와주기 싫다는 인상을 주지 않으면서 적절한 경계를 정하고 싶어 합니다. 사랑스럽고 따뜻하면서도 단호한 문자 메시지를 작성해 주세요. 마치 실제 부모가 보내는 것처럼 자연스럽고 진심 어린 말투여야 하며, 딱딱한 회사 이메일처럼 느껴지지 않도록 해야 합니다. 100단어 이내로 작성해 주세요.

그록은 따뜻함과 단호한 경계 사이에서 완벽한 균형을 이루었습니다 (" 아이들은 내 한 주에서 가장 행복한 시간이야... 다만 미리 알려주시면 제가 준비할 수 있을 거야 "). 이 메시지는 부모가 문자로 보낸 것처럼 아주 자연스럽고 진솔하게 느껴졌습니다. 또한, 강압적이지 않으면서도 명확하고 감당할 수 있는 기대치를 제시하며 실용적인 해결책을 제안했습니다.

ChatGPT는 따뜻하고 애정 어린 메시지를 작성했지만, 요구되는 단어 수와 어조 제한을 초과했습니다. "제가 은퇴했다고 해서 자유롭다는 뜻은 아니에요!"라는 문구는 다소 설교조로 들렸고, "당신이 이해해 주셨으면 하는 것은…"이라는 표현은 때때로 조금 거칠거나 방어적인 어조로 들려, 민감한 내용을 다룰 때는 ChatGPT 대신 다른 방법을 사용해야 할 필요성을 강조했습니다.

수상자: Grok은 요구되는 단어 수와 어조 제약 조건을 모두 훌륭하게 충족시켰습니다.

5. 새로운 휴대폰 결정

새로운 스마트폰 추천에서 Grok은 사용자의 사진 촬영 및 사용 편의성에 대한 요구를 정확하게 파악하여 Google Pixel 9a를 추천하는 우수한 결과를 보인 반면, ChatGPT는 추천 정확도와 정보 출처 선택에서 어려움을 겪었습니다.

상황: 68세 여성이 새 스마트폰이 필요합니다. 현재 사용하는 휴대폰은 속도가 느리고, 500달러 이상은 쓰고 싶지 않습니다. 주로 손주 사진 촬영, 문자 메시지, 페이스북, 영상 통화, 정보 검색에 사용합니다. 배터리 수명이 길고, 화면이 읽기 편하며, 최소 4년 이상 사용할 수 있는 휴대폰을 원합니다. 현재 미국에서 판매되는 세 가지 휴대폰을 비교하고, 전문 용어를 사용하지 않고 장단점을 설명한 후, 한 가지를 추천해 주세요. 현재 가격과 가격 확인 링크도 포함해 주세요.

그록은 주요 목표를 정확히 파악 하고 구글 픽셀 시리즈가 움직이는 아이들의 모습을 선명하고 흔들림 없는 사진으로 담아내는 데 탁월하다는 점을 인정하며 구글 픽셀 9a를 추천했습니다. 그는 전문 용어 사용을 최소화하고 명확하고 이해하기 쉬운 언어로 기능을 설명했습니다.

ChatGPT는 (상점에 글자 크기 확대를 요청하는 것과 같은) 전반적으로 유용한 조언을 제공했지만, 추천 내용 간의 모순이나 신뢰할 수 없는 제3자 판매업체 링크 등 주요 부분에서 문제점을 드러냈습니다.

승자: Grok은 훨씬 더 나은 추천과 사용자 경험을 제공하고, 명확하고 간결한 형식을 유지하면서 사용자의 기본적인 요구 사항에 정확히 초점을 맞추어 탁월한 성능을 보여줍니다.

종합 우승자: Grok

ChatGPT는 특히 복잡한 주제를 단순화하고 일상적인 결정을 내리는 데 도움을 주는 측면에서 이러한 테스트에서 뛰어난 성능을 보일 것으로 예상되었습니다. 실제로 일부 사례에서는 우월성을 입증했는데, USPS 관련 사기를 감지하는 데 있어 더욱 포괄적이고 실용적인 지침을 제공했으며, 예산이 빠듯한 사람들을 위해 더욱 현실적인 쇼핑 계획을 제안했습니다.

하지만 그록은 모두를 놀라게 할 만큼 중요한 능력을 보여줬습니다. 바로 언제 내용을 간결하게 유지해야 하는지 아는 것이었습니다. 그는 메디케어에 대해 더 명확하게 설명하고, 가족 구성원들이 자연스럽게 받아들일 수 있는 글을 썼으며, 독자를 불필요한 세부 정보로 압도하지 않으면서 스마트폰 사용을 강력하게 권장했습니다.

따라서 자세하고 단계별 지침을 찾는 사람들에게는 ChatGPT가 여전히 훌륭한 선택입니다. 하지만 이해하기 쉽고 바로 사용할 수 있는 간단한 답변을 원하는 사람들에게는 Grok이 놀라울 정도로 효과적이라는 것이 입증되었습니다.

---

---