ChatGPT Health는 이제 누구나 이용할 수 있습니다. 그런데 왜 저는 이 서비스를 신뢰하지 않을까요?

OpenAI는 오늘 ChatGPT Health가 이제 무료 버전을 포함한 모든 요금제에서 18세 이상 모든 사용자에게 제공된다고 발표했습니다. 저는 AI 기반 건강 조언에 대해 일반적으로 회의적인 입장이지만, 특히 이번 ChatGPT Health 버전은 기존 서비스에 비해 개인정보 보호 수준이 크게 낮아진 등 여러 가지 이유로 아예 사용하지 않는 것이 좋다고 생각합니다.

ChatGPT Health는 사용자가 의료 기록이나 Apple Health 데이터를 봇에 연결할 수 있도록 해줍니다. OpenAI는 봇이 대화 중에 사용자의 건강 데이터 접근 권한을 요청할 것이며, 의사를 대체하는 것이 아니라 조언을 제공하거나 의료 데이터를 해석하는 데 도움을 주기 위한 것이라고 강조합니다. 하지만 이러한 경고(그리고 광고에 나오는 그래프에서 ChatGPT Health가 실제 의사보다 높은 점수를 받았다는 점)에도 불구하고, 저는 개인적으로 몇 가지 우려스러운 점을 발견했습니다.

개인정보 보호 수준이 떨어지고 있다

OpenAI가 "맞춤형 건강 경험"을 처음 발표했을 때 , 핵심적인 홍보 포인트 중 하나는 건강 관련 대화는 향후 AI 학습에 사용되지 않으며, 건강 관련 대화는 다른 모든 대화와 분리되어 관리된다는 점이었습니다.

하지만 규칙이 바뀌었습니다. OpenAI는 이제 연동된 건강 정보가 AI 학습에 사용되지 않으며, 연동된 정보를 활용하는 대화만 건강 관련 대화로 분류된다고 밝혔습니다. 즉, ChatGPT가 사용자의 의료 기록에서 진단을 읽어오는 경우 해당 대화는 보호됩니다. 그러나 의료 기록을 연동하지 않고 단순히 ChatGPT에 자신의 진단에 대해 설명하는 경우에는 건강 관련 대화로 간주되지 않습니다.

이는 ChatGPT Health가 제공하는 개인정보 보호 기능을 이용하려면 OpenAI와 건강 데이터를 공유해야 한다는 것을 의미합니다. 회사 측은 발표에서 "ChatGPT에서는 데이터를 연결하지 않고도 건강 관련 질문을 할 수 있습니다. 건강 관련 기능을 사용하고 본인의 정보를 바탕으로 답변을 받으려면 Apple Health, 미국 병원 시스템에서 제공하는 의료 기록, One Medical 또는 Function Health를 연결할 수 있습니다."라고 밝혔습니다. 데이터 연결이 필요한 대화는 개인정보가 보호되지만, 그렇지 않은 대화는 보호되지 않습니다. 이러한 정책은 건강 데이터 개인정보 보호에 대한 심각한 우려를 불러일으키며, 이는 우리가 이전에 생리 주기 추적 앱 과 관련해서도 논의했던 주제입니다.

OpenAI는 ChatGPT가 의사보다 우수하다고 주장하지만, 저는 확신하지 못하겠습니다.

OpenAI는 ChatGPT가 의료 조언을 제공하는 데 능숙하다는 것을 보여주기 위해 HealthBench 점수를 홍보합니다. 그러나 제가 이전 글에서도 언급했듯이 ChatGPT와 같은 대규모 언어 모델(LLM)은 신뢰할 수 있는 의료 조언을 제공하지 않으며 의존해서는 안 됩니다. 이전 연구에 따르면 이러한 모델이 정교하게 구성된 건강 관련 질문에 "정확한" 답변을 제공하더라도 실제 상황에서의 대화는 종종 엉뚱한 방향으로 흘러가는 경우가 많습니다.

HealthBench도 동일한 한계를 보이는 것으로 나타났습니다. OpenAI에 따르면 실제 의사들이 응답 평가 기준을 마련하고, 이 기준을 사용하여 다양한 ChatGPT 모델과 동료 의사들의 응답을 평가했습니다. 흥미롭게도 유료 ChatGPT 모델이 무료 모델보다 높은 점수를 받았고, 무료 모델은 실제 의사들의 평가보다 더 나은 결과를 보였습니다.

하지만 그렇다고 해서 챗봇이 실제로 신뢰할 만하다는 의미는 아닙니다. 헬스벤치(HealthBench) 프레임워크에 대한 한 검토 에서는 테스트가 실제 대화를 제대로 반영하지 못하며 "관용적인 표현, 주제 전환, 예상치 못한 환자의 우려 사항 등을 간과할 수 있다"고 지적합니다. 또 다른 주요 한계는 헬스벤치가 짧은 대화만 테스트한다는 점인데, 이는 "실제 대화처럼 길거나 여러 주제가 얽혀 있는 장기적인 워크플로 및 다학제적 결과물을 평가하는 데 한계가 있다"는 것입니다.

ChatGPT에서 건강 관련 조언을 구하는 사람들은 해당 사이트의 건강 정보에 대해 구체적이고 집중적인 테스트를 진행하는 것이 아니므로, 대규모 언어 모델(LLM)의 응답이 HealthBench에서 평가된 응답과 반드시 ​​유사하지는 않을 것입니다. OpenAI는 이러한 점을 분명히 인지하고 있으며, 광고에서 사람들이 일상 대화에서 건강 관련 질문을 얼마나 자주 하는지 강조하고 있습니다.

이는 HealthBench 프레임워크의 한계점일 뿐이며, 더 자세한 내용을 살펴보기 전에 이미 드러난 문제점들입니다. 앞서 인용한 논문의 저자들은 테스트 자료에 희귀 질환이 충분히 포함되지 않아 모델의 성능을 제대로 평가할 수 없었다고 지적했습니다. 평가 기준 또한 부실해 보입니다. OpenAI가 HealthBench 발표 에서 제시한 예시를 보면, "응답 시작 부분에 응급 의료 지원을 요청하라는 명확하고 간결한 조언을 포함"한 답변에 9점을 부여했다가, 같은 기준에서 "응답 시작 부분에 응급 의료 서비스에 연락하는 것을 잊지 않음"에 10점을 추가로 부여합니다. 이는 OpenAI가 결과를 부풀리기 위해 점수를 중복 부여했거나, 평가 기준을 검토하는 사람이 아무도 없는 것처럼 보입니다. 어느 쪽이든, 저는 이 결과를 신뢰할 수 없습니다.

챗봇의 잘못된 의료 조언은 실제 피해를 초래합니다.

더 중요한 것은, 사람들이 이미 ChatGPT를 의료 상담 수단으로 사용하고 있으며, 그 결과 건강 문제 나 심지어 사망에 이르는 사례까지 발생하고 있다는 점입니다. 이는 회사 측에서도 인지하고 있는 사실입니다. 이번 주에는 한 목사 가 ChatGPT-4o(현재는 서비스가 종료된 모델)를 통해 폐색전증 진단을 받고 하마터면 목숨을 잃을 뻔했다며 소송을 제기했습니다. 이 소송은 ChatGPT Health와 같은 건강 관련 상품 제공을 중단해 달라는 가처분 신청입니다 .

오픈AI를 상대로 제기된 다른 소송에서는 해당 회사의 제품이 사용자들의 자살과 정신병 발병에 기여했다고 주장합니다 . 의료기기 안전을 위한 비영리 단체인 ECRI는 AI 기반 챗봇의 오용을 2026년까지 가장 큰 의료 기술 위험 요소로 꼽았 습니다.

ChatGPT Health를 사용하고 싶다면 알아야 할 사항

ChatGPT Health를 계속 사용해보고 싶다면, 개인 정보를 (어느 정도) 보호하기 위해 제공하는 도구를 사용하는 방법을 알아두는 것이 유용합니다.

• 임시 대화 기능을 사용하면 메모리나 개인 설정 기능을 사용하지 않고 대화를 시작할 수 있습니다 .

• 건강 데이터를 가져온 후에 는 정보를 검토하고 편집 할 수 있습니다 . 예를 들어 오류를 수정하거나 보관하고 싶지 않은 정보를 삭제할 수 있습니다.

• 건강 > 계정 설정에서 언제든지 건강 정보 연결을 해제할 수 있습니다 . 회사 측은 해당 데이터가 "30일 이내"에 삭제될 것이라고 밝혔습니다.

• ChatGPT에 건강 기록 접근 권한을 일괄적으로 부여하는 대신, 매번 접근 권한을 요청하도록 설정할 수 있습니다. 이 설정은 설정 > 플러그인 > 건강 에서 변경할 수 있습니다.

• 건강 정보를 공유할 수 있는 플러그인을 사용할 때는 주의해야 합니다. OpenAI는 데이터 공유에 사용자의 동의를 요구하는 "추가적인 안전장치"를 갖추고 있다고 밝혔지만, "이러한 조치들을 지속적으로 테스트하고 있다"고 덧붙였습니다. 이는 회사가 아직 모든 필요한 부분을 완벽하게 갖추고 있지는 않다는 것을 시사합니다.