연구 결과: AI 로봇은 가벼운 압력만으로도 동의를 하거나 잘못된 정보를 제공할 수 있다

인공지능 기반 챗봇은 정보를 왜곡하는 경향이 있다는 악명이 높으며, 심지어 사용자의 잘못된 의견에 동의하는 경우도 있습니다. 새로운 연구에 따르면, 부정을 받아들이지 않거나 계속해서 부정을 주장하는 것이 문제를 악화시킬 수 있으며, 약간의 압력만 가해도 챗봇 이 결국 부정에 동의하고 잘못된 정보를 제공하게 만들 수 있다고 합니다.

애리조나 대학교 연구진은 GPT-3.5, GPT-4o, GPT-4o-mini, Claude 3.5 Sonnet , Gemini 1.5 Pro, Llama 3 70B, DeepSeek-R1을 포함한 7개의 인공지능 모델을 테스트했습니다. 연구진은 단일 응답을 기준으로 평가하는 대신, 모델과 지속적인 대화를 이어가며 모델이 이미 틀렸다고 알고 있는 정보를 반복적으로 제공했는데, 이는 마치 계속해서 질문을 던지는 것과 유사한 방식입니다.

이 연구에서는 완전히 터무니없는 내용부터 다소 모호한 정보까지 모든 것을 아우르는 100개의 허위 진술을 사용했습니다. 연구진은 챗봇이 결국에는 동의하는지 확인하기 위해 동일한 대화에서 이 잘못된 정보를 최대 50번까지 반복했습니다.

거짓말을 충분히 자주 반복하면 인공지능도 그것을 믿을지도 모릅니다.

7개 모델 모두 완전히 면역된 것은 아니었습니다. ChatGPT 3.5는 반복적인 잘못된 정보에 가장 취약한 것으로 나타났으며, 상호작용의 12.3%에서 거짓 진술을 확인했습니다. 반면 Claude 3.5 Sonnet은 0.08%로 가장 적은 영향을 받았으며, GPT-4o와 GPT-4o-mini 모델은 1% 미만을 유지했습니다.

처음에 ChatGPT 3.5는 100개의 허위 주장 중 96개를 거부했습니다. 그러나 동일한 주장이 50번 반복된 후에는 결국 18개를 받아들였습니다. 연구진은 또한 일부 모델이 동일한 허위 정보를 수용했다가 거부했다가를 반복하는 현상을 관찰했는데, 이를 "반향(reverberation)"이라고 명명했습니다.

또한 , 주제가 모호하고 온라인에서 이용 가능한 정보가 상대적으로 적을 때 AI는 조작에 더 취약했습니다. 연구진은 반복 테스트를 통해 정보의 모호성과 잘못된 정보 수용 사이에 통계적으로 유의미한 상관관계가 있음을 발견했습니다.

인공지능과 논쟁을 벌이는 것은 기묘한 결과를 낳는다.

연구진은 챗봇이 점점 더 논쟁적인 답변을 하도록 유도하는 실험도 진행했습니다. 대부분의 모델은 양호한 결과를 보였지만, 기존 연구에서 지적했듯이 AI 챗봇은 여전히 ​​심각한 사각지대를 가지고 있으며 , DeepSeek-R1은 이러한 점에서 주목할 만한 예외였습니다. 단순한 반복 상황에서 1%에 불과했던 잘못된 정보 확인율이 논쟁적인 상황에서는 22.2%로 급증했습니다. 또한, 빈번한 비꼬는 말투와 암시적인 표현 사용으로 인해 일부 답변은 연구진이 정확하게 분류하기 어려웠습니다.

모델들이 오류를 재검토할 기회를 다시 얻었을 때 좋은 소식이 있었습니다. GPT-4o, GPT-4o-mini, Gemini 1.5 Pro, DeepSeek 모델은 이전 오류를 모두 수정했지만, GPT-3.5는 32%만 수정했습니다. Claude 3.5 Sonnet은 초기에는 오류가 거의 없었지만, 네 가지 오류를 모두 수정하는 데는 실패했습니다. 연구진은 표본 크기가 너무 작아 확고한 결론을 내리기는 어렵다고 경고했습니다.