구글 제미니 모델, 악의적 목적으로 악용: 스마트 홈 시스템 해킹 및 제어 가능성

과거에는 데이터 유출 사고가 헤드라인을 장식했지만, 이제는 너무 흔해져서 대부분의 사람들에게 더 이상 놀라운 일이 아닙니다. 이러한 뉴스는 대기업이 연루되어 수백만 명에게 영향을 미칠 때만 주목을 받는데, 64만 명의 고객에게 피해를 입힌 T-모바일 데이터 유출 사건이 대표적인 예입니다 . 데이터 유출 경로는 매우 다양하기 때문에 거의 모든 디지털 서비스나 제품에는 이를 방지하기 위한 안전장치가 마련되어 있습니다.

물론 이러한 제품들이 완벽한 것은 아니며, 공격자가 충분히 교묘하다면 악의적인 공격을 실행할 방법은 항상 존재합니다. 구글의 제미니(Gemini)와 같은 대규모 언어 모델(LLM)의 등장으로 이러한 AI 도구가 악의적인 목적으로 사용될 가능성이 항상 제기되고 있습니다. 아직까지 심각한 사례는 보고되지 않았지만, 와이어드(Wired)지는 제미니를 이용해 상상도 못 할 방식으로 우리의 삶에 접근하는 연구 프로젝트를 소개했습니다 . 이 연구는 제미니가 어떻게 악용되어 가정 내 스마트 기기를 포함한 디지털 생활의 다양한 측면을 제어할 수 있는지 보여주며, 인공지능 시대의 보안과 개인정보 보호에 대한 우려를 불러일으킵니다.

이런 유형의 공격은 더욱 위험해질 수 있습니다.

텔아비브 대학교의 벤 나시, 스타브 코헨, 오르 야이르는 구글 제미니를 이용해 스마트 홈에 접근하고 제어하는 ​​프로젝트 " 초대장만 있으면 된다(Invitation is All You Need )"를 공개했습니다. 흥미로운 점은 공격이 집 내부에서 시작되는 것이 아니라, 전혀 관련 없는 다른 구글 제품을 통해 시작된다는 것입니다.

간단히 말해, 사용자가 특정 프롬프트와 상호 작용할 때 원치 않는 절차가 실행됩니다. 교묘한 점은 이 절차가 사용자에게 보이지 않게 숨겨져 있다는 것입니다. 연구팀은 이 작동 방식을 자세히 설명하며 , 이 "프롬프트웨어"가 악성 행위를 수행하기 위해 대규모 언어 모델(LLM)을 사용한다는 사실을 밝혔습니다.

연구진은 "단기 컨텍스트 포이즈닝"과 "장기 메모리 포이즈닝"을 사용하여 제미니가 프롬프트에 원래 포함되지 않은 동작을 수행하도록 할 수 있다는 것을 발견했습니다. 이를 통해 다양한 Google 앱의 이벤트를 삭제하고, Zoom 통화를 시작하고, 사용자 위치를 제공하고, 스마트 홈 제품을 제어하는 ​​등의 작업이 가능했습니다. "간접 프롬프트 주입"으로 알려진 이러한 유형의 공격은 대규모 언어 모델이 외부 데이터와 상호 작용하는 방식의 취약점을 악용합니다.

연구팀은 또한 놀라운 튜토리얼 영상을 통해 이 모든 것이 어떻게 작동하는지 보여줍니다. 이는 타인의 삶에 자신도 모르게 엄청난 피해를 입히는 간단하면서도 효과적인 방법입니다. 사람들은 전통적인 해킹 방식에 더 집중하고 있기 때문에, 이와 같은 일은 매우 예상치 못한 결과로 이어질 수 있습니다.

다행히 연구팀은 2월에 이 문제를 구글에 보고했고, 문제 해결을 위해 해당 팀과 회동했습니다. 구글은 "민감한 작업에 대한 사용자 확인 개선, 살균 및 신뢰 수준 정책을 적용한 강력한 URL 처리, 콘텐츠 분류기를 활용한 고급 클레임 주입 탐지 등 다층적인 방어 체계를 구축했다"고 밝혔습니다.

이 프로젝트는 "대규모 언어 모델 기반 어시스턴트에 영향을 미치는 이론적 간접 청구 주입 기법"을 강조하는데, 이는 AI 도구가 더욱 정교해짐에 따라 가까운 미래에 더욱 보편화될 수 있습니다. 이 또한 아직 초기 단계이며, 향후 더 심각한 피해를 방지하기 위해 더 철저한 모니터링이 필요합니다. 일상생활에서 AI에 대한 의존도가 높아짐에 따라 이러한 잠재적 위험을 이해하고 완화하는 것이 매우 중요해졌습니다.

보안 취약점에 관심이 있다면 구글의 버그 헌터 프로그램에 참여하여 발견 사항을 제출할 수 있습니다 . 인공지능은 현재 모니터링 대상의 극히 일부에 불과하므로 다양한 방식으로 기여할 수 있습니다. 특히 심각한 취약점을 발견한 경우에는 구글에서 보상도 제공하므로 더욱 보람 있게 참여할 수 있습니다.