과거에는 해킹 소식이 뉴스 헤드라인을 장식했지만, 이제는 너무 흔해져서 대부분의 사람들에게는 더 이상 놀랍지 않습니다. 대기업에서 발생하여 수백만 명의 사람들에게 영향을 미칠 때에만 주목을 받게 되는데, 그 사례가 바로 T-Mobile 해킹 사건, 64만 고객 피해데이터가 손상될 수 있는 방법은 매우 다양하기 때문에 거의 모든 유형의 디지털 서비스나 제품에는 이를 방지하기 위한 안전 장치가 마련되어 있습니다.
물론 이러한 제품들이 완벽하지는 않으며, 공격자가 충분히 똑똑하다면 악의적인 공격을 수행할 방법은 항상 존재합니다. 구글의 제미니(Gemini)와 같은 대규모 언어 모델(LLM)이 등장함에 따라 이러한 AI 도구가 악의적인 목적으로 사용될 가능성은 항상 존재합니다. 아직 주요 보고는 없지만, Wired는 연구 프로젝트를 강조했습니다. 제미니는 상상도 못했던 방식으로 당신의 삶에 접근하는 데 이용되고 있습니다. 이 연구는 제미니가 디지털 라이프의 다양한 측면, 특히 집에 있는 스마트 기기를 통제하는 데 어떻게 악용될 수 있는지를 보여주며, 인공지능 시대의 보안 및 개인정보 보호에 대한 우려를 불러일으킵니다.
이런 유형의 공격은 더욱 위험해질 수 있습니다.
텔아비브 대학의 Ben Nassi, Stav Cohen, Or Yair는 "초대장만 있으면 됩니다"제미니를 사용하여 스마트 홈에 접근하고 제어합니다. 흥미로운 점은 공격이 집 내부에서 시작되지 않고, 관련 없는 다른 Google 제품을 통해 프로세스를 시작한다는 것입니다.
간단히 말해, 사용자가 특정 프롬프트로 Gemini를 사용할 때 원치 않는 동작이 트리거됩니다. 이 모든 기능의 가장 큰 장점은 사용자에게 숨겨져 보이지 않는다는 것입니다. 그는 다음과 같이 설명합니다. 연구팀은 이것이 어떻게 작동하는지 자세히 설명합니다."프롬프트웨어"는 대규모 언어 모델(LLM)을 사용하여 악성 활동을 수행합니다.
연구진은 "단기 컨텍스트 포이즈닝"과 "장기 메모리 포이즈닝"을 사용하여 제미니가 프롬프트에 원래 포함되지 않은 동작을 수행하도록 할 수 있다는 것을 발견했습니다. 이를 통해 다양한 Google 앱의 이벤트를 삭제하고, Zoom 통화를 시작하고, 사용자 위치를 제공하고, 스마트 홈 제품을 제어하는 등의 작업이 가능했습니다. "간접 프롬프트 주입"으로 알려진 이러한 유형의 공격은 대규모 언어 모델이 외부 데이터와 상호 작용하는 방식의 취약점을 악용합니다.
연구팀은 또한 놀라운 튜토리얼 영상을 통해 이 모든 것이 어떻게 작동하는지 보여줍니다. 이는 타인의 삶에 자신도 모르게 엄청난 피해를 입히는 간단하면서도 효과적인 방법입니다. 사람들은 전통적인 해킹 방식에 더 집중하고 있기 때문에, 이와 같은 일은 매우 예상치 못한 결과로 이어질 수 있습니다.
다행히 연구팀은 2월에 이 문제를 구글에 보고했고, 문제 해결을 위해 해당 팀과 회동했습니다. 구글은 "민감한 작업에 대한 사용자 확인 개선, 살균 및 신뢰 수준 정책을 적용한 강력한 URL 처리, 콘텐츠 분류기를 활용한 고급 클레임 주입 탐지 등 다층적인 방어 체계를 구축했다"고 밝혔습니다.
이 프로젝트는 "대규모 언어 모델 기반 어시스턴트에 영향을 미치는 이론적 간접 청구 주입 기법"을 강조하는데, 이는 AI 도구가 더욱 정교해짐에 따라 가까운 미래에 더욱 보편화될 수 있습니다. 이 또한 아직 초기 단계이며, 향후 더 심각한 피해를 방지하기 위해 더 철저한 모니터링이 필요합니다. 일상생활에서 AI에 대한 의존도가 높아짐에 따라 이러한 잠재적 위험을 이해하고 완화하는 것이 매우 중요해졌습니다.
보안 취약점에 관심이 있는 사람이라면 언제든지 찾은 내용을 Google에 제출하세요 버그 헌터 프로그램을 통해 다양한 방법으로 기여할 수 있습니다. AI는 현재 모니터링되고 있는 것의 극히 일부에 불과하기 때문입니다. 더 심각한 문제가 관련된 경우, 구글은 여러분의 노고에 대한 보상을 제공하여 더욱 큰 보람을 선사합니다.
댓글이 닫혀있다.