인공지능이 평범하고 순수한 아이들의 사진을 끔찍한 성 착취물로 바꾸고 있다는 충격적인 진실이 드러났습니다.

해변에서 뛰어노는 아이들의 사진, 축구하는 아들의 사진, 심지어 집 앞에서 활짝 웃는 온 가족의 사진까지, 이 모든 것들이 제가 소셜 미디어에 공유했던 사진들입니다. 현대 생활의 소소한 모습을 담은 비슷한 사진들을 자주 접하는 것을 보면 저만 그런 건 아닐 거라고 생각합니다.

하지만 인공지능은 새롭고 우려스러운 위험을 초래했는데, 방금 언급한 사진들처럼 평범하고 실제적인 아이들의 이미지가 아이나 부모의 동의 없이 성적 착취 이미지로 변질될 수 있도록 허용하는 것입니다.

분명히 말씀드리지만, 이것은 이론적인 위협이 아닙니다.

인공지능이 생성한 아동 성착취 이미지 광고 332건이 전달되었습니다.

기술 투명성 프로젝트(TTP)의 새로운 조사에 따르면 페이스북과 인스타그램에서 인공지능(AI)으로 생성된 수백 건의 아동 성착취물(CSAM) 광고가 유포되고 있는 것으로 드러났습니다. 와이어드(WIRED) 에 따르면 연구진은 평범한 사진이 조작된 실제 아동 4명을 확인했습니다 . 여기에는 10대 인플루언서 2명, 스톡 사진 웹사이트에 사진이 등장했던 10대 초반 아동 1명, 그리고 유럽 왕실의 어린 구성원 1명이 포함됩니다.

TTP는 총 332건의 AI 기반 아동 성착취물(CSAM) 광고를 발견했습니다. 이 광고들 대부분은 AI를 이용해 아동의 이미지를 조작하여 마치 성행위를 하는 것처럼 보이게 만든 것이었습니다.

이러한 연구 결과는 생성형 인공지능이 온라인에서 아동 이미지 공유를 둘러싼 위험성을 어떻게 변화시켰는지 에 대한 불안한 경각심을 일깨워줍니다 . 이제는 실제 사진이 없어도 그럴듯한 가짜 이미지를 만들 수 있으며, 일반 이미지만으로도 충분한 원자재를 제공할 수 있습니다.

평범한 이미지를 AI가 생성한 불쾌한 콘텐츠로 바꾸는 방법

이미지 생성 인공지능 도구는 기존 이미지를 가져와서 인물의 원래 특징을 유지하면서 일부를 수정할 수 있습니다.

연구원들은 메타 광고에 등장했던 여러 어린이들에게 이러한 일이 일어났다고 말합니다.

WIRED에 따르면, 연구진은 미성년자 4명의 이미지를 추적하여 원래 출처를 밝혀냈습니다. 그중 두 명은 공개 소셜 미디어 계정을 가진 10대 인플루언서였고, 다른 한 명은 스톡 사진 웹사이트에 이미지가 올라와 있던 10대 미만 아동이었습니다. 나머지 한 명은 유럽 왕실의 어린 구성원이었습니다.

원본 이미지 중 어느 것도 성적인 내용을 담고 있지 않아도 오용될 수 있었습니다.

인터넷 감시 재단의 홍보 책임자인 엠마 하디는 WIRED와의 인터뷰에서 "AI 애플리케이션은 아동 성학대의 실감 나는 범죄 이미지를 매우 쉽게 만들어낼 수 있게 해 주며, 일상적인 아이들의 사진이 도용되어 성적인 콘텐츠로 변질될 새로운 위험을 초래하고 있다"고 말했다.

일반 이미지가 공개되면 누구나 다운로드하여 이미지 편집용 AI 도구에 입력할 수 있습니다.

Meta의 AI는 수백 개의 광고를 감지하지 못했습니다.

최근 조사 규모는 이러한 콘텐츠의 확산을 막는 것이 얼마나 어려운지를 보여줍니다.

지난 8월, TTP 연구진은 메타 플랫폼 전반에서 아동 성학대 관련 콘텐츠가 포함된 광고 53건을 처음으로 발견했습니다. 메타는 이후 해당 광고 중 상당수가 회사가 부적절한 광고를 업로드 시점에 감지하는 기능을 개선하기 위해 개발한 새로운 AI 기술을 도입하기 전에 게재되었다고 밝혔습니다.

하지만 연구원들은 계속해서 그러한 광고들을 발견했습니다. 실제로 TTP는 인공지능이 생성한 아동 성착취물(CSAM)이 포함된 광고를 총 332개 발견했으며, 그중 수백 개는 메타가 개선된 탐지 기술을 발표한 이후에 나타났다고 밝혔습니다. 이는 인공지능 기반 모니터링의 효과성에 대한 의문을 제기합니다.

이는 특히 중요한데, 단순히 페이스북이나 인스타그램 게시물이 검열망을 뚫고 들어온 것이 아니기 때문입니다. 이것들은 유료 광고였습니다.

메타에 따르면 광고는 게재 허가를 받기 전에 검토 과정을 거치며, 자동화 시스템이 이 과정에서 핵심적인 역할을 한다고 합니다.

Meta 대변인 트레이시 클레이튼은 WIRED와의 인터뷰에서 "아동의 나체를 합성하는" 앱이나 아동 착취 행위에 대해 무관용 정책을 시행하고 있으며, 이미지에 실제 아동이 등장하든 AI가 생성한 아동이 등장하든 마찬가지라고 밝혔습니다. Meta는 악의적인 행위자들이 의도적으로 탐지 시스템을 회피하려 하며, 일부 영상은 아동의 모습이 잠깐씩 나오거나 흐릿하게 처리되어 탐지가 어렵다고 설명했습니다.

회사 측은 연구원들이 지적한 광고 중 상당수가 이미 삭제되었으며, 대부분 노출 횟수가 200회 미만이고, 해당 광고로 인한 수익은 5000달러 미만이었다고 밝혔습니다. 그러나 연구원들은 광고가 신고된 후 도달률이 증가한 사례들을 기록했습니다.

TTP는 실제 십대 청소년을 대상으로 한 광고 하나가 유럽의 4개 계정에 도달했다는 사실을 메타에 신고했다고 밝혔습니다. 며칠 후 메타가 해당 광고를 삭제했을 때, 그 광고는 330개 이상의 계정에 도달한 상태였습니다.

이번 조사는 이러한 도구들이 광범위하게 사용되고 있음을 보여줍니다.

연구원들은 애플 앱스토어와 구글 플레이 스토어에서 이용 가능한 약 50개의 앱으로 사용자를 유도하는 광고를 발견했습니다. WIRED에 따르면, 이번 광범위한 조사에서 분석한 350개의 광고 중 약 300개가 인공지능 기반 이미지 또는 비디오 생성기를 홍보하는 것이었습니다.

애플은 WIRED와의 인터뷰에서 일부 개발자들이 처음에는 규정을 준수하는 버전의 앱을 제공하다가 나중에 금지된 콘텐츠 삭제 기능을 추가했다고 밝혔습니다. 애플은 연구원들이 지적한 20개 앱 중 17개를 삭제했으며, 나머지 3개 앱에 대해서도 조치를 취했고, WIRED가 추가로 발견한 7개 앱에 대해서도 조치를 취했다고 덧붙였습니다.

구글 측은 보고서에 언급된 모든 앱을 삭제했으며, 정책 위반으로 수백 개의 다른 앱에 대해 서비스 중단 조치를 취했다고 밝혔습니다.

하지만 이러한 조사 결과는 특정 플랫폼에 국한되지 않는 문제를 드러냅니다. 인공지능이 이러한 불쾌한 이미지를 생성하는 데 사용될 수 있기 때문입니다. 대부분의 AI 도구는 규제를 받지 않아 기업들이 위험에 처해 있습니다. 앱 스토어에서 이러한 이미지를 만드는 데 사용된 도구를 배포할 수 있고, 광고 플랫폼에서 이를 홍보하는 광고를 게재할 수도 있습니다.

이 시스템의 각 계층에는 자체 보안 시스템이 있을 수 있지만, 유해 콘텐츠는 이러한 시스템을 한 번만 통과하면 사용자에게 도달할 수 있습니다.

인공지능이 생성한 자녀의 이미지를 발견한다면 어떻게 하시겠습니까?

자녀의 성적인 이미지가 인공지능에 의해 생성되었다는 사실을 알게 된 경우, 다른 사람들에게 경고하려는 목적으로 해당 이미지를 다시 게시하거나 널리 공유하지 마십시오.

대신, 계정 이름, 페이지 제목 및 기타 관련 세부 정보와 같이 해당 콘텐츠가 나타나는 위치를 파악하는 데 도움이 되는 정보를 보관하고 해당 콘텐츠를 플랫폼에 직접 신고하십시오.

미국에서는 아동 성 착취가 의심되는 사례를 국립실종아동착취방지센터의 사이버신고센터(CyberTipline)에 신고할 수도 있습니다.

부모는 18세 미만 아동의 나체, 반나체 또는 성적으로 노골적인 사진이나 동영상이 온라인에 공유되는 것을 막기 위해 설계된 NCMEC의 'Take It Down' 서비스를 이용할 수도 있습니다 . 이 시스템은 이미지를 직접 업로드하지 않고도 이미지의 디지털 지문(해시값)을 생성합니다.

AI로 생성된 이미지는 새롭고 더 복잡한 시나리오를 만들어내기 때문에, 처리된 이미지가 신고 기준에 부합하는지 확신이 서지 않는 부모는 스스로 판단하려 하기보다는 발견한 내용을 신고해야 합니다.

결론

부모들은 오랫동안 '공유'의 위험성과 자녀의 디지털 발자국에 대해 경고를 받아왔습니다. '공유'는 '육아'와 '공유하다'를 합친 신조어로, 부모가 자녀의 사진, 동영상, 개인 정보 등을 소셜 미디어에 공유하는 행위를 가리킵니다.

부모가 자녀의 사진이나 동영상을 AI가 악용할 위험을 완전히 없앨 수는 없지만 , 공개적으로 공유되는 자녀 사진의 수를 줄이고 공유하는 콘텐츠를 더욱 신중하게 선택함으로써 악용 가능성이 있는 사람들에게 제공되는 자료의 양을 줄일 수 있습니다.

---

---