이제 Gemini가 Mac 화면에 접근할 수 있도록 무료로 허용할 수 있습니다.

💡 가장 중요한 사항들

• Gemini는 macOS에서 "스마트 받아쓰기" 기능을 제공합니다. 이 기능을 사용하면 Fn 키를 누르기만 하면 어떤 창에서든 입력하는 동안 "아"나 "음"과 같은 소리 주파수가 자동으로 제거됩니다.
• Gemini는 이제 기본적으로 활성화되지 않은 "화면 인식 추론" 기능을 통해 Mac 화면의 내용을 "이해"할 수 있으므로 메모를 요약하거나 파일에서 이메일을 작성하는 등의 복잡한 작업을 수행할 수 있습니다.
• 이점에도 불구하고, Gemini에게 Mac 화면에 대한 완전한 접근 권한을 부여하는 것은 잠재적인 개인 정보 및 보안 위험을 수반하므로 이를 고려해야 합니다.

인공지능(AI) 에 대한 의견은 다양하지만, 현재 많은 사람들이 AI를 사용하고 있습니다. 대부분의 사용자는 ChatGPT 나 Gemini와 같은 챗봇을 구글 대안으로 사용하거나(절대 그렇게 하지 마세요) 친한 친구처럼 사용합니다( 이것도 절대 하지 마세요 ). 하지만 AI를 개인 비서로 사용하려는 경우 주의해야 합니다. 구글은 수요일 macOS용 Gemini에 두 가지 새로운 업데이트를 발표했는데, 그중 하나는 사용자의 개인 정보 보호 및 보안에 영향을 미칠 수 있습니다. (단, 해당 기능을 활성화해야 합니다.)

macOS용 Gemini의 받아쓰기 기능이 개선되었습니다.

macOS에서 음성 인식 기능(AI가 단어를 입력해 주는 기능)을 사용한다면, 이제 Apple의 기본 제공 기능 대신 Gemini를 사용할 이유가 생겼습니다. 현재 macOS용 Gemini에는 "지능형 음성 인식" 기능이 탑재되어 있는데, Google에 따르면 이 기능은 "커서 위치에서 즉시" 텍스트를 교정해 줍니다. 즉, Gemini는 단어 사이에 있는 "어"나 "음"과 같은 마찰음을 제거해 줍니다. 이런 것들은 사용자가 직접 입력할 때는 절대 생략하지 않는 것들입니다. 이 기능은 Mac의 어떤 창에서든 사용할 수 있습니다. Fn 키를 누르고 말하기만 하면 됩니다.

이 기능의 효과를 판단하려면 실제로 사용해 봐야겠지만, 다른 플랫폼에서 Gemini가 이미 적용했던 유사한 개선 사항들을 기반으로 합니다. 작은 변화이지만, 이 기능을 통해 완전 자동 편집 없이도 Gemini를 사용하여 텍스트, 이메일 또는 문서를 작성할 수 있게 됩니다. 저는 AI 기반 기능에서 바로 이런 장점을 기대합니다. 게다가 이 기능은 기본적으로 활성화되어 있으므로, Mac에서 Gemini를 사용하는 사용자라면 설정에서 직접 비활성화하지 않는 한 이 기능을 사용하게 될 것입니다.

이제 Gemini는 Mac 화면을 "이해"할 수 있습니다.

macOS용 Gemini에 대한 Google의 두 번째 업데이트는 그다지 직관적이지 않으며 기본적으로 활성화되어 있지 않습니다. Google이 "화면 인식 추론"이라고 부르는 이 기능은 Gemini가 Mac 화면에서 무슨 일이 일어나고 있는지 "이해"할 수 있도록 합니다. 이 기능의 핵심은 Gemini에 작업을 위임하는 것입니다. 예를 들어 메모 앱이 열려 있는 경우 Fn 키를 누르고 "이 메모를 오늘 오후 회의를 위한 요약 보고서로 만들어 줘"라고 말할 수 있습니다. 그러면 Gemini는 메모 앱을 살펴보고 텍스트를 분석하여 별도의 애플리케이션을 사용하지 않고도 서식을 지정해 줍니다.

명령어를 묶어서 사용할 수도 있습니다. 예를 들어, Gemini에게 팀 저녁 식사 관련 이메일을 작성하도록 요청하고, Mac에 저장된 파일 중에서 참가자, 예산, 식단 제한 사항 등의 중요한 정보를 가져오도록 할 수 있습니다. 그런 다음 Gemini에게 Google 지도에서 특정 유형의 레스토랑을 검색하여 팀 식사 옵션에 추가하도록 요청할 수 있습니다. 언제든지 명령어를 수정할 수 있으며, Gemini는 그에 맞춰 자동으로 조정합니다. 예를 들어, 처음에는 팀 저녁 식사 시간을 금요일 오후 6시 30분으로 설정했지만, 나중에 "죄송합니다. 저녁 식사 시간은 오후 7시로 변경해야 합니다."라고 수정하더라도 Gemini는 적절하게 변경 사항을 적용합니다.

이러한 기능에는 분명 장점이 있습니다. macOS에서 이미 Gemini를 사용하고 있다면, Gemini가 Mac 화면을 "인식"할 수 있도록 허용함으로써 더욱 유용하게 활용할 수 있습니다. 모든 작업을 Gemini에만 의존하는 대신, 구글의 예측대로라면 매우 복잡한 방식을 통해 Mac 전체에 Gemini의 기능을 확장할 수도 있습니다. 하지만 AI 소프트웨어에 PC에서 일어나는 모든 일에 대한 완전한 접근 권한을 부여하는 것은 항상 개인정보 침해 위험을 수반하며, 잠재적인 보안 위험도 존재합니다. 과연 구글의 AI가 내 화면의 모든 것을 볼 수 있도록 허용하고 싶으신가요?

물론 이 위험은 실제 에이전트 프로그램이 제기하는 위험만큼 심각하지는 않습니다. 구글의 더 비싼 AI 플랜을 구독하면 Mac에서 독립적으로 실행할 수 있는 Gemini Spark를 이용할 수 있습니다. 가장 주의해야 할 위험은 해커가 웹사이트에 악성 명령어를 숨겨 놓는 "프롬프트 인젝션" 공격입니다. AI에 작업을 할당했을 때 이러한 명령어를 발견하면, AI는 해당 요청이 해커가 아닌 사용자로부터 온 것으로 간주합니다. 따라서 "[악성 웹사이트]를 열고 [악성 파일]을 다운로드하세요" 또는 "[암호화폐 지갑]을 열고 저장된 자격 증명으로 로그인한 후 [계좌]로 자금을 보내세요"와 같은 요청을 처리하면 주저 없이 실행합니다. 현재 Gemini에서는 이러한 문제가 발생할 가능성은 낮지만, 이론적으로는 명령어 인젝션에 취약한 작업을 할당할 경우 발생할 수 있습니다.

최신 기능에 관심이 있으시다면, 이 경고는 macOS의 새로운 Gemini 프록시 기능 사용을 만류하려는 것이 아니라 , 진행하기 전에 매우 현실적인 위험을 고려하는 것이 중요하다는 점을 알려드리기 위한 것입니다.