Copilot Vision을 사용한 경험: 이상한 느낌이지만 어느 정도 유용합니다. 제 의견은 다음과 같습니다.

미국 사용자들은 이제 Windows 11(및 10)에서 PC에서 하는 거의 모든 작업을 도와주는 AI 비서, Copilot Vision을 사용할 수 있습니다. 정말 효과가 있는지 궁금하세요? 제가 직접 사용해 보았는데, 이 가이드에서는 이 기능이 무엇을 제공하는지, 어떻게 사용할 수 있는지, 그리고 제가 직접 사용해 본 경험을 자세히 설명하겠습니다.

Copilot 앱에서는 다음과 같은 기능이 있습니다. "비전" 챗봇과 화면을 공유하여 챗봇이 화면에 표시된 내용을 보고 해석할 수 있도록 하는 기능입니다. 챗봇은 제2의 눈 역할을 하며 앱이나 브라우저에 표시되는 콘텐츠를 기반으로 실시간 도움말, 답변, 그리고 유용한 정보를 제공합니다.

이 기능 역시 선택 사항이므로 Copilot 버전 1.25061.104.0 이상에서는 수동으로 활성화해야 합니다. 브라우저를 사용하는 경우 마이크로 소프트 에지Copilot 통합을 통해서도 이 기능에 액세스할 수 있습니다.

DRM으로 보호된 자료나 기타 제한된 콘텐츠가 아닌 한 AI는 거의 모든 콘텐츠를 표시할 수 있다는 점에 유의하는 것이 중요합니다.

이 기능은 구독이 없는 사람도 사용할 수 있습니다. 코파일럿 프로 Windows 10 및 11에서 사용 가능합니다. iOS 및 Android에서도 Copilot Vision에 액세스할 수 있지만 이러한 모바일 기기에서 사용하려면 구독이 필요합니다.

이 가이드에서는 이 기능을 사용하는 데 필요한 단계를 간략하게 설명하고 내 경험을 공유하겠습니다.

Windows 11에서 Copilot Vision을 얻고 활성화하는 방법

Copilot Vision은 현재 미국에서 Copilot 앱 버전 1.25061.104.0 이상부터 사용할 수 있습니다. 따라서 먼저 Microsoft Store 앱을 열고 "다운로드 및 업데이트" 섹션으로 이동한 후 "업데이트 받기" 버튼을 클릭하여 컴퓨터에 최신 버전의 앱이 설치되어 있는지 확인하세요. 이 단계는 기기가 새로운 기능과 호환되는지 확인하고 Copilot의 전반적인 성능을 개선하는 데 필수적입니다.

이전에 앱을 삭제했다면 Microsoft Store에서 앱을 다운로드할 수 있습니다. 스토어에서 Copilot을 검색하여 설치하면 모든 기능을 사용할 수 있습니다.

Microsoft는 Vision이 선택 기능이라고 설명하는데, 기술적으로는 사실입니다. 화면 공유 권한을 부여해야 하기 때문입니다. 하지만 설정 페이지에서 이 기능을 완전히 끌 수 있는 옵션이 없기 때문에 기본적으로 사용 가능합니다. 즉, 앱을 업데이트하면 Vision을 사용할 수 있지만, 화면 콘텐츠에 접근하기 전에 사용자의 명시적인 동의가 필요합니다.

Copilot 설정 페이지에는 "하이라이트"를 켜고 끄는 옵션만 있지만, 이 기능은 AI가 화면 동작을 시각적으로 표시하는 기능만 제어할 수 있습니다. 앱에서 이 기능의 사용 가능 여부는 제어하지 않습니다. 즉, "하이라이트"를 비활성화하더라도 Vision 기능은 계속 사용할 수 있지만 화면의 시각적 요소를 강조 표시하지는 않습니다.

Copilot 사용에 불편함을 느끼신다면, 설정 > 앱 > 설치된 앱에서 앱을 삭제하고 "삭제" 옵션을 탭하여 "Copilot"을 실행하세요. 이렇게 하면 앱이 기기에서 완전히 삭제되어 데이터나 시스템 리소스에 접근하지 않습니다.

Windows 11에서 Copilot Vision을 사용한 경험: 첫 번째 살펴보기

Windows 11에서 Copilot Vision을 처음 사용했을 때는 조금 낯설게 느껴졌습니다. 이전에는 경험하지 못했던 패러다임의 전환이었기 때문입니다. 맥락을 파악하기 위해 자세한 텍스트나 음성 명령을 입력해야 했던 Copilot의 지능형 비서는 마치 맥락을 자동으로 이해하여 즉각적이고 효과적인 지원을 제공하는 듯했습니다. 구체적인 지시 없이도 맥락을 이해하는 이러한 능력은 우리가 컴퓨터와 상호작용하는 방식에 큰 변화를 가져왔습니다.

Copilot Vision의 정확도는 아직 개발 중이지만, 컴퓨팅의 미래를 엿볼 수 있는 단초를 제공합니다. 이는 컴퓨터가 단순히 특정 명령을 실행하는 도구가 아니라, 우리의 요구를 이해하고 예측하는 지능형 파트너가 되는, 더욱 원활하고 통합된 컴퓨팅 경험을 향한 유망한 발걸음을 보여줍니다. 이 기술은 우리의 업무, 창작, 학습 방식을 근본적으로 바꿀 잠재력을 가지고 있습니다.

Copilot Vision 시작하기

Copilot Vision이 내 컴퓨터에서 사용 가능한지 확인한 후 테스트를 시작했습니다. 몇 가지 애플리케이션을 열고 부조종사 시작 메뉴에서 다음으로 버튼을 클릭하세요. "비전" (안경)을 선택한 다음 Copilot과 공유하려는 앱을 선택하고 옵션을 활성화합니다. "공유".

응용 프로그램에 대한 테스트 문제

메모장을 사용하는 동안 Copilot에 응용 프로그램의 기본 글꼴을 변경하는 방법을 보여달라고 요청했지만 잘못된 답변을 받았습니다.

부기장은 목록을 검색해 보라고 제안했습니다. "전망" (보기) 옵션이 있었지만, 이 위치에는 없었습니다. 현재 메모장 디자인에서는 글꼴 변경 설정이 메뉴에서 접근할 수 있는 설정 페이지에 있기 때문입니다. "편집하다" (편집) 또는 버튼을 클릭하여 기어 (기어)는 애플리케이션의 오른쪽 상단에 있습니다.

결국 Copilot은 점진적인 제거 과정을 거쳐 정답에 도달했습니다. 흥미롭게도, 챗봇은 메모장의 여러 버전을 섞어서 실수를 했다고 지적했습니다. 하지만 메모장 버전 중 어떤 버전에도 메뉴에 글꼴 설정이 있었던 기억이 나지 않습니다. "전망" (보여주세요) 전혀요. 이는 Copilot이 오래되었거나 부정확한 정보를 기반으로 했을 가능성을 시사합니다.

시험 문제 설정

테스트 과정의 일환으로 Windows 11에서 설정 앱을 실행한 다음 Copilot에 최신 시스템 업데이트로 내 PC를 업데이트하도록 요청했습니다.

이 경우에는 가능했습니다 마이크로소프트 부조종사 Vision을 사용하면 설정 앱에 있다는 것을 정확하게 인식하고 해당 섹션으로 정확하게 안내해 주었습니다. "윈도우 업데이트" 그리고 버튼을 강조했습니다 "업데이트 확인".

다음으로, 덜 일반적이지만 여전히 관련성이 있는 질문을 제시했습니다. 업데이트 과정에서 컴퓨터가 다른 기기에 업데이트를 다운로드하는 것을 방지하는 방법을 물었습니다. 특별히 복잡한 요청은 아니었지만, 어시스턴트가 미묘한 사용자 의도를 어떻게 해석하는지 시험하는 것이었습니다.

첫 번째 시도에서 Vision은 질문을 잘못 이해하여 일반적인 기기 업데이트 안내를 기본으로 표시했습니다. 두 번째 시도에서는 제가 사용한 표현을 수정한 후 질문을 정확하게 인식했습니다.

하지만 해당 안내는 화면에 표시된 내용과 일치하지 않았습니다. 예를 들어, 아무런 조치도 취하지 않았는데도 업데이트 공유 기능이 성공적으로 비활성화되었다고 표시되었습니다. 이는 도우미가 실제 시스템 상태를 분석하는 것이 아니라 예상 동작을 기반으로 가정하고 있었음을 시사합니다. 이는 특히 Windows 11 설정 및 업데이트 옵션과 관련하여 Microsoft Copilot이 사용자 상황을 더욱 정확하게 이해하고 더욱 정확하고 신뢰할 수 있는 응답을 제공할 수 있도록 개선해야 할 필요성을 강조합니다.

요소 인식 테스트: 3단계

다음 테스트에서는 Copilot이 화면의 시각적 요소를 인식하는 능력을 테스트하고 싶었습니다. 이를 위해 특정 이미지를 열고 Copilot에게 이미지 속 요소를 정확하게 인식하도록 요청했습니다.

이 사례에서 Copilot Vision은 빨간색 재킷 이미지를 보여주었습니다. 챗봇은 제품을 정확하게 식별하고 설명할 수 있었으며, 요청 시 관련 추가 정보도 제공했습니다. 이는 Copilot Vision이 이미지를 분석하고 콘텐츠에 대한 자세한 정보를 제공하는 능력을 보여줍니다.

하지만 챗봇은 재킷이 아마존에서 판매 중이라는 것을 인식했지만, 이미지를 별도 탭에 열어 두었음에도 불구하고 제가 실제 제품 페이지를 탐색하고 있지 않다는 것을 파악하지 못했습니다. 결과적으로 아마존의 실시간 제품 페이지에 대한 정보를 제공할 수 없었습니다. 이는 Copilot이 시각적 정보를 사용자의 현재 탐색 상황과 연결하는 데 한계가 있음을 시사합니다.

텍스트 추출 테스트

Copilot Vision이 제공하는 또 다른 기능은 이미지에서 텍스트를 추출하는 것입니다. 이전에는 운영 체제에서 이미지 내 텍스트를 감지하고 추출할 수 없었지만, 이제는 이 작업을 효율적으로 수행할 수 있는 여러 가지 방법이 있습니다.

예를 들어, 이제 PowerToys를 통해 사용할 수 있는 텍스트 추출 기능, 스니핑 도구와 같은 특수 텍스트 추출 도구가 있습니다. 클릭하여 수행이제 이 과정에서도 Copilot Vision을 믿으실 수 있습니다.

이 기능을 테스트하기 위해 설정 앱의 게임 모드 페이지를 열고 Copilot에 기존 텍스트를 추출할 수 있는지 물어봤습니다. 지능형 봇은 페이지의 모든 텍스트를 성공적으로 소리 내어 읽었습니다.

제가 겪은 유일한 단점은 Click to Do처럼 추출된 텍스트를 클립보드에 복사하거나 텍스트를 직접 선택할 수 없다는 점이었습니다. 하지만 봇은 모든 내용을 대화 기록의 일부로 Copilot 앱에 복사했습니다.

텍스트 쓰기 테스트: 콘텐츠 분석 및 최적화에 있어서 AI의 역량

기술적으로, 화면에 표시된 모든 것에 대해 질문할 수 있습니다. 예를 들어, 특정 파일을 작업 중이라면 AI에게 차트나 기타 표시된 데이터를 분석하도록 지시할 수 있습니다.

이 기술을 사용하면 특정 장면이나 이미지에 대한 설명을 요청하거나, 랜드마크나 지리적 위치를 식별하거나, 상상할 수 있는 모든 것을 할 수 있습니다. 그 가능성은 무궁무진합니다.

글을 쓰고 있다면 AI에게 읽어주고 개선 아이디어를 제안해 달라고 요청할 수 있습니다. 이 기능은 특히 작가, 블로거, 그리고 글쓰기의 질을 향상시키고자 하는 학생들에게 유용합니다.

지난번 테스트에서는 간단한 텍스트를 메모장에 입력하고 챗봇에게 길이를 늘려 달라고 요청했습니다. 챗봇은 원본 텍스트보다 개선된 대체 버전을 성공적으로 제안했습니다.

스마트 어시스턴트가 화면에 표시된 텍스트를 이해하고 대체 버전을 제안하는 능력은 인상적이었지만, 다음에 필요한 작업을 이해하는 데 있어서는 그다지 정확하지 않았습니다.

제안된 텍스트를 직접 복사하여 바꿀 수는 없다는 것을 알고 있었지만, 대체할 텍스트 버전을 복사하여 붙여넣을 수 있는지 물었더니 대신 삽입할 수 있는 파일의 섹션을 알려주었습니다.

해결책은 Copilot Vision을 열었다가 닫은 다음, Copilot 인터페이스에서 채팅 기록의 텍스트를 선택하여 복사하는 것입니다. 이렇게 하면 AI 제안을 쉽고 효과적으로 활용할 수 있습니다.

결론

수년간 가이드를 작성해 온 사람의 관점에서 볼 때, 이 기술은 화면 내용을 이해하고 필요한 지원을 제공하는 데 매우 인상적이라고 생각합니다.

하지만 이 방법은 많은 실수를 야기할 수 있으며, 수행하려는 절차에 대한 기본적인 이해가 없다면 그다지 유용하지 않을 수 있다는 점을 인지해야 합니다. 다시 말해, 최대한 활용하려면 해당 주제에 대한 사전 지식이 필수적입니다.

또한, 완벽한 인식을 바탕으로 행동하는 것처럼 보이지만, 실제로는 이미 온라인에 공개된 콘텐츠를 복제하는 인공지능일 뿐입니다. 이는 혁신적인 도구로서의 가치를 떨어뜨립니다.

Copilot Vision을 사용하는 것은 마치 전화로 기술 지원 담당자와 대화하는 것처럼 느껴질 때가 있습니다. 챗봇은 화면을 볼 수 있지만, 기술 지원 담당자처럼 안내를 해주며, 작업 완료 여부를 제대로 파악하지 못하는 경우가 많습니다. 이러한 상황 인식 부족은 심각한 문제입니다.

더욱이 대부분의 경우, 지시 사항은 매우 구체적이어야 하며, 수행하려는 정확한 동작을 명시해야 하는 경우도 많습니다. 이는 사용자의 의도를 자연스럽게 이해해야 하는 AI의 목적과 근본적으로 상반됩니다. 이 기능은 기술 전문 지식이 있는 사람들이 이 기능에 의존할 가능성이 낮기 때문에, 주로 비전문가를 위해 설계되었다는 점을 기억하는 것이 중요합니다.

전반적으로 Vision은 개인 비서로서 유망해 보이지만, 더 깊은 맥락 인식과 정확성은 아직 개선의 여지가 있습니다. 화면 콘텐츠의 현재 상태를 적극적으로 모니터링하고 반응하기보다는 명령에 따라 "추측"하는 듯한 느낌이 듭니다. 이로 인해 복잡한 상황에서는 신뢰도가 떨어집니다.

마지막으로, 이 가이드에 사용된 구체적인 질문은 관련성이 없으므로 언급하지 않습니다. 챗봇의 핵심은 마치 다른 사람과 대화하는 것처럼 자연스러운 대화를 진행하는 것입니다. 원활한 상호작용에 중점을 두어야 합니다.

또한, 이 기능은 사용자를 대신하여 작업을 수행할 수 없습니다. 화면의 내용을 분석할 수만 있습니다. 작업을 수행하려면 AI가 에이전트여야 하지만, 현재는 Copilot+ PC에서만 이 기능을 사용할 수 있으며, 설정 앱에서는 제한적으로만 사용할 수 있습니다.

마지막으로, 이 기능은 무료이지만 제약이 있습니다. 예를 들어, Microsoft 365 구독이 있는데도 몇 번 사용 후 앱에서 Copilot Pro로 업그레이드하라는 메시지가 표시됩니다.

따라서 문제를 해결 중이고 진행 중이라면 AI 지원 서비스 비용을 지불하라는 요청을 받을 수 있습니다. 이러한 방식은 무료 지원에 의존하는 사용자에게는 불만을 야기할 수 있습니다.