Perplexity: 클라우드에 접근하기 전에 권한을 요청하는 로컬 컴퓨터 AI.

대부분의 AI 비서 는 질문, 파일 및 기타 데이터를 제3자 서버로 전송해야 합니다. 하지만 퍼플렉시티의 새로운 휴대용 컴퓨터는 이러한 개념을 완전히 뒤집어, 전체 AI 시스템을 사용자의 기기에서 실행합니다.

화요일에 발표된 휴대용 컴퓨터를 통해 Perplexity의 스마트 컴퓨터 플랫폼이 Nvidia DGX Spark 및 호환되는 Nvidia 그래픽 카드를 탑재한 기타 Linux 장치에 적용 가능해졌습니다.

회사 측은 모든 작업이 사용자의 기기에서 시작된다고 설명합니다. 로컬 모델이 더 고급 추론이 필요한 단계에 도달하면, 휴대용 컴퓨터는 해당 단계를 클라우드의 고급 모델로 보내기 전에 권한을 요청합니다. 그러면 응답이 로컬 워크플로로 다시 전송되고, 파일 및 기타 중요한 정보는 기기에 그대로 남아 있을 수 있습니다.

이러한 점 때문에 클라우드 서비스 제공업체에 모든 처리 작업을 자동으로 넘기지 않고도 사용하기 쉬운 AI 에이전트를 원하는 사람들에게 매력적일 수 있습니다.

하지만 단점은 상당히 비싸다는 점입니다.

단순한 로컬 설치형 챗봇 그 이상

이미 컴퓨터에서 오픈 소스 템플릿을 다운로드하고 실행할 수 있습니다. 하지만 어려운 점은 이러한 템플릿 중 하나를 파일 작업, 도구 사용, 여러 단계를 거치는 작업 완료가 가능한 AI 에이전트로 전환하는 것입니다.

일반적으로 이 작업에는 추론 엔진을 찾고 구성하는 것뿐만 아니라 에이전트 하네스, 샌드박스 및 외부 애플리케이션에 액세스하는 데 필요한 커넥터를 연결하는 작업이 포함됩니다. 또한 이러한 모든 구성 요소가 함께 작동하도록 보장해야 합니다.

휴대용 컴퓨터는 이러한 구성 요소를 단일 시스템으로 결합합니다. 여기에는 로컬 모델, 추론 엔진, 프록시 도구, 애플리케이션 커넥터 및 코드를 실행하고 도구를 사용할 수 있는 격리된 환경(샌드박스)이 포함됩니다.

인공지능은 컴퓨터에 저장된 파일을 다루고, PDF 파일을 읽고, 셸 명령어를 실행하고, 음성 인식을 하고, 웹을 검색할 수 있습니다. 또한 사용자는 Google Drive, Gmail, Slack, GitHub와 같은 서비스를 통합할 수 있습니다.

Perplexity에 따르면 코드와 도구는 로컬 샌드박스 환경 내에서 사용됩니다. 이는 AI 에이전트와 시스템의 나머지 부분을 어느 정도 분리해 줍니다. 하지만 에이전트가 정확히 무엇에 접근할 수 있고, 그 권한이 어떻게 제어되는지에 대한 자세한 정보가 필요합니다.

그는 언제 도움을 요청해야 하는지 알고 있다.

하이브리드 라우팅은 휴대용 컴퓨터에서 가장 흥미로운 부분일 것입니다.

규모가 작은 로컬 모델은 파일을 찾거나 PDF에서 정보를 추출하거나 일련의 간단한 단계를 수행하는 데에는 충분할 수 있습니다. 그러나 OpenAI , Anthropic 또는 Google의 대규모 모델이 제공하는 추론 능력에는 미치지 못할 가능성이 높습니다.

Perplexity의 해결책은 모델이 안정적으로 처리할 수 없는 문제를 만날 때까지 작업을 로컬에서 처리하는 것입니다. 그런 다음 휴대용 컴퓨터는 해당 단계를 클라우드 기반 모델로 보낼 수 있는지 문의할 수 있습니다.

사용자는 개인정보 보호 설정을 정의하거나 자체 라우팅 규칙을 만들 필요가 없습니다. 시스템이 작업 중에 자동으로 결정을 내리지만, 사용자는 여전히 핸드오버를 승인해야 합니다. 로컬 시스템이라고 주장하는 AI 시스템이라도 작업이 어려워질 때마다 조용히 클라우드로 복귀한다면 개인정보 보호 측면에서 크게 취약해집니다. 개인정보 보호 방법에 대해 더 자세히 알아보려면 ChatGPT, Gemini, Cloud, Perplexity의 개인정보 보호 정책 비교 자료를 참조하세요.

Perplexity는 또한 로컬에서 완료된 작업은 청구서 잔액에 영향을 미치지 않는다고 명시합니다. 클라우드로 전송된 부분만 클라우드 사용량에 포함됩니다.

출시 시점에 사용자는 27억 개의 파라미터를 가진 Qwen 모델 또는 나중에 학습된 자체 개발 Perplexity 모델인 PPLX 27B 중에서 선택할 수 있습니다. 이후 엔비디아의 Nemotron 3.5 Lightning 모델이 추가될 예정입니다. 또한 사용자는 자체 모델과 추론 서버를 가져와 사용할 수도 있습니다.

문제는 장비에 있다.

휴대용 컴퓨터는 사용자의 컴퓨터에서는 작동할 수 있지만, 모든 컴퓨터에서 작동하는 것은 아닙니다.

이 소프트웨어는 리눅스에서 먼저 실행되며 최소 24GB의 VRAM을 갖춘 Nvidia 하드웨어가 필요합니다. 데스크톱 크기의 Nvidia DGX Spark는 물론 ARM 또는 x64 하드웨어에서 DGX OS 또는 Ubuntu를 실행하는 호환 컴퓨터도 지원합니다.

윈도우 지원은 9월에 제공될 예정입니다. 퍼플렉시티는 아직 macOS 지원을 발표하지 않았습니다.

휴대용 컴퓨터는 Perplexity Pro, Max, Enterprise Pro 및 Enterprise Max 구독자에게 제공될 예정입니다. 하지만 호환되는 구독을 보유하고 있더라도 대부분의 사용자는 책상 아래에 필요한 하드웨어를 갖추고 있지 않을 것입니다.

따라서 이번 초기 버전은 일반 노트북에서 ChatGPT 와 Perplexity 중 하나를 고민하는 사람보다는 이미 고성능 엔비디아 시스템을 보유한 AI 애호가, 개발자 및 기업에 더 적합합니다 .

하지만 이러한 기본 아이디어는 훨씬 더 많은 사람들에게 적용될 수 있습니다. AI 비서들은 이메일, 업무 문서, 기기에 저장된 파일 등 점점 더 많은 개인 정보에 접근하고 있습니다 . Plus를 로컬에서 실행하면 사용자는 자신의 기기에서 어떤 정보가 언제 유출되는지 제어할 수 있는 또 다른 방법을 얻게 됩니다.

휴대용 컴퓨터는 아직 대부분의 사람들에게 클라우드 기반 챗봇을 대체할 준비가 되어 있지 않습니다. 하지만 이를 구동하는 데 필요한 하드웨어 가격이 합리적으로 책정되면 더욱 개인화된 AI 비서가 어떤 모습일지 엿볼 수 있게 해줍니다.