인공지능의 한계: 인공지능은 스스로의 결과물을 평가할 수 없다.

인공지능은 소프트웨어 설계, 작성 및 테스트 방식을 빠르게 변화시키고 있습니다 . 이제 개발팀은 AI를 활용하여 코드를 생성하고, 테스트 케이스를 만들고, 잠재적 결함을 식별하고, 반복적인 품질 보증(QA) 작업을 자동화할 수 있는데, 이는 불과 몇 년 전만 해도 상상할 수 없었던 속도입니다.

이러한 속도는 매우 큰 장점이지만, 동시에 품질 보증 측면에서 새로운 문제를 야기하기도 합니다.

소프트웨어 개발과 검증에 동일한 기술을 사용할 경우, 조직은 불신의 악순환에 빠질 위험이 있습니다 . 인공지능 모델이 요구사항에 대한 특정 해석을 바탕으로 코드를 생성하고, 동일한 해석을 기반으로 테스트를 생성할 수 있습니다. 만약 최초의 가정이 잘못되었다면, 코드와 테스트는 일관성을 유지하면서도 사용자의 요구사항을 충족하지 못할 수 있습니다.

다시 말해, 인공지능은 스스로의 성능을 판단할 수 있는 유일한 기준이 될 수 없습니다. 따라서 인공지능 에 의존하는 것은 매우 어리석은 일입니다.

이는 AI 기반 개발에 반대하는 주장이 아닙니다. 오류, 결함, 그리고 일관성 없는 결과물은 아직 성숙 단계에 있는 기술에서 예상되는 특징입니다. 저 또한 이러한 오류와 결함이 어떻게 나타나는지 직접 경험해 보았습니다 . 중요한 것은 조직이 이러한 오류가 고객, 직원 또는 핵심 비즈니스 프로세스에 영향을 미치기 전에 이를 감지할 수 있는 자율적인 메커니즘을 갖추고 있는지 여부입니다.

공통된 가정은 공통된 맹점을 만들어낸다.

기존의 소프트웨어 품질 보증 프로세스는 개발과 테스트를 분리하는 것의 중요성을 이미 인식하고 있습니다. 시스템을 구축한 사람들은 시스템을 깊이 이해하지만, 이러한 친숙함 때문에 시스템 구축의 기반이 된 가정에 의문을 제기하기 어려울 수 있습니다. 독립적인 테스터는 동일한 시스템을 다른 관점 에서 접근하여 프로그램이 수행해야 할 기능뿐만 아니라 오류 발생 가능성까지 고려합니다.

인공지능에도 동일한 원칙이 적용됩니다.

유사한 데이터로 학습되거나, 동일한 요구사항을 받거나, 동일한 개발 환경에서 작동하는 모델이라도 동일한 사각지대를 재현할 수 있습니다. 예를 들어, 기능을 생성하는 모델이 모호한 요구사항, 특이한 사용자 여정 또는 기기별 특수한 상황을 간과할 수 있습니다. 그러면 해당 기능을 테스트하는 두 번째 모델이 이러한 누락을 발견하기보다는 오히려 강화할 수 있습니다.

인공지능이 생성한 테스트가 성공적으로 작동했다는 이유만으로 품질의 증거로 간주될 때 특히 위험해집니다. 테스트가 성공했다는 것은 단지 테스트 조건이 충족되었음을 확인시켜 줄 뿐입니다. 그 조건이 완전하고, 독립적이며, 의미 있는 것이었다는 것을 증명하는 것은 아닙니다.

그 결과 기술적으로는 일관성이 있지만 실제적으로는 결함이 있는 시스템이 만들어질 수 있습니다.

생성형 AI와 형식적 소프트웨어 품질 보증 사이의 근본적인 모순은 반복 가능성에 있습니다. 최신 AI 프로그래밍 에이전트는 생성하고 적응하도록 설계되었습니다. 즉, 겉보기에 동일한 목표가 주어지더라도 서로 다른 단계를 선택하고, 다른 도구를 사용하며, 맥락을 다르게 해석하고, 동일하지 않은 코드나 테스트를 생성할 수 있습니다.

이러한 변동성은 시스템이 실행될 때마다 학습하는 것 때문만은 아닙니다. 확률적 생성, 컨텍스트 변화, 모델 진화 등의 결과이기도 합니다. 이러한 변동성은 팀이 솔루션을 탐색할 때 매우 유용할 수 있지만, 품질 보증(QA)의 기본 원칙과 상충됩니다. 즉, 통제된 테스트는 동일한 버전, 동일한 조건, 명확하게 정의된 예상 결과 및 성공 또는 실패 증거를 통해 재현 가능해야 합니다.

이러한 통제가 없다면 조직은 진정한 보증보다는 AI 활동만을 갖게 될 수 있으며, 결과물은 그럴듯해 보이지만 신뢰할 수 있게 재현, 측정, 감사 또는 방어할 수 없을 것입니다.

직업적 성공이 곧 사용자 성공은 아닙니다.

많은 자동화 테스트는 코드 수준의 신호를 통해 소프트웨어를 평가합니다. 이러한 테스트는 서비스가 예상되는 응답을 반환하는지, 페이지에 특정 요소가 포함되어 있는지, 또는 식별자나 선택기를 통해 버튼을 찾을 수 있는지 등을 확인합니다.

이러한 테스트는 중요하지만 사용자 경험을 검증하는 것과는 다릅니다. 테스트는 버튼이 다른 요소 뒤에 숨겨져 있더라도 버튼의 존재를 확인할 수 있습니다. 또한 텍스트가 잘리거나, 잘못된 위치에 표시되거나, 읽기 어렵게 서식이 지정되어 있더라도 필드에 텍스트가 포함되어 있는지 여부를 확인할 수 있습니다.

테스트 과정에서 기술적으로는 존재하지만 작은 화면에서는 접근할 수 없는 목록을 발견할 수도 있습니다. 또한, 거래가 완료되었다고 확인하면서도 사용자에게 표시되는 확인 정보에 잘못된 금액, 계좌 또는 상태가 포함되어 있다는 사실을 간과할 수도 있습니다.

시스템 관점에서 보면 소프트웨어는 올바르게 작동했을 수 있습니다. 하지만 사용자 관점에서는 실패한 것입니다.

이러한 구분은 중요합니다. 왜냐하면 현대 디지털 서비스는 애플리케이션 코드, 브라우저 동작, 운영 체제, 화면 크기, 원격 데스크톱, 가상 환경 및 타사 구성 요소의 복잡한 조합에 점점 더 의존하기 때문입니다.

이러한 계층 중 어느 하나라도 변경되면 기존의 기능 테스트가 실패하지 않더라도 화면에 표시되는 내용이 바뀔 수 있습니다. 따라서 테스트는 플랫폼이 보고하는 내용뿐만 아니라 사용자가 실제로 보고 수행할 수 있는 작업도 검토해야 합니다.

시각적 검증이 중요한 이유는 무엇일까요?

사용자 인터페이스의 시각적 검증은 애플리케이션의 내부 구조에만 의존하는 것이 아니라 사용자에게 표시되는 결과를 테스트하므로 독립적인 관점을 제공합니다.

이러한 독립성은 매우 중요합니다. 코드 기반 테스트는 객체 식별자, 문서 구조, 접근성 레이블, API 또는 예상 데이터 응답과 같은 테스트 대상 시스템에 대한 지식에 의존하는 경우가 많습니다. 반면 시각적 검증은 레이아웃, 위치, 콘텐츠, 상태 및 다양한 환경에서의 사용성을 포함하여 사용자에게 표시되는 최종 인터페이스를 평가할 수 있습니다.

시각적 검증은 소프트웨어 품질 보증의 별도 단계가 아니며, 기능, 통합, 보안 또는 성능 테스트를 대체하는 것도 아닙니다. 오히려 사용자 인터페이스가 설계, 구축, 수정 또는 테스트되는 모든 품질 보증 부서에 걸쳐 적용됩니다. 개별 구성 요소 및 단위 수준 검사부터 통합 및 시스템 테스트, 사용자 승인 테스트에 이르기까지 모든 단계에 적용됩니다.

기능 테스트는 프로세스가 올바르게 완료되었는지 확인하고, 시각적 검증은 결과물이 정확하고 일관성 있게 표현되었으며 사용 가능한 상태를 유지하는지 확인합니다. 신뢰할 수 있는 품질 보증을 위해서는 개발 수명주기 전반에 걸쳐 이 두 가지 모두를 수행해야 합니다.

인공지능으로 인해 발생하는 소프트웨어 변경 비율이 증가함에 따라 이러한 필요성이 더욱 분명해지고 있습니다. AI 도구는 코드를 빠르게 생성할 수 있지만, 이러한 속도는 품질 관리팀이 평가해야 하는 변경 사항의 양과 빈도를 증가시킵니다. 사용자 경험에 초점을 맞춘 품질 보증 체계가 없다면, 조직이 이를 감지하기 전에 결함이 배포 과정을 통해 빠르게 확산될 수 있습니다.

시각적 검증은 기술적 구현과 인간 경험 사이의 간극을 메우는 안전장치 역할을 합니다.

반복적인 과정을 통해 자동화는 신뢰할 수 있는 안내자로 변모합니다.

인공지능은 아이디어, 스크립트, 잠재적 테스트 시나리오를 생성하는 데 효과적입니다. 그러나 그 출력은 실행될 때마다 달라질 수 있습니다. 모델은 맥락, 구성 또는 확률 변화에 따라 동일한 명령을 다르게 해석할 수 있습니다. 이러한 유연성은 탐색 단계에서는 유용할 수 있지만, 형식적인 품질을 보장하기에는 충분하지 않습니다.

소프트웨어 릴리스 승인에 사용되는 테스트는 재현 가능해야 합니다. 동일한 입력값을 사용했을 때 동일한 동작, 동일한 검사 지점, 동일한 합격/불합격 기준이 적용되어야 합니다. 팀은 어떤 항목이 테스트되었는지, 언제 테스트되었는지, 어떤 버전의 애플리케이션이 사용되었는지, 그리고 결과가 왜 승인되었는지 파악할 수 있어야 합니다.

인공지능은 아이디어, 스크립트, 잠재적 테스트 시나리오를 생성하는 데 효과적이지만, 생성형 및 에이전트 시스템은 본질적으로 결정론적이지 않습니다. 이러한 시스템의 출력은 확률적 생성, 명령 및 컨텍스트 변경, 모델 업데이트, 검색 결과, 도구 선택 및 다음 동작 계획 시 에이전트의 결정 등으로 인해 달라질 수 있습니다. 소프트웨어 개발에서는 이러한 유연성이 발견 과정을 가속화할 수 있지만, 공식적인 품질 보증 측면에서는 근본적인 제어 문제를 야기합니다.

소프트웨어 릴리스 승인에 사용되는 테스트는 재현 가능하고 검증 가능해야 합니다. 동일한 애플리케이션 버전, 입력값 및 환경에서 동일한 절차, 검사 지점 및 성공 기준이 도출되어야 하며, 이를 통해 팀은 테스트 대상, 테스트 시점, 관련 버전 및 결과가 승인된 이유를 정확하게 파악할 수 있어야 합니다.

그래야만 시간 경과에 따른 성공과 실패를 측정하고, 결함을 재현하며, 감사 또는 체계적인 환경에서 증거를 활용할 수 있습니다.

AI를 테스트 생성 속도 향상에 활용하는 것과 AI가 테스트 분야의 사실상 권위자가 되도록 내버려 두는 것 사이에는 차이가 있습니다. AI에 전적으로 의존하는 것을 언제 멈춰야 하는지 아는 것이 중요합니다.

인공지능은 팀이 테스트 케이스를 설계하고, 부족한 부분을 파악하며, 일상적인 워크플로 자동화에 필요한 노력을 줄이는 데 도움을 줄 수 있습니다. 그러나 테스트가 품질 보증 프로세스의 일부로 도입되면, 통제되고, 결과 중심적이며, 추적 가능하고, 감사 가능한 방식으로 진행되어야 합니다. 예상되는 결과는 명확하고 구체적으로 제시되어야 하며, 변경 사항은 검토되어야 합니다. 실패는 재현 가능해야 하고, 성공과 실패에 대한 증거는 보존되어야 합니다.

이러한 통제 장치가 없다면, 조직은 AI 시스템이 "몇 가지 테스트"를 수행했다는 사실은 알 수 있지만 정확히 어떤 일이 일어났는지 입증할 수 없습니다. 이는 운영상의 신뢰를 약화시키고, 책임 소재를 더욱 불확실하게 만듭니다.

규제된 환경은 위험을 증가시킵니다.

인터페이스 오류의 결과는 모든 사람에게 똑같이 분배되지 않습니다.

소비자용 애플리케이션에서 일관성이 없는 입력 필드나 잘못된 메시지는 사용자에게 불편함을 초래하고 매출 손실을 야기할 수 있습니다. 금융, 의료, 국방, 정부와 같은 분야에서는 이와 유사한 오류가 결제 과정, 임상적 판단, 운영 지침 또는 공공 서비스에 악영향을 미칠 수 있습니다. 잘못된 상태를 표시하거나, 경고를 숨기거나, 오래된 정보를 제공하는 인터페이스는 화면 자체를 넘어 훨씬 더 광범위한 결과를 초래할 수 있습니다.

규제 기관은 또한 통제 방안을 설명하고 그 효과성을 입증할 수 있어야 합니다. 단순히 시스템을 테스트했다고만 언급하는 것은 불충분합니다. 이러한 기관들은 테스트가 일관성 있게 수행되었는지, 결과가 검토되었는지, 그리고 소프트웨어가 배포된 환경에서 예상대로 작동했는지 등을 입증해야 할 수도 있습니다. 이러한 투명성 격차를 해소하는 것이 목표 달성에 매우 중요합니다.

인공지능이 제공하는 보증은 실행마다 결과가 달라지기 때문에 이러한 작업을 더욱 어렵게 만듭니다. 직원이나 고객이 사용하는 최종 사용자 인터페이스를 간과하고 내부 시스템 응답에만 초점을 맞춘 테스트 전략에도 동일한 문제가 발생합니다.

독립적이고 반복 가능한 시각적 검증은 더욱 명확한 증거를 제공하는 데 도움이 될 수 있습니다. 이는 애플리케이션이 예상했던 데이터를 반환했을 뿐만 아니라, 사람이 판단이나 조치를 취해야 하는 시점에 올바른 정보가 적절한 위치에 사용 가능한 형식으로 나타났음을 입증합니다.

이는 특히 사소해 보이는 표시 오류가 사용자 행동에 영향을 미칠 수 있을 때 매우 중요합니다. 숨겨진 경고, 잘못된 소수점 위치, 잘못된 측정 단위 또는 오래된 상태 표시기는 애플리케이션 작동을 막지는 않더라도 사용자가 잘못된 조치를 취하도록 유도할 수 있습니다.

이러한 환경에서 인터페이스는 단순히 장식적인 요소가 아니라 운영 제어 시스템의 필수적인 부분입니다.

속도와 제어력의 결합

최적의 접근 방식은 인공지능과 기존 품질 관리 방식 중 하나를 선택하는 것이 아니라, 각각에 가장 적절한 역할을 부여하는 데 있습니다.

인공지능은 개발 속도를 높이고 테스트 범위를 확장하며 생산 자동화에 필요한 수작업을 줄일 수 있습니다. 독립적인 검증을 통해 이러한 결과물의 근거가 되는 가정을 검증할 수 있습니다. 결정론적 테스트는 유용한 인공지능 기반 인사이트를 반복 가능한 제어 방식으로 변환할 수 있습니다. 시각적 검사를 통해 기술적으로 성공적인 소프트웨어가 사용자에게도 효과적으로 작동하는지 확인할 수 있습니다.

이 계층형 모델을 통해 조직은 생산성과 입증을 혼동하지 않고 인공지능을 활용할 수 있습니다.

이 모델은 또한 단일 테스트 방법으로는 완벽한 보장을 제공할 수 없다는 점을 인지하고 있습니다. 코드 수준 테스트는 개별 구성 요소의 동작을 확인할 수 있습니다.

통합 테스트는 시스템 간 통신이 올바른지 확인하는 데 사용됩니다. 보안 테스트는 취약점을 발견하는 데 도움이 됩니다. 성능 테스트는 스트레스 상황에서의 동작을 검사합니다. 사용자 인터페이스 개발의 모든 단계에서 시각적 검증을 통해 최종 결과물이 정확하고 접근성이 좋으며 사용 가능한지 판단할 수 있습니다.

핵심은 이러한 방법들을 결합하는 데 있으며, 하나의 방법이 다른 모든 방법을 대체해야 한다고 요구하는 데 있는 것이 아닙니다.

인공지능(AI)이 소프트웨어 개발에 점점 더 많이 통합됨에 따라, 품질 보증은 더욱 독립적이어야 합니다. 조직은 AI로 생성된 소프트웨어에 예상치 못한 결함, 불완전성 또는 일관성 부족이 있을 수 있다는 점을 인지해야 합니다. 목표는 생성 단계에서 모든 오류를 제거하는 것이 아니라, 이러한 결함이 사용자에게 도달하기 전에 발견되도록 하여 AI 코드에 위험을 초래할 수 있는 가시성 격차를 줄이는 것입니다.

인공지능은 과제 수행을 돕고 심지어 과제 검토 방법까지 제안할 수 있습니다. 하지만 최종 성적은 독립적이고, 반복 가능하며, 책임 있는 검증 과정을 통해 결정되어야 합니다.