한편, AI 도구 등 ChatGPT 그리고 구글 제미니 그리고 DeepSeek 이메일을 쓰고, 내용을 요약하고, 글의 톤을 정하는 데 매우 유용합니다.
2022년 말 이전의 삶은 상상하기 어렵습니다. 대부분의 사람들이 ChatGPT가 콘텐츠 작성의 어려운 부분을 해결해 줄 수 있다는 것을 알게 된 그 시절 말입니다. 자기소개서가 필요하신가요? 5초면 인사말과 경력 요약을 포함한 자기소개서를 작성할 수 있습니다.
반면, AI가 생성한 저질 콘텐츠는 우리 주변에 널려 있습니다. 챗봇이 작성한 텍스트는 독창성 부족이나 모호한 세부 사항 등 명백한 징후를 보입니다. 하지만 이러한 설전 속에서도 AI 봇은 끊임없이 발전하고 있습니다.
ChatGPT에 콘텐츠를 더욱 사실적으로 재작성하고 GPTZero와 같은 앱의 탐지를 피할 수 있도록 다시 작성해 달라고 요청할 수 있습니다. 전쟁은 시작되었고, 진정한 고양이와 쥐의 게임이 되었습니다.
이 전쟁에서 누가 이기고 있는지는 정확히 알 수 없습니다. 학생이든, 직장 관련 콘텐츠를 작성하든, 심지어 이번 여름 가족 모임에 보낼 이메일을 작성하든, AI 글쓰기를 접하는 것은 생각보다 훨씬 쉽습니다. 잠시 생각해 볼 만한 부분입니다.
예를 들어, 대부분의 대학 교수는 이제 과제에 AI 탐지 서비스를 실행하는 방법을 알고 있습니다. GPTZero라는 인기 있는 도구는 확률 지수를 사용하여 콘텐츠에 AI가 관여하는지 여부를 감지합니다.
하지만 모든 AI 감지 앱이 같은 방식으로 작동하는 것은 아닙니다.
탁월한 도구 하나와 실패한 도구 하나를 발견했습니다. 테스트를 위해 제가 집필 중인 책의 샘플 챕터를 사용했습니다. 아래 나열된 다섯 가지 AI 감지 앱에 챕터 전체를 로드했습니다.
ChatGPT에 가상의 직무에 대한 자기소개서를 작성해 달라고 부탁했습니다. 봇에게 AI가 드러나지 않도록 재치와 독창성을 발휘해 달라고 부탁했습니다. 마지막으로 ChatGPT에게 이 에세이를 대신 작성해 달라고 부탁했습니다. 저와 AI가 반반씩 나눠서요. (실제로는 절대 하지 않을 일이죠.)
세 가지 테스트에서 각 AI 감지 도구의 성능은 다음과 같습니다. 가장 우수한 도구도 포함되었습니다.
1. 전반적으로 가장 좋음: GPTZero
저는 GPTZero를 여러 번 사용해 봤는데, 무료 버전에서도 서비스 구독 없이 소량의 텍스트를 감지할 수 있기 때문입니다. 이 리뷰에서는 월 23.99달러로 기본 및 고급 스캔 기능을 제공하는 프리미엄 정식 버전을 사용했습니다.
GPTZero는 고급 스캐닝을 사용하여 긴 텍스트를 여러 페이지로 나누고 각 섹션에 대해 AI 생성 텍스트일 가능성을 평가합니다. GPTZero는 실제로 AI 생성 가능성이 1%인 단락 몇 개와 AI 생성 가능성이 5%인 문장 몇 개를 표시했습니다. 하지만 전반적으로 서비스는 매우 잘 작동했습니다.
ChatGPT로 작성한 자기소개서를 테스트해 보니, GPTZero가 다른 모든 앱보다 확실히 뛰어났습니다. 해당 서비스는 자기소개서가 AI가 작성했을 가능성이 100%라고 보고했습니다. 유일한 문제는 이러한 전반적인 평점에도 불구하고 일부 잘못된 정보가 있다는 것이었습니다.
GPTZero는 소수의 문장을 사람이 생성한 것으로 분류했습니다. 제가 GPTZero에 50%는 사람이, 50%는 AI가 생성한 제 에세이를 검토해 달라고 요청했을 때, 서비스는 58%가 사람이 작성한 것으로 분류했습니다. 이는 AI 탐지 애플리케이션 중 가장 정확한 수치입니다.
2. Originality.AI: AI가 생성한 콘텐츠를 감지하는 종합 도구
Originality.AI는 AI가 생성한 콘텐츠를 감지하여 상세하고 정확한 결과를 제공하는 포괄적이고 진보된 솔루션입니다. Pro 플랜은 월 약 12.95달러이며 2000 크레딧이 포함되어 있습니다. 제 책의 발췌문에 대해 이 도구를 테스트했을 때, Originality.AI는 전체 텍스트를 100% 신뢰도로 사람이 작성한 것으로 식별했습니다. 이는 유일하게 정확하게 식별한 도구입니다. 이는 매우 안심할 만한 결과이지만, 전체 점수가 100%임에도 불구하고 일부 문장에 의문을 제기하여 AI가 작성한 것으로 간주했습니다.
ChatGPT에서 생성된 자기소개서 테스트에서 Originality.AI는 91%가 사람이 작성했다고 보고했습니다. 제가 ChatGPT에 AI 감지를 피하고 독특한 스타일로 작성해 달라고 요청했기 때문인데, 이 결과는 다소 우려스럽습니다.
또 다른 테스트에서 ChatGPT에 이 에세이를 완성해 달라고 요청했는데, 그 결과는 정말 충격적이었습니다. Originality.AI는 전반부만 사람이 작성했음에도 불구하고 전체 에세이를 100% 신뢰도 높은 독창적인 것으로 분류했습니다. (ChatGPT에 에세이 완성을 요청했을 때, 봇에게 에세이 스타일을 맞춰 달라고 요청했는데도 불구하고 다소 일반적인 내용이 나왔습니다.) 특히 학생들 사이에서 흔히 볼 수 있는 관행임에도 불구하고, Originality.AI는 이러한 속임수에 넘어간 것 같습니다. 이는 AI 탐지 도구를 신중하게 사용하고 결과를 비판적으로 평가하는 것이 얼마나 중요한지 보여줍니다. 이러한 도구가 100% 완벽하지 않으며 때로는 오류가 발생할 수 있다는 점을 명심해야 합니다.
3. 문법
Grammarly는 기본적으로 오류 없는 글쓰기와 표절 방지를 위한 도구이지만, 강력한 AI 감지 기능도 포함하고 있습니다. 제 생각에는 좀 지나치게 민감합니다.
인터페이스로 간주됩니다 문법 표절과 AI 작성을 동시에 표시해서 좀 헷갈리네요. 앱이 제 챕터 중 하나에 "텍스트의 7%가 외부 출처와 일치합니다"라고 표시했는데, 저는 그게 모욕적이라고 생각했습니다. 이건 사실이 아닐 뿐만 아니라 정말 답답합니다.
앱은 또한 글쓰기에서 흔히 나타나는 AI 패턴을 감지하지 못한다고 했는데, 다행이었습니다. 하지만 잘못된 플래그는 마음에 들지 않았습니다. Grammarly는 월 결제 시 월 30달러로 가격도 비쌉니다.
제가 사용한 방법은 ChatGPT에 감지되지 않도록 커버레터를 작성해 달라고 요청하는 것이었는데, Grammarly에서 "귀하의 문서는 참고 자료와 일치하지 않으며 일반적인 AI 텍스트 패턴도 포함되어 있지 않습니다."라고 응답하면서 완벽하게 효과가 있었습니다.
이는 완전히 사실이 아니었습니다. 해당 텍스트는 전적으로 AI에 의해 생성되었기 때문입니다. 제가 50% 저, 50% AI로 구성된 기사를 입력했을 때도 같은 결과가 나타났습니다. XNUMX%가 인간이 생성했다고 하더군요. 따라서 AI가 생성한 텍스트를 감지하는 데 있어 Grammarly의 효율성이 제한적이므로, 사용자는 신중하게 검토하고 Grammarly 외의 다른 방법을 사용하여 콘텐츠의 독창성을 확인해야 합니다.
4. 윈스턴 AI
Winston AI는 강력하고 모든 기능을 갖춘 애플리케이션으로, 여러 면에서 Originality.AI와 매우 유사합니다. 제 책의 샘플 챕터를 검토했을 때, Winston AI에 "인간" 점수인 96%를 주었는데, 이는 상당히 공정한 평가입니다.
안타깝게도 Grammarly와 마찬가지로, 이 시스템은 사람이 직접 작성했을 가능성이 50%에 불과한 일부 구절을 표시했습니다. 중간 부분에서 Winston AI는 실제로는 그렇지 않은 두 개의 단락 전체를 100% AI가 작성한 것으로 평가했습니다.
저는 Winston AI의 Essential 플랜을 테스트해 보았는데, 월 18달러의 비용이 들지만 표절을 감지하지 못했습니다. 연간 결제 시에는 월 12달러가 듭니다.
자소서의 경우, Winston AI는 매우 정확했습니다. 시스템은 해당 텍스트를 100% AI가 작성한 것으로 분류했지만, 후반부는 사람이 작성했을 가능성이 있다고 지적했습니다(사람이 작성했을 확률 48%를 시사).
다행히 Winston AI도 제 에세이를 정확하게 분류하여, 사람이 작성한 글일 가능성이 46%라는 것을 보여주었습니다. 앱은 AI가 전적으로 작성한 중간 부분을 식별했지만, 결론 부분(역시 AI가 작성한 부분)은 제외했습니다.
5. 가장 효과적이지 않은 사람: 모니카
Monica는 AI 생성 텍스트 탐지 도구 중 제가 가장 싫어하는 도구입니다. 주로 다기능성 때문에 그렇습니다. AI 탐지는 여러 기능 중 하나일 뿐입니다. 실제로 Monica는 탐지 과정에 Copyleaks를 사용합니다.
이 책의 장에서 모니카는 제 테스트 스크립트를 GPTZero 및 ZeroGPT와 유사하게 99% 인간과 유사하다고 분류했지만, 특정 섹션에 대한 추가 지침이나 피드백은 제공하지 않았습니다. 이러한 세부 정보 부족은 심층 분석 도구로서의 유용성을 떨어뜨립니다.
반면, 모니카는 AI가 작성한 자기소개서를 100% 정확도로 정확하게 감지했습니다. GPTZero도 동일한 결과를 제공했고, 모니카도 동일한 애플리케이션을 사용했기 때문에 이는 놀라운 일이 아닙니다.
모니카는 제 글을 감지하는 데 상당한 어려움을 겪었는데, 이 글은 50%가 사람이 작성하고 50%가 AI가 작성한 것이었습니다. 소프트웨어는 해당 글이 100% 사람이 작성한 것으로 판단했고, 나머지 절반인 AI가 작성한 부분은 식별하지 못했습니다. 이러한 심각한 오류는 모니카가 혼합 텍스트를 분석하는 데 있어 정확성에 의문을 제기합니다.
댓글이 닫혔습니다.