그것이 나타났을 때를 기억합니다 ChatGPT 처음으로 모두가 가장 먼저 한 말이 "작가들은 이제 끝장이다"였습니다. 사람들은 뉴스 사이트, 블로그, 그리고 인터넷에 있는 거의 모든 글이 AI에 의해 생성될 것이라고 추측하기 시작했습니다. 이러한 예측은 저에게는 극단적으로 보였지만, GPT가 만들어낼 수 있는 텍스트에는 깊은 인상을 받았습니다.
당연히 이 놀라운 새 도구를 직접 사용해 봐야 했지만, 곧 결과가 생각만큼 인상적이지 않다는 것을 깨달았습니다. 2년이 넘은 지금까지도 제 경험과 사용 사례에 있어서는 아무것도 변하지 않았습니다. 글쓰기에 ChatGPT를 사용할 때마다 속도가 느려지고 답답하기만 합니다. 실제로 전문적인 글쓰기에 ChatGPT 같은 도구를 사용하면, 특히 정확도와 스타일 면에서 기대에 못 미치는 결과를 얻는 경우가 많습니다.
왜 ChatGPT가 나에게 효과가 없나요?
ChatGPT는 정말 훌륭한 콘텐츠를 생성할 수 있습니다. 자연스럽고, 일관성 있고, 심지어 지적이고 흥미로운 언어까지 구사할 수 있습니다. 하지만 여러분이 흔히 접하는 주요 예시들은 대부분 매우 간단한 질문, 즉 2023년에 모두가 했던 "윌리엄 셰익스피어 스타일로 월마트 쇼핑에 대한 시를 써 보세요"와 같은 질문에서 비롯됩니다. 그러나 복잡한 작업이나 특정 요구 사항을 처리할 때 ChatGPT는 맥락을 이해하고 정확하고 관련성 있는 답변을 제공하는 데 한계가 있습니다. 이러한 단점으로 인해 심층 분석이나 전문적인 창의성이 필요한 상황에서는 효과적이지 않습니다.
죄송하지만, 이런 일을 해낼 수 있는 기술에 대해 냉소적일 수는 없습니다. pic.twitter.com/yjlY72eZ0m
— 토마스 H. 프타체크 (@tqbf) 2022 년 12 월 2 일
이런 것을 요청할 때, 그 결과가 훌륭한 이유 중 하나는 예상치 못한 것이기 때문입니다. 본질적으로 당신을 놀라게 해 달라고 요청하는 것이고, 대부분의 경우 성공할 것입니다.
반면, ChatGPT를 지루한 글쓰기에 사용하려고 하면 완전히 다른 이야기가 됩니다. 무엇보다 이런 글에는 전혀 쓸모가 없습니다. 제가 지금 쓰는 모든 글은 제 경험과 의견에 기반한 것인데, AI가 저를 대신해서 써줄 수는 없습니다. 어떤 사람들은 ChatGPT가 계획, 브레인스토밍, 또는 주장을 다듬는 데 도움이 될 수 있다고 주장할지도 모르지만, 저는 애초에 그런 종류의 도움을 받고 싶지 않았습니다.
제가 실제로 ChatGPT를 사용해 본 작업 유형은 기업 블로그입니다. 아시다시피, 회사 및 제품 관련 주제를 다루는 설명, 사용법, 추천 게시물(은근한 자기 홍보도 포함)입니다. 이런 종류의 글을 쓸 때는 종종 많은 요구 사항이 있습니다. 언어 및 문법 스타일 가이드, 포함할 키워드, 포함할 출처, 피해야 할 출처, 그리고 제목, 구조, 핵심 요점이 이미 정의된 상세한 콘텐츠 개요가 필요합니다.
사용 가능한 버전을 원했다면, GPT에 한 줄짜리 프롬프트만 제공하고 마구잡이로 실행하게 둘 수는 없었을 겁니다. 그래서 다음과 같은 구조를 시도해 보았습니다.
- 내가 무엇을 쓰고 있는지, 어떤 종류의 질문을 요청할 것인지 설명하는 초기 "맥락" 프롬프트와 내가 원하는 언어 스타일을 보여주는 예시 문단이 필요합니다.
- "내용 개요"가 포함된 후속 프롬프트에는 다룰 내용에 대한 요점과 함께 제목 하나 또는 둘이 제공되었습니다.
저는 한 번에 너무 많은 것을 요구하지 않았고, 그가 통계와 출처를 추가할 것이라고 믿지 않았기 때문에 나중에 직접 하려고 그 모든 것을 미루었습니다.
하지만 아무리 작업을 작은 부분으로 나누고 명확한 지침을 제공하려고 노력했지만, 항상 같은 문제에 부딪혔습니다.
- ChatGPT 끔찍한 지시를 듣는다.
- 그는 모든 일을 극단으로 몰고 가는 나쁜 습관이 있습니다.
- 잘못된 정보나 관련 없는 정보가 사본에 새어 나오는 경우가 많습니다.
- 그의 "글쓰기 스타일"은 매우 빠르게 반복적이고 진부해집니다.
- 위에서 언급한 문제 중 하나라도 발생하면 대규모 언어 모델(LLM)이 해당 출력을 성공적으로 검토하거나 수정하는 것이 거의 불가능합니다.
내 말이 무슨 뜻인지 보여드리죠.
1. ChatGPT의 세부적인 지시 이해에 대한 약점
ChatGPT에서 정확하고 구체적인 결과를 얻으려면 명확하고 자세한 지침을 제공하는 것이 필수적입니다. 하지만 요구 사항이 많을수록 모델이 일부 요구 사항을 무시할 가능성이 더 높은 것 같습니다. 예를 들어, 프롬프트에는 제목, 글머리 기호, 필요한 단어 수, 서식 지침 등이 포함될 수 있으며, 챗봇은 세션 시작 시 스타일 지침을 기억해야 합니다. 저는 작업을 간소화하기 위해 여러 가지 방법을 시도해 보았지만, ChatGPT가 이 정도 양의 지침을 처리할 수 없다는 생각이 들었습니다.
특히 단어 수와 점수 항목에서 자주 어려움을 겪었습니다. 대규모 언어 모델(LLM)은 제가 요청한 단어 수를 거의 제공하지 않았고 (보통 요청한 것보다 훨씬 적었습니다), 점수 항목을 원하는지 여부는 전혀 고려하지 않았습니다.
때로는 이 문제를 해결할 수 있습니다. 예를 들어, 글머리 기호를 포함한 200단어를 요청했는데 글머리 기호 없이 300단어를 받았다면, 몇 단어를 줄이고 글머리 기호를 추가하는 것은 비교적 쉽습니다. 하지만 안타깝게도 저는 항상 제 글이 가장 고치기 어려운 오류라고 느꼈습니다.
글머리 기호 없이 500단어를 요청했는데 글머리 기호가 있는 200단어를 받았다면, 사실상 대부분의 작업을 직접 해야 합니다. 이는 광범위한 수정과 상당한 노력을 필요로 하며, 이러한 경우 ChatGPT 사용의 효과를 떨어뜨립니다.
2. 과장하는 경향: ChatGPT의 문제
ChatGPT에 친근한 언어나 2인칭 시점 사용 등 구체적인 작업을 요청하면 ChatGPT는 이러한 개념에 집착하여 눈에 띄게 과도하게 사용하는 경향이 있습니다. 이러한 과도한 사용은 가장 두드러지는 문제 중 하나입니다. ChatGPT의 단점.
친근한 언어가 이모티콘을 이용한 본격적인 텍스트 채팅으로 변하고, 두 번째 사람은 어떻게든 독자에게 질문과 과도한 언급으로 변질되어 "당신"이라는 대명사를 최대한 많이 사용하려는 목표를 가지고 있습니다. 이는 다음과 같은 사례 중 하나입니다. ChatGPT 챌린지 맥락을 이해한다.
많은 양의 예시나 인용문이 필요한 경우에도 어려움이 있습니다. GPT에 단순히 "많이" 또는 "많이" 요청하면 원하는 양의 두 배 또는 세 배를 제공할 가능성이 높습니다. 특정 숫자를 지정하면 해당 숫자를 완전히 무시하고 무작위로 결과를 제공할 가능성이 높습니다. 즉, 출력을 제어할 수 있는 권한이 거의 없습니다. 출력 제어와 관련된 이러한 문제는 다음과 같습니다. ChatGPT의 약점 이 문제는 반드시 해결되어야 합니다.
3. 잘못되었거나 관련성이 없는 정보가 텍스트에 끼어드는 경우가 많습니다.
AI가 때때로 "환각"을 일으키고 무작위로 실수를 한다는 것은 누구나 알고 있습니다. 이러한 현상은 너무 자주 발생하기 때문에 AI가 말하는 모든 내용을 다시 확인해야 하며, 이는 시간이 많이 소요되고 AI 사용으로 절약할 수 있는 시간에도 영향을 미칩니다. AI 환각은 콘텐츠 작성에 AI를 사용할 때 직면하는 가장 중요한 과제 중 하나입니다.
이를 막기 위해 저는 기본적으로 사실이나 수치를 묻지 않았습니다. 처음에는 몇 번 시도해 봤지만, 사실 확인 과정 자체가 너무 고되고 힘들어서 곧 신경 쓰지 않게 되었습니다.
문제는 GPT가 사실이나 수치를 요구하든 요구하지 않든 무작위로 부정확한 정보를 답변에 포함시킨다는 것입니다. 즉, 단순히 글의 가독성이나 전달하려는 요점에 만족하는지 확인할 수 없습니다. GPT가 제시하는 모든 내용을 검증하고 검토해야 합니다. 정말 짜증 나는 일입니다. 정보 검증은 대규모 언어 모델(LLM)을 사용하는 데 있어 매우 중요한 부분입니다.
버그와 환각에 대해 이야기하고 있으니, "최악의 시나리오"에 대해서도 언급하는 게 좋겠습니다. 대규모 언어 모델(LLM)이 제대로 작동하지 않는 경우가 있는데, 항상 그런 것은 아니지만, 문제가 발생하면 해당 세션을 버리고 새 채팅방에 프롬프트를 붙여넣고 다시 시작해야 합니다. 개인적으로 ChatGPT가 정말 이상하게 돌아가는 것을 본 적은 없지만, 제 친구는 이런 멋진 상황을 경험한 적이 있습니다.
4. ChatGPT 글쓰기 스타일: 반복적이고 진부하다
처음에는 ChatGPT가 "인간적인" 발음으로 들릴지 몰라도, 계속 사용하다 보면 단순히 인간적인 발음이 아니라 "평범한 사람들"의 발음처럼 들린다는 것을 깨닫게 될 겁니다.
OpenAI의 데이터셋에는 인터넷 콘텐츠의 대부분, 즉 수백만 개의 기사와 Reddit의 개인 포럼이 포함되어 있습니다. 안타깝게도 이 콘텐츠의 상당 부분은 쓰레기입니다. 하지만 ChatGPT는 이 쓰레기 데이터를 기반으로 학습했기 때문에 가장 흔한 잘못된 습관을 모두 포착합니다.
ChatGPT로 많은 텍스트를 생성하다 보면 일부 문장과 구문 구조가 반복되는 것을 느낄 수 있습니다. 제 경우 가장 안 좋았던 두 가지 문장 구조는 다음과 같습니다.
- “A와 B에서 C와 D로, 등등등등.” (예: TikTok의 세계에는 DIY 애호가, 뷰티 전문가부터 반려동물 애호가, 교사까지 모든 사람을 위한 자리가 있습니다.)
- “당신이 A인지 B인지, 등등등등.” (예: 이제 막 시작했든, 레벨업을 원하든, 실제 참여를 구축하기 위한 스마트한 전략을 사용하는 것이 눈에 띄는 데 중요합니다.)
ChatGPT는 이 두 문장 구조를 너무 좋아해서 매 세션마다 서너 개씩 나올 거라고 거의 확신했습니다. 심지어 이 두 예시는 ChatGPT의 답변 중 하나에서 같은 문단에서 나왔습니다. 첫 번째 예시의 "In the world of..."라는 문구는 ChatGPT가 문장을 시작하는 또 다른 방식입니다. 이 모든 것은 지루하고, 진부하며, 터무니없이 남용됩니다(물론 ChatGPT가 이런 문장을 자주 생성하는 주된 이유이기도 합니다). 저는 특정 구절과 문장 유형을 명시적으로 금지하고, 각 프롬프트를 다음과 같은 작은 목록으로 시작해 보기도 했습니다.
요즘 사람들은 AI가 생성한 텍스트와 사람이 쓴 텍스트를 구분하는 것이 거의 불가능하다고 말하지만, 저는 동의하지 않습니다. 이러한 AI 도구를 직접 사용하면서 온갖 함정과 나쁜 습관을 경험해 보면, 많은 징후를 발견하게 될 것입니다. AI 콘텐츠와 사람이 쓴 콘텐츠를 섞어서 ChatGPT 출력의 대부분을 대대적으로 수정하면 완전히 숨길 수 있습니다. 하지만 언어 모델에서 직접 가져와 거의 그대로 게시된 콘텐츠는 구분할 수 있습니다. 아주 쉽게 구분할 수 있습니다.
5. 대규모 언어 모델(LLM)의 출력을 성공적으로 디버깅하거나 수정하는 데 어려움이 있습니다.
진짜 문제는 ChatGPT가 자체적으로 문제를 해결하는 경우가 거의 없다는 것입니다. 문제가 발생하면 문제를 설명하고 재검토를 요청해도 대부분 실패합니다.
예를 들어, 단어 수 수정 요청을 하면 같은 수의 단어가 반환되는 경우가 많습니다. 점을 제거해 달라고 요청하면 구현을 강조한 후 플러스 점수를 부여합니다. 어조나 스타일을 수정해 달라고 요청하면 변경 사항을 포괄적으로 구현하기 어려워 일관성 없는 조합이 발생합니다.
해결책은 거의 완벽한 결과를 얻을 때까지 프롬프트를 반복하고 ChatGPT 응답을 다시 만드는 것일 수 있습니다. 하지만 작가의 경우, ChatGPT를 사용하면 편집자 역할을 수행해야 합니다.
모든 사람에게 문제가 되는 것은 아닐 수 있습니다. 많은 작가들이 작업의 일환으로 편집 작업을 하기 때문입니다. 하지만 다른 사람들에게는 불편한 일입니다. 다른 사람의 작업물이나 GPT 결과물을 편집한다는 생각 자체가 달갑지 않습니다.
오류 빈도에 대해 말하자면, 30개 이상의 프롬프트가 있는 몇 시간 동안 지속되는 모든 세션에서 항상 어떤 장애물에 부딪힐 가능성이 있습니다.
결과: 포기했습니다.
2023년에 ChatGPT 사용법을 배우려고 몇 달 동안 노력했고, 이후 XNUMX년에 걸쳐 대규모 업데이트 후 다시 시도해 보았지만, 제 경험은 전혀 바뀌지 않았습니다. 다른 대규모 언어 모델(LLM)도 시도해 보았지만, "추론"을 사용하고 답변 전에 내적 독백을 유발하는 최신 모델조차도 여전히 동일한 사용성 문제를 겪고 있습니다.
현재 LLM 모델 저에게 글쓰기 속도는 크게 향상되지 않아요. 오히려 제가 좋아하는 일 대신 싫어하는 일을 하게 만드는 것뿐이죠. 글쓰기가 싫어서 하고 싶지 않다면 ChatGPT가 분명 도움이 될 수 있습니다. 하지만 글쓰기가 취미이거나 직업으로 삼는다면, ChatGPT는 오히려 당신을 미치게 만들 수 있습니다.
결국, "AI가 생성한 것"이라고 할 만한 것은 하나도 출판하지 못했습니다. 흔히 말하듯 "제 워크플로에 통합"하려고 할 때마다 벽에 부딪히고 많은 시간을 낭비한 후, 아무것도 이루지 못했고 마감일이 코앞에 다가왔다는 것을 깨닫고 프로그램을 종료했습니다.
댓글이 닫혔습니다.