챗GPT, 무례함에 답하다: '무례함의 역설'이 밝혀낸 AI 정확도의 비밀

AI, 예의를 버리고 정답을 얻다

최신 대규모 언어모델(LLM)이 무례한 표현의 프롬프트에서 더 높은 정확도를 보인다는 연구 결과가 나왔습니다. 펜실베니아주립대학교 연구팀의 실험에서 챗GPT4o는 '매우 무례한' 프롬프트에서 84.8%의 정확도를 기록하며, '매우 공손한' 프롬프트의 80.8%보다 4%포인트 높은 결과를 보였습니다. 이는 프롬프트 엔지니어링에서 예의 바른 표현이 항상 최선의 결과를 보장하지 않음을 시사합니다.

 

 

 

 

수학, 과학, 역사… 250개의 질문으로 검증된 '무례함의 역설'

연구팀은 챗GPT의 딥 리서치 기능을 활용하여 수학, 역사, 과학 분야의 50개 객관식 기본 질문을 생성했습니다. 각 질문은 4개의 선택지를 포함하며 중간에서 높은 난이도로 설계되었고, 종종 다단계 추론이 필요했습니다. 이 기본 질문들을 '매우 공손함', '공손함', '중립', '무례함', '매우 무례함' 등 5가지 공손함 수준으로 재작성하여 총 250개의 고유한 프롬프트를 만들었습니다. 예를 들어, 문제에 접근하는 방식이 공손함 수준에 따라 극명하게 달랐습니다.

 

 

 

 

무례함, AI의 정확도를 높이다

실험 결과는 공손함 수준에 따라 챗GPT4o의 정확도가 뚜렷하게 달라짐을 보여주었습니다. '매우 공손함'이 가장 낮은 정확도를 보였고, '공손함', '중립', '무례함' 순으로 정확도가 높아졌으며, '매우 무례함'이 가장 높은 정확도를 기록했습니다. 통계 분석 결과, 여러 공손함 수준 조합에서 유의미한 차이가 확인되었습니다. 이 연구는 프롬프트의 공손함 수준이 AI의 정확도에 실제로 영향을 미친다는 것을 과학적으로 증명했습니다.

 

 

 

 

선행 연구와 엇갈린 결과, 최신 모델의 차별성

이번 연구 결과는 2024년 발표된 선행 연구와 흥미로운 대조를 이룹니다. 선행 연구에서는 무례한 프롬프트가 낮은 성능을 초래한다고 밝혔습니다. 챗GPT3.5와 라마2-70B 모델을 대상으로 한 실험에서는 무례한 프롬프트에서 부정확한 답변이 도출되었습니다. 그러나 챗GPT4를 대상으로 한 테스트에서는 1번(가장 무례함)부터 8번(가장 공손함)까지 순위가 매겨진 8개의 서로 다른 프롬프트로 실험한 결과, 정확도가 공손함 수준에 따라 변화하는 양상을 보였습니다. 연구팀은 Yin 등의 연구와 자신들의 연구에서 사용된 공손함 표현의 범위도 다르다고 지적했습니다.

 

 

 

 

AI는 감정을 이해할까? 프롬프트 길이의 영향

연구팀은 대규모 언어모델이 프롬프트의 실제 표현에 민감하지만, 정확히 어떻게 결과에 영향을 미치는지는 명확하지 않다고 강조했습니다. 결국 공손함 표현은 언어모델에게 단순한 단어 문자열일 뿐이며, 해당 표현의 감정적 함의가 모델에 실제로 중요한지는 알 수 없다는 것입니다. 연구팀은 혼란도(perplexity) 개념을 기반으로 한 연구 방향을 제안했습니다. 혼란도는 프롬프트의 길이와도 관련이 있어 이것도 고려할 가치가 있는 요소라고 연구팀은 설명했습니다.

 

 

 

 

미래를 위한 AI 연구의 방향

현재 연구팀은 클로드와 챗GPT o3와 같은 다른 언어모델을 평가하고 있습니다. 초기 결과는 비용-성능 간의 상쇄 관계를 보여줍니다. 연구팀은 더 발전된 모델일수록 공손함 문제를 무시하고 각 질문의 본질에 집중할 수 있을 가능성이 있다고 밝혔습니다.

 

 

 

 

AI의 세계, 예의보다 정확성?

최신 연구는 AI 모델이 무례한 질문에 더 높은 정확도를 보인다는 결과를 제시하며, 프롬프트 엔지니어링의 새로운 가능성을 시사합니다. 이는 AI가 언어의 감정적 측면보다는 질문의 본질에 더 집중할 수 있음을 보여주는 결과입니다. 하지만, 일상생활에서의 무례한 사용은 지양해야 합니다.

 

 

 

 

자주 묻는 질문과 답변

Q.AI에게 무례하게 질문하면 왜 정답률이 높아지나요?

A.연구팀은 아직 정확한 원인을 밝히지 못했습니다. 한 가지 가능성은 혼란도와 관련이 있습니다. 공손한 표현이 추가되면 프롬프트가 길어지고 복잡해져 모델이 처리하기 어려워질 수 있습니다. 그러나 이는 가설일 뿐이며, 추가 연구가 필요합니다.

 

Q.일상에서 AI를 사용할 때도 무례하게 질문해야 하나요?

A.아닙니다. 연구팀은 실제 응용 프로그램에서 적대적이거나 모욕적인 인터페이스 배치를 옹호하지 않는다고 명확히 밝혔습니다. 무례하거나 비하하는 언어를 사용하면 사용자 경험, 접근성, 포용성에 부정적인 영향을 미칠 수 있으며 해로운 의사소통 규범에 기여할 수 있습니다.

 

Q.이 연구의 한계는 무엇인가요?

A.이 연구는 50개의 기본 질문으로 구성된 비교적 작은 데이터셋을 사용했으며, 주로 챗GPT4o에만 의존했습니다. 또한 객관식 문제의 정확도만 평가했을 뿐 유창성, 추론, 일관성 같은 다른 성능 차원은 반영하지 못했습니다.