와이즈스톤 와이즈스톤

기술인사이트

기술리포트

AI 챗봇 품질 평가, 지금 방식으로 충분한가?
  • 작성자
    와이즈스톤 김영진 연구원
  • 작성일
    2026-05-21

현행 평가 지표의 한계와 다차원 품질 검증 체계 도입 방안

1. 들어가며
AI 챗봇이 다양한 영역에서 사람의 응대를 대신하고 있다. 공공·민간을 가리지 않고 도입이 가속화되는 가운데, 정작 이 챗봇들이 '제대로 작동하고 있는지'를 어떻게 검증할 것인가는 여전히 명확하지 않다.

실무에서 가장 널리 활용되는 평가 방식은 세 가지다. 모범 답안과 챗봇 답변에 공통으로 등장하는 어구의 비율을 보는 ROUGE, 같은 단어 묶음(n-gram)이 얼마나 일치하는지를 보는 BLEU, 그리고 토큰 단위 정밀도와 재현율의 조화평균을 산출하는 F1 Score다. 모두 자동 계산이 가능하고 대규모 데이터에 일관되게 적용할 수 있다는 점에서 NLP 평가의 고전적 표준으로 자리 잡았다.

그러나 실제 챗봇을 이 지표들로 평가하다 보면 직관과 어긋나는 결과를 자주 마주한다. 분명히 잘 답한 챗봇이 낮은 점수를 받거나, 반대로 점수는 높지만 막상 사용해 보면 실망스러운 경우가 적지 않다. 이는 지표 자체의 구조적 한계에서 비롯되는 현상이다. 본 글에서는 현행 평가 지표가 가진 한계를 짚어보고, 보다 실질적인 품질 검증을 위한 대안을 제시한다.


2. 현행 평가 지표, 무엇을 놓치고 있나

2.1 지표별 구조적 한계

[표 1] 현행 주요 평가 지표 및 한계 요약


2.2 표면적 일치라는 공통의 한계
세 지표는 측정 방향이 서로 다르다. ROUGE는 통상적으로 재현율 관점에서, BLEU는 정밀도 관점에서, F1 Score는 정밀도와 재현율의 조화평균으로 답변을 평가한다. 같은 답변에 대해서도 지표마다 다른 점수가 나오는 이유다.

그러나 세 지표는 모두 '단어 또는 토큰이 얼마나 똑같이 겹치는가'를 본다는 점에서 동일한 원리에 기반한다. 측정 방향과 비교 단위만 다를 뿐, 본질은 표면적으로 얼마나 일치하는지만 알 수 있다는 점이다. 여러 지표를 함께 사용하더라도 의미 수준의 평가 한계가 그대로 남는 이유가 여기에 있다.

2.3 표면적 평가가 놓치는 두 가지
표면적 일치 기반 평가는 두 가지 본질적 함정을 안고 있다. 첫째, 의미가 같아도 표현이 다르면 낮은 점수가 부여된다. 둘째, 답변 내용의 사실 여부를 전혀 검증하지 못한다.

첫 번째 함정은 다음 사례에서 명확히 드러난다.

[표 2] 표면적 일치 측정 지표의 오판 사례



'반품'과 '환불', '수령일 기준'과 '받으신 날로부터', '7일'과 '일주일'은 이 문맥에서 동일한 의미를 전달한다. 사람이라면 두 문장을 같은 정보로 판단하지만, 표면적 일치 기반 지표는 어휘가 다르다는 이유만으로 낮은 점수를 부여한다. 챗봇이 더 자연스럽고 친화적인 표현을 사용할수록 오히려 평가에서 손해를 보는 역설이 발생하는 셈이다.

두 번째 함정인 사실성(Factuality) 검증 불가는 더 본질적인 문제다. 세 지표는 모두 참조 답변과의 표현적 유사도만을 측정하므로, 챗봇이 그럴듯하지만 사실과 다른 정보를 생성하는 환각 현상(Hallucination)을 걸러내지 못한다. 핵심 표현이 포함되어 있기만 하면 잘못된 정보라도 높은 점수를 받을 수 있다.


3. 더 나은 평가를 위한 세 가지 방향
현행 지표의 한계를 극복하려면 새로운 지표를 단순히 하나 더 추가하는 것으로는 충분하지 않다. 의미를 인식하는 정량 평가, AI를 활용한 정성 평가, 그리고 사용자 경험을 중심에 둔 평가를 함께 운용하는 다층적 접근이 필요하다.

3.1 의미 기반 정량 평가: BERTScore
BERTScore는 단어의 표면적 일치 대신 의미적 유사성을 측정한다. 사전 학습된 언어 모델(BERT)이 학습한 컨텍스트 임베딩을 활용하여, 두 문장의 토큰을 벡터 공간상의 거리로 비교한 뒤 정밀도·재현율·F1 형태로 점수를 산출하는 방식이다.

기존 지표가 '반품'과 '환불'을 다른 어휘로 처리하는 반면, BERTScore는 두 단어가 의미적으로 가깝다는 사실을 인식하고 합당한 점수를 부여한다. 같은 정보를 다른 표현으로 전달한 답변이 부당하게 평가절하되는 문제를 해소할 수 있다.
한국어 챗봇에 적용할 경우, 한국어로 사전 학습된 모델(KoBERT, KLUE-BERT 등)을 선택하는 것이 중요하다. 다국어 모델을 그대로 활용하면 한국어 특유의 표현이나 도메인 용어에서 평가 정확도가 떨어질 수 있다.

3.2 AI 기반 정성 평가: LLM-as-a-Judge
LLM-as-a-Judge는 GPT, Claude와 같은 고성능 거대 언어 모델을 평가자(Judge)로 활용하는 방식이다. 사전 정의된 평가 기준에 따라 LLM이 답변의 품질을 정성적으로 채점하도록 하는 접근으로, 사람의 직관적 판단에 가까운 평가를 자동화할 수 있다.

이 방식의 강점은 정량 지표로 측정하기 어려운 품질 요소까지 평가할 수 있다는 점이다. 답변의 문맥 적합성, 톤앤매너, 논리적 완결성, 친절도 등 표면적 비교만으로는 잡히지 않는 차원을 포착할 수 있다.
LLM-as-a-Judge에 있어 핵심은 평가 프롬프트의 설계 정밀도다. 기준이 모호하면 LLM의 판단도 일관성을 잃는다. 또한 LLM이 자신과 유사한 스타일의 답변을 더 후하게 평가하는 자기 강화 편향(Self-enhancement Bias)이 보고되어 있어, 초기에는 전문가 검토와 병행하며 평가 기준을 정련해 나가는 과정이 필수적이다.

3.3 사용자 경험 중심 평가: 실질적 효용성
기술 지표가 정교해지더라도 챗봇이 추구해야 할 본질은 '사용자의 문제를 실제로 해결하는 것'이다. 정량·정성 지표만으로는 답변이 사용자에게 어떤 가치를 제공했는지 직접적으로 평가하기 어렵다. 이를 보완하기 위해 다음 세 가지 사용자 관점 지표를 함께 운용할 것을 제안한다.

- 질문 해결율 (Resolution Rate) — 사용자가 챗봇 답변만으로 당면 과제를 해결한 비율. 추가 검색이나 재질문 없이 종료된 세션을 기준으로 산정한다.
- 정보 완결성 (Completeness) — 답변이 단편적 정보 나열에 그치지 않고, 사용자가 후속 행동으로 이어갈 수 있을 만큼 맥락을 충분히 제공하는지 평가한다.
- 행동 가능성 (Actionability) — 답변을 받은 사용자가 다음 단계(신청, 연락, 방문 등)를 명확히 인지하고 실행할 수 있는지를 평가한다.

이러한 지표는 자동 계산이 어렵고 별도의 데이터 수집 체계 구축이 선행되어야 한다. 그러나 실제 서비스 가치를 가장 직접적으로 반영한다는 점에서, 본격적인 챗봇 품질 관리 체계에서는 포함될 필요가 있는 영역이다.

3.4 세 가지 방향의 통합 운용

[표 3] 개선 방향별 비교 및 고려 사항

 
세 가지 방향은 서로를 대체하는 관계가 아니라 보완하는 관계다. BERTScore는 기존 자동화 평가를 의미 수준으로 끌어올리고, LLM-as-a-Judge는 정량 지표가 놓치는 정성적 품질을 보완하며, 사용자 관점 지표는 기술 지표 너머의 실제 서비스 가치를 직접 측정한다. 세 가지가 잘 어우러질 때 챗봇의 품질을 온전히 들여다볼 수 있다.


4. 나오며
ROUGE, BLEU, F1 Score로 대표되는 현행 평가 지표는 자동화와 재현성이라는 분명한 장점을 갖는다. 그러나 세 지표는 모두 표면적 일치 기반이라는 공통된 구조적 한계를 공유하며, 의미적 동일성 인식과 사실성 검증에 모두 취약하다. 이러한 한계를 인지하지 못한 채 수치 지표에만 의존할 경우, 정량적으로는 우수하지만 실사용에서는 사용자 경험과 동떨어진 평가 결과로 이어질 수 있다.

해결 방안은 단일 지표 의존에서 벗어나 다층적 평가 체계로 전환하는 것이다. 의미를 이해하는 BERTScore, 사람의 직관에 가까운 LLM-as-a-Judge, 그리고 사용자의 실제 경험을 측정하는 사용자 관점 지표를 병행 운용함으로써, 챗봇의 품질을 입체적으로 검증할 수 있다.

AI 챗봇이 단순한 FAQ 응답기를 넘어 실질적인 서비스 창구로 자리 잡기 위해서는, 챗봇을 잘 만드는 것만큼 잘 평가하는 방법을 고민하는 일이 중요하다. 정교한 평가 체계가 더 나은 챗봇 서비스의 토대가 되기 때문이다.


5. 참고 문헌
[1] Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a Method for Automatic Evaluation of Machine Translation. Proceedings of the 40th Annual Meeting of the ACL, 311–318.
[2] Lin, C.-Y. (2004). ROUGE: A Package for Automatic Evaluation of Summaries. Proceedings of the Workshop on Text Summarization Branches Out (WAS 2004), 74–81.
[3] Rajpurkar, P., Zhang, J., Lopyrev, K., & Liang, P. (2016). SQuAD: 100,000+ Questions for Machine Comprehension of Text. Proceedings of EMNLP 2016, 2383–2392.
[4] Zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., & Artzi, Y. (2020). BERTScore: Evaluating Text Generation with BERT. Proceedings of ICLR 2020.
[5] Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Proceedings of NeurIPS 2023.
[6] Park, S., Moon, J., Kim, S., Cho, W. I., Han, J., Park, J., et al. (2021). KLUE: Korean Language Understanding Evaluation. Proceedings of NeurIPS 2021 Datasets and Benchmarks Track.
[7] SKTBrain. (2019). KoBERT [Source code]. GitHub. https://github.com/SKTBrain/KoBERT