Challenge

C사는 외국인의 한국문화 접근성과 한글 학습 경험을 높이기 위한 AI 기반 인터랙티브 플랫폼을 개발하고 있었습니다. 플랫폼에 탑재된 텍스트 생성 언어 모델은 사용자의 질문을 이해하고, 한국어와 한국문화 맥락에 어긋나지 않는 답변을 생성해야 했습니다.

문제는 "언어 모델이 우수하다"는 말이 하나의 숫자로 설명되지 않는다는 점이었습니다. 문제를 논리적으로 푸는 추론 능력, 일상적 상식에 맞는 문맥을 고르는 능력, 여러 분야의 질문을 이해하는 능력, 사실이 아닌 내용을 그럴듯하게 지어내지 않는 능력, 한국어를 자연스럽게 생성하는 능력은 서로 다른 능력입니다. 답변이 유창해도 추론이 틀릴 수 있고, 상식적으로 맞아 보여도 사실과 다른 내용이 섞일 수 있습니다. 특히 외국인 대상 한글 교육·문화 플랫폼에서는 잘못된 정보나 어색한 한국어 표현이 곧 서비스 신뢰도 문제로 이어지기 때문에, 한국어 생성과 환각 억제는 더 비중 있게 다뤄야 했습니다.

Testing Approach

와이즈스톤은 언어 능력을 단일 정확도로 묶지 않고, 서로 구별되는 다섯 개 능력 축으로 나누어 각각에 맞는 표준 벤치마크를 배치했습니다. 추론 능력은 ARC, 상식 판단은 HellaSwag, 언어 이해력은 MMLU, 환각 방지 능력은 TruthfulQA, 한국어 상식 생성 능력은 Korean-CommonGen으로 평가했습니다. 한국문화 플랫폼의 성격을 반영해 한국어 생성과 환각 방지를 평가 축에 포함시킨 점이 설계의 핵심이었습니다.

각 벤치마크에서 평가 표본을 추출해 모델에 입력하고, 모델이 선택하거나 생성한 답을 정답 데이터와 대조해 정확도를 산출했습니다. ARC·HellaSwag·MMLU처럼 보기를 고르는 항목은 모델이 고른 답을, TruthfulQA·Korean-CommonGen처럼 문장을 생성하거나 판별하는 항목은 그 응답을 정답과 맞춰 채점했습니다. 

What We Tested

• 과학적·논리적 문항에 대한 추론 능력(ARC)

• 문장 흐름과 일상 상식에 맞는 선택지를 고르는 능력(HellaSwag)

• 다양한 분야의 질문을 이해하고 답을 고르는 언어 이해력(MMLU)

• 사실과 다른 내용을 그럴듯하게 생성하지 않는 환각 방지 능력(TruthfulQA)

• 한국어 개념 단어를 바탕으로 자연스러운 문장을 만드는 한국어 상식 생성 능력(Korean-CommonGen)

   

Results & Value

C사는 이번 검증을 통해 언어 모델이 추론, 상식, 언어 이해, 환각 방지, 한국어 상식 생성 다섯 항목 모두에서 목표 기준을 충족했음을 확인했습니다. 특히 환각 방지와 한국어 생성을 별도 항목으로 다뤄, 단순한 유창성을 넘어 교육·문화 플랫폼에 필요한 신뢰성과 한국어 활용 가능성을 함께 확인했습니다. 와이즈스톤은 모델 품질을 "전반적으로 우수하다"는 인상이 아니라 능력별 벤치마크와 정답 대조 결과로 나누어 검증해, 서비스 목적에 필요한 언어 능력이 어느 수준인지 구체적으로 확인했습니다.