1. 서론

음성으로 명령을 내리고 음성으로 답을 듣는 상호작용은 이제 특별한 경험이 아니다. 스마트폰의 음성 비서부터 콜센터의 자동 응답, 차량 내 인포테인먼트, 스마트홈 기기에 이르기까지, 사용자가 마이크에 대고 말하는 순간은 하루에도 수없이 반복된다. 이 모든 상호작용의 첫 관문은 사용자의 발화를 텍스트로 옮기는 음성 인식(Speech-to-Text, STT) 기술이며, 그 정확도는 후속 처리의 품질을 결정짓는 출발선이 된다.

문제는 이 정확도를 어떻게 측정할 것인가이다. 대량의 발화 데이터를 사람이 일일이 듣고 평가하는 것은 현실적으로 불가능하고, 평가자마다 판단이 갈릴 여지도 크다. 따라서 명확한 기준에 따라 일관되게 성능을 비교할 수 있는 정량 지표가 필요하다.

그러나 지표를 잘 고르는 일은 생각보다 까다롭다. 한국어는 조사와 어미가 어간에 붙어 어절을 이루는 교착어이고 띄어쓰기 규칙 또한 유연해, 영어권에서 널리 쓰이는 방식을 그대로 가져오면 실제 성능과 지표 값 사이에 큰 괴리가 생기기 쉽다.

본 글은 한국어 음성 인식 모델의 정확도 평가에 활용되는 주요 지표를 정리한다. 음성 인식의 처리 원리를 먼저 짚은 뒤, 표준 지표인 CER과 WER의 개념 및 한국어에서 CER이 자리 잡은 이유를 살펴본다. 이어 이들 지표가 갖는 근본적 한계와 이를 보완하기 위해 학계에서 제안·활용되고 있는 대안 지표를 소개함으로써, 향후 유사한 유형의 음성 인식 모델을 평가할 때 참고할 수 있는 개념적 기반을 제공하고자 한다.

2. 음성 인식의 원리

2.1 음성이 텍스트로 변환되기까지

음성 인식이 이루어지는 과정은 그림 1과 같이 크게 다섯 단계로 나뉜다. 마이크로 입력된 소리는 컴퓨터가 다룰 수 있는 숫자 신호로 변환되고, 이 숫자 신호에서 개별 발음 단위(음소)가 추출된다. 추출된 음소 조합은 사전에 학습된 언어적 패턴과 비교되어 가장 확률이 높은 후보 문장이 선택되고, 최종적으로 텍스트로 반환된다.

그림 1. 음성 인식의 5단계 처리 과정

다섯 단계 중 AI 모델이 실제로 담당하는 부분은 ③ 음소 추출과 ④ 패턴 비교 단계로, 여기에는 두 개의 핵심 모델이 관여한다.

• 음향 모델(Acoustic Model) : 소리 신호에서 개별 음소를 추출한다.

• 언어 모델(Language Model) : 추출된 음소 조합 중 가장 자연스러운 문장을 후보로 선택한다.

예를 들어 "오늘 날씨 어때?"라는 발화가 입력되면, 언어 모델은 "오늘 날씨 어때?"와 "오늘 낚시 어때?"처럼 발음이 유사한 여러 후보 중에서 문맥상 가장 자연스러운 문장을 선택하게 된다. 결국 최종 인식 정확도는 이 두 모델의 성능에 의해 좌우된다.

2.2 AI 음성 대화 시스템에서의 STT

STT는 그 자체로 완결된 서비스라기보다, 그림 2와 같이 사용자와 시스템 사이의 대화를 이어주는 3단계 흐름의 한 축을 담당한다. 사용자의 음성이 STT를 거쳐 텍스트로 변환되면, NLP(Natural Language Processing)가 그 텍스트의 의도를 분석해 응답 텍스트를 생성하고, TTS(Text-to-Speech)가 이를 다시 음성으로 합성해 사용자에게 되돌려준다.

그림 2. AI 음성 대화 시스템의 3단계 처리 구조

이 흐름에서 STT는 후속 단계의 입력이 되는 텍스트를 생성하는 관문이다. STT 단계에서 발생한 오류는 NLP의 잘못된 의도 분석으로 이어지고, 이는 다시 부적절한 응답 생성으로 연쇄된다. 즉 STT의 정확도 저하는 곧 대화 시스템 전체의 실패로 이어질 수 있으며, 이 때문에 STT 성능을 정량적으로 측정하는 일은 대화 시스템 품질 관리의 가장 앞선 과제가 된다.

3. 음성 인식 정확도 평가의 표준 지표

3.1 CER과 WER의 정의

음성 인식 정확도를 정량적으로 평가하는 대표적인 지표는 CER(Character Error Rate)과 WER(Word Error Rate)이다. 두 지표는 정답 문장과 인식 결과 문장을 비교해 오류율을 산출한다는 점에서 원리가 동일하며, 다만 비교의 기본 단위가 문자(음절)인지 단어(어절)인지에서 차이가 있다. 계산식은 그림 3과 같다.

그림 3. CER과 WER의 오류율 산출식

정답 대비 잘못 인식된 부분의 비율을 백분율로 나타내며, 값이 낮을수록 인식 성능이 우수함을 의미한다.

3.2 한국어에서 CER이 표준으로 자리 잡은 이유

동일한 인식 결과에 대해 CER과 WER은 서로 다른 값을 산출한다. 예를 들어 정답이 "기후 변화 알려줘"이고 인식 결과가 "기후변화 알려줘"인 경우, 두 지표는 표 1과 같이 큰 차이를 보인다.

표 1. 동일한 인식 결과에 대한 CER과 WER 산출 예시

이러한 차이는 예외적 현상이 아니라 한국어의 언어적 특성에서 비롯되는 구조적 결과이다. 한국어는 띄어쓰기 규칙이 유연해 위 예시의 "기후 변화"와 "기후변화"처럼 하나의 표현이 실제 사용에서 다르게 표기되는 경우가 흔한데, 어절 단위 WER은 이러한 띄어쓰기 오류 하나만으로도 오류율이 급격히 상승한다. 또한 조사와 어미가 어간에 붙어 어절을 이루는 교착어 특성상, 어절 안에서 조사 하나만 잘못 인식되어도 어절 전체가 오답으로 처리된다. 반면 문자(음절) 단위인 CER은 이러한 왜곡 없이 인식 성능을 안정적으로 반영한다. 이러한 이유로 한국어 음성 인식 성능 평가에서는 CER이 표준 지표로 널리 사용되고 있다.

3.3 CER과 WER이 놓치는 것

CER과 WER은 간단한 수식으로 대규모 데이터에도 일관되게 적용된다는 점에서 음성 인식 평가의 표준으로 자리 잡았다. 그러나 두 지표는 결국 문자나 단어가 얼마나 똑같이 겹치는가만을 본다는 점에서, 문장의 "의미"가 아닌 "표면 일치"를 측정한다는 근본적인 특성을 공유한다. 이로 인해 표 2와 같은 세 가지 한계가 발생한다.

표 2. CER/WER의 세 가지 근본적 한계

이 세 가지 한계 중 특히 ②는 사용자 체감 품질과 지표 값 사이의 괴리를 낳는다. 위 예시에서 "취소해줘"가 "취소해봐"로 인식된 경우는 사용자가 문맥으로 원래 의도를 파악할 수 있는 경미한 오류이지만, "회의하자"가 "회식하자"로 인식된 경우는 요청의 대상 자체를 뒤바꾸는 치명적 오류이다. 그러나 CER은 두 경우를 모두 문자 오류 1개로 동일하게 처리하며, 이는 지표 상으로는 "우수한" 모델이 실제 사용에서는 신뢰하기 어려운 결과를 낼 수 있음을 시사한다.

4. CER/WER을 보완하는 지표

앞서 살펴본 한계를 극복하기 위해 학계에서는 다양한 대안 지표를 제안·활용하고 있다. 이들 지표는 CER/WER을 대체하기보다는 특정 한계를 보완하는 관점에서 함께 활용된다. 대표적인 세 지표를 정리하면 표 3과 같다.

표 3. CER/WER의 한계를 보완하는 평가 지표

4.1 SemDist (Semantic Distance)

SemDist는 정답 문장과 인식 결과 문장을 각각 임베딩 벡터로 변환한 뒤, 벡터 간의 거리(예: 코사인 거리)로 두 문장의 의미 유사도를 측정한다. 표면 문자가 다르더라도 의미가 유사하면 낮은 오류 값이 산출되기 때문에, 앞서 예시로 든 "지금 몇 시야?"와 "현재 시간 알려줘"처럼 표현은 다르지만 의미가 같은 경우에 CER과는 전혀 다른 판단을 내릴 수 있다. 다만 산출 값이 사용하는 임베딩 모델의 품질에 크게 좌우되고, 절대적 기준으로 해석하기 어려워 모델 간 상대 비교에 적합하다.

4.2 EmbER (Embedding Error Rate)

EmbER는 WER과 동일하게 어절 단위 오류를 집계하되, 각 오류에 부여되는 페널티의 크기를 오류 단어와 원래 단어의 임베딩 거리에 따라 차등화한다. 원래 단어와 의미가 가까운 단어로 오인식된 경우에는 낮은 페널티를, 완전히 다른 단어로 오인식된 경우에는 높은 페널티를 부여하는 방식이다. 예를 들어 "회의"가 유사한 의미의 "모임"으로 인식된 경우와 전혀 다른 "휴가"로 인식된 경우는 오류 개수는 같지만 사용자 체감 심각도가 크게 다른데, EmbER는 이 차이를 지표값에 반영한다. 단, 단어 임베딩 모델 품질에 의존하며 지표값의 직관적 해석이 어렵다는 단점이 있다.

4.3 형태소 단위 WER (Morpheme-level WER)

형태소 단위 WER은 정답과 인식 결과를 형태소 분석기로 분해한 뒤 형태소 단위로 오류를 집계한다. 조사 하나만 잘못 인식되어도 어절 전체를 오답으로 처리하는 어절 단위 WER의 한계를 완화하는 것이 목적이다. 예를 들어 정답 "사과를 먹는다"와 인식 결과 "사과도 먹었다"를 비교할 때, 어절 단위 WER은 2어절 모두 오답으로 처리해 100%가 되지만, 형태소 단위 WER은 조사(를/도)와 선어말어미(는/었)만 오류로 잡아 5개 형태소 중 2개, 즉 40%의 오류율을 산출한다. 다만 사용하는 형태소 분석기(MeCab-ko, Khaiii, Okt 등)에 따라 결과가 달라질 수 있어, 실무 적용 시에는 사용 도구를 명시하고 일관되게 유지하는 것이 중요하다.

5. 결론

CER과 WER은 계산이 간단하고 결과가 일관적이라는 분명한 강점 덕분에 한국어 음성 인식 평가의 표준으로 자리 잡았다. 그러나 두 지표는 결국 문자나 단어의 표면적 일치 정도만을 측정하기 때문에, 의미가 같은데 표현이 다른 경우나 오류의 심각도가 크게 차이 나는 경우까지 반영하지 못한다는 근본적 한계를 가진다. 이러한 한계를 인식하지 못한 채 수치 지표에만 의존할 경우, 지표상으로는 우수해 보이는 모델이 실제 사용 환경에서는 사용자 경험과 동떨어진 결과를 낼 수 있다.

이 문제를 완화하는 방향은 단일 지표에 의존하지 않고 여러 지표를 함께 활용하는 다층적 평가 체계로 전환하는 것이다. 의미 유사도까지 반영하는 SemDist, 오류의 심각도를 차등 반영하는 EmbER, 한국어의 교착어 특성을 고려하는 형태소 단위 WER을 목적에 맞게 병행 활용하면 음성 인식 성능을 보다 입체적으로 검증할 수 있다. 이때 사전 학습 모델이나 형태소 분석기와 같이 지표 산출에 사용되는 도구는 한국어에 최적화된 것으로 선택하고, 사용한 도구와 평가 조건을 명시하여 결과의 재현성과 비교 가능성을 확보하는 것이 실무적으로 중요하다.

음성 인터페이스가 단순한 명령 실행 도구를 넘어 자연스러운 대화 파트너로 확장되고 있는 만큼, 음성 인식 성능을 잘 만드는 것만큼 잘 평가하는 일도 함께 중요해지고 있다. 표면적 일치를 넘어 의미와 사용자 체감까지 아우르는 평가 체계는 앞으로의 한국어 음성 인식 기술이 신뢰받는 서비스로 자리 잡기 위한 토대가 될 것이다.

참고문헌

[1] S. Kim et al., "Semantic Distance: A New Metric for ASR Performance Analysis Towards Spoken Language Understanding," Interspeech, 2021.

[2] T. Bañeras-Roux et al., "Qualitative Evaluation of Language Model Rescoring in Automatic Speech Recognition," Interspeech, 2022.

[3] O. Kwon and J. Park, "Korean large vocabulary continuous speech recognition with morpheme-based recognition units," Speech Communication, vol. 39, no. 3-4, pp. 287-300, 2003.