Challenge

I사는 가정용 공기청정기와 연동되는 음성 인식 기능을 개발하고 있었습니다. 사용자 발화를 텍스트로 변환하는 첫 단계가 중요했지만, 텍스트 변환 정확도만으로는 전체 기능 품질을 설명하기 어려웠습니다. 사람마다 발음, 억양, 말의 속도가 다르고 실제 발화에는 일상 대화에 가까운 표현도 포함되기 때문에, 변환 오류가 어느 정도 발생하는지 별도로 확인할 필요가 있었습니다.

또한 변환된 문장이 실제 공기청정기 기능에 해당하는 피드백으로 정확히 연결되어야, 사용자가 말한 의도가 실제 기기 동작으로 이어질 수 있었습니다. 같은 기능을 요청하더라도 기본 명령어와 파생 명령어, 화자에 따른 음성 특성 차이도 함께 고려해야 했습니다.

Testing Approach

와이즈스톤은 STT 변환 품질과 명령 피드백 매칭 품질로 구분해 평가했습니다. STT 변환 품질은 일상 대화 발화 음성 데이터를 대상으로, STT 모델이 출력한 텍스트와 정답 문장을 단어·띄어쓰기 단위로 비교해 추가·삭제·대체 오류를 모두 반영한 WER을 산출했습니다.

명령 피드백 매칭 품질은 기능별 명령 음성 데이터를 대상으로, 서로 다른 화자의 기본 명령어와 파생 명령어를 포함해 구성했습니다. 명령 음성을 STT로 텍스트 변환한 뒤 서버에서 토큰 단위로 처리하고, 매칭된 피드백 값이 정답 데이터와 일치하는지를 반복 측정해 기능별 피드백 성공률을 산출했습니다.

What We Tested

• ৹ 일상 대화 음성의 텍스트 변환 결과 및 단어 단위 오류율(WER)

• ৹ 기능별 명령 음성의 피드백 매칭 결과

• ৹ 화자(성별)에 따른 명령어 처리 결과

• ৹ 기본 명령어와 파생 명령어의 피드백 일치 여부

Results & Value

I사는 이번 검증을 통해 생활 음성을 텍스트로 변환하고, 기기 제어에 필요한 피드백까지 연결하는 음성 인터페이스 품질을 확인했습니다. 와이즈스톤은 음성 인식 오류율과 명령 피드백 성공률을 구분해 검증하며, 사용자의 발화가 의도한 기기 반응으로 이어지는지를 단계별로 확인했습니다.