Challenge

P사는 반려동물 맞춤형 건강 관리 및 웰니스 서비스를 제공하는 기업으로, 활동량 측정 센서 데이터, 건강체크 문진 데이터, 질의응답 데이터를 활용해 행동분류, 건강 관리 답변 검색 기능을 개발하고 있었습니다. 문제는 두 기능이 사용하는 데이터의 형태와 품질 판단 기준이 모두 다르다는 점이었습니다.

행동 분류는 시간에 따라 변화하는 센서 데이터를 다루고, 질의응답은 질문과 답변의 연결 정확도가 중요했습니다. 하나의 정확도 지표만으로는 전체 서비스 품질을 설명하기 어려웠고, 특정 행동 클래스나 특정 질문 유형에만 유리한 결과가 나오지 않는지도 함께 확인해야 했습니다.

Testing Approach

와이즈스톤은 행동 분류, 질의응답 검색을 각각 분리해 검증했습니다. 행동 분류는 가속도·지자기 센서 기반 시계열 데이터를 슬라이딩 윈도우 방식으로 가공한 뒤, 학습되지 않은 구간을 무작위로 추출해 행동 클래스별 F1 Score와 Macro 평균을 산출했습니다.

질의응답 검색은 ID·질문·답변 데이터를 벡터 데이터베이스에 색인한 뒤, 질문을 벡터 검색기에 입력해 검색 결과의 ID가 정답 질문 ID와 일치하는지를 확인했습니다.

두 기능 모두 동일한 절차를 여러 차례 반복 수행해 특정 데이터 추출 결과에만 성능이 좌우되지 않도록 했습니다.

What We Tested

• ৹ 반려견 웨어러블 시계열 데이터 기반 행동분류 결과

• ৹ 행동 클래스별 예측 성능(Macro F1 Score)

• ৹ 질의응답 데이터의 검색 정확도(질문 ID-검색 결과 ID 일치 여부)

Results & Value

P사는 이번 검증을 통해 반려견의 웨어러블 데이터, 질의응답 데이터를 각각의 목적에 맞게 안정적으로 처리할 수 있음을 확인했습니다. 와이즈스톤은 두 기능을 하나의 틀로 묶지 않고 기능별 기준으로 나누어 검증해, 반려동물 건강관리 서비스가 보호자에게 필요한 판단 정보를 신뢰할 수 있는 수준으로 제공하는지 확인했습니다.