• 용어 정의: 하드웨어, 소프트웨어, 또는 AI 모델의 성능, 정확도, 효율성 등을 객관적으로 평가하고 상호 비교하기 위해, 업계 표준이나 사전에 정의된 특정 기준(표준 데이터셋, 측정 스크립트 등)을 활용하여 정량적으로 측정하는 비교 평가 기법입니다.

• AI/SW 테스팅 실무 적용: 다양한 파라미터와 구조를 가진 엔터프라이즈 AI 시스템에서 단순히 '작동한다'는 수준을 넘어, 모델의 지식 수준과 추론 능력을 숫자로 증명하는 절대적 척도입니다. 따라서 서비스 정식 시행(배포) 전에는 MMLU, SQuAD 등 공인된 업계 표준 데이터셋이나 기업 맞춤형 골든 데이터셋(Golden Dataset)을 주입하여 신규 AI 모델의 기초 체력을 측정하고, 기존 레거시 시스템이나 경쟁 모델 대비 도입 타당성을 입증하는 기준점으로 활용해야 합니다. 반면 서비스 시행(운영) 후에는 프로덕션 환경의 실사용 데이터 트래픽 변화를 반영하여 정기적으로 벤치마크 스위트를 업데이트하고 이를 라이브 모델에 재투입함으로써, 시간이 지남에 따라 AI 성능이 퇴화하는 모델 드리프트(Model Drift) 현상을 모니터링하고 차기 파인튜닝의 목표치를 재설정하는 동적 지표로 작동합니다.

➡️ [테스팅 사례 확인하기]