• 용어 정의: 사용자 트래픽이나 입력 데이터를 두 개 이상의 서로 다른 알고리즘 또는 시스템 버전에 무작위로 분산 인가한 뒤, 사전에 정의된 성과 지표(Metric)에 따라 어느 버전이 더 우수한 결과물을 산출하는지 통계적으로 비교 및 검증하는 대조 평가 기법입니다.

• AI/SW 테스팅 실무 적용: 대형 언어 모델(LLM)이나 AI 추천 알고리즘을 고도화할 때, 제한된 정적 데이터셋을 활용하는 오프라인 검증만으로는 실제 사용자의 예측 불가능한 프롬프트 패턴과 복잡한 상호작용을 완벽하게 재현할 수 없습니다. 이 기법을 프로덕션 환경에 적용하면 기존에 안정화된 레거시 모델(Control)과 미세 조정이 완료된 신규 모델(Treatment) 간의 응답 정확도, 환각(Hallucination) 발생 빈도, 추론 지연 시간 등을 라이브 트래픽 기반으로 정량 비교할 수 있습니다. 결과적으로 새로운 AI 모델 배포 시 발생할 수 있는 비즈니스 리스크를 최소화하고, 객관적인 데이터에 근거하여 안전하게 서비스 롤아웃(Roll-out)을 결정하는 동적 품질 보증의 핵심 장치로 기능합니다.

➡️ [테스팅 사례 확인하기]