• 용어 정의: 동일한 입력 데이터(Input)를 목적이나 기능이 유사한 여러 개의 다른 소프트웨어, 알고리즘, 혹은 버전에 동시에 주입한 뒤, 산출된 최종 결과값(Output) 간의 차이(Deviation)를 교차 대조하여 특정 시스템 내부에 숨겨진 논리적 결함이나 비정상적인 예외 동작을 식별해 내는 비교 검증 기법입니다. 정답(Oracle)을 사전에 정의하기 어려운 시스템에서 특히 유용합니다.

• AI/SW 테스팅 실무 적용: 엔터프라이즈 AI 환경은 딥러닝 특성상 무엇이 완벽한 정답인지 명확히 규정하기 어려운 비결정적(Non-deterministic) 결과를 산출하는 경우가 많아, 동일 구조의 이종 모델이나 기존 안정화 버전을 '참조 모델'로 활용하는 차분 테스트가 필수적입니다. 따라서 서비스 정식 시행(배포) 전에는 신규 파인튜닝된 AI 모델과 기존 레거시 모델(혹은 타사의 오픈소스 베이스라인 모델)에 방대한 엣지 케이스를 동일하게 주입하고, 산출된 텍스트나 벡터 값의 편차를 비교하여 새 버전에만 나타나는 논리적 붕괴나 편향성(Bias)을 릴리스 이전에 선제적으로 색출해야 합니다. 반면 서비스 시행(운영) 후에는 프로덕션으로 유입되는 실시간 라이브 트래픽을 기존 메인 서버와 백그라운드의 섀도우(Shadow) 서버(신규 패치 적용)에 동시에 미러링(Mirroring) 주입하여, 무중단 상태에서 두 시스템 간의 추론 결과 차이를 지속 모니터링함으로써 신규 업데이트가 예기치 않은 부작용을 유발하지 않는지 라이브 검증하는 데 활용됩니다.

➡️ [테스팅 사례 확인하기]