1. 작성 배경

 벡터 기반 유사도 측정법을 알아보기 전에, 근간이 되는 수학적 개념과 이것이 디지털 세계에서 어떻게 재정의되는지 그 본질을 이해하겠습니다.

 우선 기초적인 수학적 정의를 살펴보면, 스칼라와 벡터는 '방향성의 유무'에 따라 완벽하게 구분되는 특성을 가집니다. 스칼라(Scalar)는 방향 정보가 배제된 채 오직 단일한 '크기'만을 나타내는 물리량입니다. 일상적인 예로 우리가 단순히 "10km"라는 거리를 언급할 때, 이는 공간에서 움직이는 방향과 관계없이 순수한 길이의 수치만을 나타내므로 스칼라에 해당합니다. 반면 수학에서의 벡터(Vector)는 물리적인 크기뿐만 아니라 공간에서의 '방향'을 동시에 내포하고 있는 다차원적인 값입니다. 예를 들어 단순히 거리를 말하는 것이 아니라 "북동쪽으로 10km 이동"과 같이 명확한 진행 방향(북동쪽)과 도달 거리(10km)가 결합되어 표현될 때 비로소 완전한 벡터의 형태를 갖추게 됩니다.

 그렇다면 이러한 수학적 개념이 현대의 컴퓨터 시스템과 인공지능 분야에서는 어떻게 투영되고 해석되는지 살펴보겠습니다. 기본적으로 컴퓨터는 인간과 같은 고도의 인지 능력이 없기에 '고양이'라는 단어가 가지는 생물학적 의미나 "머그컵"이라는 사물이 가지는 입체적인 형태를 있는 그대로 이해하거나 처리할 수 없습니다. 따라서 컴퓨터가 이러한 비정형 데이터를 논리적으로 연산하고 처리할 수 있도록, 데이터가 내포한 고유한 의미와 핵심 특징들을 컴퓨터가 읽을 수 있는 정교한 숫자 배열로 변환하는 정량화 과정이 반드시 선행되어야 합니다.

 인공지능 및 딥러닝 기술에서는 이처럼 가공되지 않은 현실 세계의 데이터를 다차원의 연속적인 숫자 체계로 변환하는 과정을 '임베딩(Embedding)'이라고 정의하며, 이렇게 생성된 숫자들의 집합을 컴퓨터 시스템에서 벡터(Vector)라고 부릅니다. 

 위처럼 데이터를 [0.12, 0.55, 0.83] 같은 벡터로 변환하는 이유는 이 숫자들을 공간 위의 좌표로 나타낼 수 있기 때문입니다. 벡터 안의 숫자 개수는 차원을 의미하며, 숫자가 2개인 벡터는 우리가 잘 알고 있는 2차원 평면(X축과 Y축으로 구성) 숫자가 3개인 벡터는 3차원 공간의 한 점이 됩니다. 물론 컴퓨터가 다루는 데이터는 수백, 수천 차원에 달하지만, 원리는 같습니다. 벡터로 공간에 점 좌표를 나타내는 것입니다. 이렇게 점으로 위치를 나타내고 나면 이 점 간의 거리나 방향의 차이로 유사도를 계산할 수 있습니다. 따라서 오늘 포스팅에서 벡터 기반 유사도 측정 방법을 알아보는 시간을 갖겠습니다.

2. 유클리드 거리(Euclidean Distance)

 기원전 300년경 수학자 유클리드가 저서(The Elements)를 통해 정립한 유클리드 거리는 두 벡터 사이의 가장 짧은 직선거리를 계산하는 유서 깊은 방식입니다. 이 개념은 두 벡터가 위치한 좌표 간의 기하학적 거리를 측정하는 방식을 취하며, 연산 결과 도출된 직선거리의 값이 0에 가까워질수록 두 데이터의 특성이 서로 일치하고 유사함이 큼을 직관적으로 증명합니다.

오래전부터 확립되어 온 인류의 근본적인 수학적 개념인 만큼, 현대의 정밀한 컴퓨터 시스템과 다차원 연산 체계 내에서도 별도의 이질감 없이 자연스럽고 안정적으로 도입되어 데이터 연산의 기초 핵심 알고리즘으로 자리 잡았습니다.

기술적인 관점에서 유클리드 거리는 방향성보다는 두 벡터가 가지는 절대적인 값의 차이와 크기 자체가 정밀한 판단 기준이 되는 시험 환경에서 매우 가치 있게 활용됩니다. 대표적으로 비지도 학습 분야에서 널리 쓰이는 K-평균 알고리즘을 적용하여 유사한 데이터끼리 카테고리를 묶어주는 데이터 군집 분류 작업의 거리 측정 기준으로 사용됩니다. 아울러 현대 정보보안 시스템의 핵심인 얼굴 인식(Face ID) 및 지문 인식과 같은 생체 인식 분야에서도 중추적인 역할을 담당합니다. 

 실제 시험에서 유클리드 거리가 어떠한 방식으로 적용되는지 구체적인 사례를 통해 살펴보겠습니다. 인공지능 기반의 영상 생성 모델을 대상으로 진행되는 성능 평가 시험에서는, 인물이 특정 대사를 발화하는 모습이 담긴 오디오 음성 데이터와 정지된 고해상도 캡처 이미지를 핵심 시험 데이터로 활용합니다. 시험 검증 절차는 시험원이 대상 인공지능 모델에 "제공된 캡처 이미지가 입력된 음성 신호의 싱크에 맞춰 자연스럽게 발화하는 동영상을 생성해 달라"는 제어 명령을 입력하는 것으로 시작되며, 이에 따라 모델은 음향과 입 모양이 동기화된 가상의 합성 영상을 결과물로 출력하게 됩니다.

영상이 생성된 이후의 정량적 평가는 유클리드 거리를 기반으로 수행됩니다. 우선 평가 시스템은 인공지능 모델이 생성한 합성 영상과 사전에 준비된 원본 정답 영상의 동일한 프레임에서 눈, 코, 입, 턱선 등 얼굴의 주요 윤곽과 움직임을 나타내는 얼굴 특징점(Facial Landmark)을 각각 추출합니다. 이렇게 추출된 다차원 공간의 특징점 좌표들을 상호 매핑한 후, 각 좌표 쌍 사이의 기하학적 유클리드 거리를 전수 산출하여 최종적인 유사도 점수를 계산합니다. 이 연산 과정을 통해 도출된 유클리드 거리 값이 작으면 작을수록 모델이 생성한 가상 영상이 원본 정답 영상 속 인물의 실제 발화 움직임 및 안면 근육의 변화를 왜곡 없이 완벽하게 재현해 냈음을 의미하며, 이는 곧 해당 영상 생성 모델의 완성도와 성능이 매우 우수함을 객관적으로 증명하는 지표가 됩니다.
 

3. 코사인 유사도(Cosine Similarity)

 코사인 유사도의 수학적 모태가 되는 삼각함수 기하학은 고대 그리스 수학 시절부터 정립되어 온 유서 깊은 개념이지만, 이를 현대적인 컴퓨터 과학 및 디지털 데이터 벡터 공간에 본격적으로 대입하기 시작한 것은 제라드 솔턴(Gerard Salton) 교수가 1971년에 발표한 'SMART 검색 시스템(The SMART Retrieval System)' 연구에서부터입니다.

이 방식은 비교하고자 하는 각 벡터가 가지는 절대적인 수치 크기나 물리적인 양은 완전히 배제한 채, 다차원 공간에서 두 벡터가 얼마나 동일한 선상의 방향을 향하고 있는지를 집중적으로 식별합니다. 즉, 좌표계의 원점을 기준으로 두 벡터 사잇각의 코사인을 측정하는 메커니즘을 취하며, 계산 결과는 최소 -1에서 최대 1 사이의 연속형 수치로 도출됩니다. 이때 연산 값이 1에 수렴할수록 두 벡터의 방향성이 완벽하게 일치하는 최대 유사 상태임을 객관적으로 증명합니다.

기술적인 관점에서 코사인 유사도는 두 데이터 간의 단순한 값의 크기 차이보다는, 데이터 내부를 구성하는 요소들의 '상대적인 비율'과 전체적인 '맥락의 방향성'이 훨씬 더 중요한 판단 기준이 되는 시험 환경에서 독보적인 가치를 발휘합니다. 최근에는 거대언어모델(LLM)을 포함한 생성형 인공지능 분야에서 사실과 다른 거짓 정보를 마치 정답처럼 그럴싸하게 출력하는 환각 현상(Hallucination)을 예방하고, 모델의 답변 내용이 주어진 근거 문서의 맥락과 일치하는지 상호 검증하는 핵심 지표로 도입되고 있습니다. 또한 사용자의 과거 시청 패턴이나 구매 이력 데이터의 특징을 벡터화하여, 크기 데이터에 왜곡되지 않고 순수한 선호 맥락과 취향의 방향성이 유사한 콘텐츠를 정밀하게 매칭하는 알고리즘 추천 시스템 등 고도화된 텍스트 마이닝 및 인공지능 기반 정보 검색 분야 전반에서 핵심적인 표준 알고리즘으로 널리 활용되고 있습니다.

 실제 시험에서 코사인 유사도가 어떠한 방식으로 적용되는지 구체적인 사례를 통해 살펴보겠습니다. 생성형 인공지능인 LLM 모델을 대상으로 진행되는 성능 평가 시험에서는, 시스템의 지식 신뢰성과 맥락 이해도를 검증하기 위해 정교하게 설계된 질문 스크립트를 시험 데이터로 활용합니다. 실제 시험 검증 절차는 시험원이 평가 대상 LLM 모델에 "서버 데이터 백업 주기를 설정하는 올바른 방법을 알려줘"라는 질문을 질의 데이터로 입력하는 것으로 시작됩니다. 이에 따라 시험 대상 모델은 자체적인 연산 과정을 거쳐 "가장 좋은 방법은 매일 혹은 매주 단위로 정기적인 백업을 스케줄링하는 것 입니다."와 같은 정제된 문장 형태의 답변을 결과물로 출력하게 됩니다.

 모델의 답변이 출력된 이후의 채점 및 정량적 평가는 코사인 유사도 메커니즘을 기반으로 수행됩니다. 우선 평가 시스템은 인공지능 모델이 생성한 답변 문장과 해당 질문에 매칭되도록 사전에 구축해 둔 고품질의 정답 데이터인 "데이터의 중요도에 따라 일간, 주간으로 나누어 정기 백업을 수행해야 합니다."라는 기준 답변을 각각 준비합니다. 이어서 두 문장이 가진 언어적 맥락과 핵심 키워드의 특징을 자연스럽게 반영할 수 있도록 고차원 임베딩 공간 상의 숫자의 집합, 즉 특징 벡터로 변환하는 과정을 거칩니다.

 벡터화가 완료되면 두 벡터 사잇각의 코사인 유사도를 측정하여 최종적인 의미적 유사성을 평가하게 됩니다. 이 과정에서 코사인 유사도는 두 답변의 자수나 문장 구조의 물리적인 길이 차이에 영향을 받지 않고, 오직 '정기 백업', '일간/주간(매일/매주) 주기 설정'과 같이 핵심적으로 지향하는 의미의 방향성과 비율만을 정밀하게 계산해 냅니다. 결과적으로 도출된 코사인 유사도 값이 1에 가까울수록, 인공지능 모델이 임의로 거짓 정보를 지어내는 환각 현상 없이 출제 의도와 정답 문맥에 부합하는 올바른 소리를 했음을 객관적으로 증명하는 지표가 됩니다.

4. 최근 벡터 기반 유사도 측정 방법

 ○ BLEURT

 구글 연구팀에서 2020년에 발표한 BLEURT는 기존의 전통적인 자연어 평가지표인 BLEU와 구글의 사전 학습 언어 모델인 BERT를 결합하여 개발한 혁신적인 문장 유사도 측정 지표입니다. 기존에 널리 쓰이던 BLEU 등의 규칙 기반 지표들은 문맥과 상관없이 단순히 동일한 단어가 얼마나 많이 매칭되는가만을 계산하는 한계가 있었습니다. 이로 인해 단어의 형태가 조금만 바뀌거나 유의어가 사용되어도 유사도를 낮게 측정하는 기술적 맹점이 존재했으나, BLEURT는 이러한 한계를 완전히 극복하기 위해 등장하였습니다.

 BLEURT의 핵심 메커니즘은 단순한 수학적 거리 계산을 넘어 인간의 인지 방식을 모사한다는 점에 있습니다. 이 지표는 인간이 실제로 문장을 읽고 품질을 채점하는 평가 데이터를 사전 학습하여 구축된 인공지능 모델을 기반으로 작동합니다. 따라서 문장의 구조적 배열이나 어휘가 정답과 일치하지 않더라도, 전체적인 맥락과 의미적 타당성이 통한다면 인간 평가자와 유사하게 높은 유사도 점수를 산출하는 정교함을 보여줍니다.

 유사도 측정 결과는 0에서 1 사이의 연속형 수치로 도출되며, 1에 가까워질수록 두 문장의 의미적 맥락이 완벽히 일치하는 최대 유사 상태임을 의미합니다. 인공지능 모델이 생성한 답변과 정답 문장을 상호 비교하여 채점하는 메커니즘 특성상, 정밀한 검증을 수행하기 위해서는 반드시 기준이 되는 고품질의 정답 데이터가 사전에 바인딩 되어야 합니다.

 이러한 특성 덕분에 BLEURT는 거대언어모델을 포함한 자연어 생성 모델의 결과물 유사도를 검증할 때 매우 유용하게 활용됩니다. 현재는 인공지능 기반의 기계 번역 성능 평가, 텍스트 요약 시스템의 품질 검증, 그리고 AI 지식 답변 서비스의 정답률 검증 시험 등 정밀한 문맥 품질 측정이 요구되는 다양한 인공지능 성능 평가 분야 전반에서 핵심 지표로 채택되어 사용되고 있습니다.

○ CLIPScore

 오픈AI(OpenAI)가 개발한 CLIP 모델을 활용하는 CLIPScore는 텍스트와 이미지라는 서로 다른 형태의 데이터 사이에서 코사인 유사도를 정교하게 측정하는 혁신적인 평가지표입니다. 기존에 널리 활용되던 전통적인 유사도 측정 방법들은 텍스트와 텍스트, 혹은 이미지와 이미지처럼 오직 동일한 모달리티 간의 비교에만 초점을 맞추었다는 기술적 한계가 있었습니다. 그러나 CLIPScore의 등장으로 인해 텍스트와 이미지처럼 서로 상이한 모달리티를 결합하여 데이터 간의 의미적 유사성을 직접 측정하고 비교하는 것이 가능해졌습니다.

 이 지표는 텍스트와 이미지를 하나의 공통된 벡터 공간으로 임베딩한 후, 두 데이터가 향하는 방향의 일치 여부를 코사인 유사도 방식으로 계산하는 메커니즘을 가지고 있습니다. 이를 통해 컴퓨터가 이미지의 시각적 특징과 텍스트의 언어적 맥락을 동시에 이해하고, 두 이종 데이터가 얼마나 일맥상통하는지를 객관적인 수치로 산출해 줍니다. 이러한 교차 모달리티 측정 능력은 인공지능 모델이 인간의 시각 및 언어 인지 구조와 유사하게 데이터를 평가할 수 있도록 돕습니다.

 이러한 독보적인 특성 덕분에 CLIPScore는 최근 급격히 발전하고 있는 멀티모달 인공지능 성능 평가 분야에서 핵심적인 지표로 활용되고 있습니다. 대표적으로 사용자가 입력한 문장을 바탕으로 그림을 그려내는 이미지 생성 모델의 정확도를 평가하거나, 반대로 특정 이미지를 입력했을 때 이를 설명하는 문장을 만들어내는 이미지 캡셔닝 모델의 성능을 검증하는 시험에 널리 쓰이고 있습니다. 또한 시각 자료와 텍스트 설명 간의 일치도가 중요한 다양한 인공지능 기반 서비스의 품질 검증 단계에서도 필수적인 평가 기준으로 채택되어 그 효용성을 증명하고 있습니다.

 ○ FAD(Fréchet Audio Distance)

 구글 AI(Google AI) 연구팀 등에서 제안되어 오디오 성능 평가의 표준으로 자리 잡은 FAD는 인간이 생성한 고품질 오디오 데이터를 사전에 학습한 임베딩 모델을 기반으로, 입력된 오디오의 품질과 왜곡 정도를 정교하게 탐지하는 유사도 측정 지표입니다. 기존 평가 방식들이 신호 대 잡음비(SNR)처럼 단순한 음향 신호의 물리적 수치 변화만을 측정하여 인간이 실제로 느끼는 음질을 반영하지 못했던 한계를 극복하기 위해 등장하였습니다. 이 지표는 단순히 소리의 파형을 일대일로 비교하는 대신, 오디오 데이터가 가지는 고차원적인 특징 벡터의 전체적인 분포를 통계적으로 비교하여 점수를 산출하는 방식을 취합니다.

 FAD는 인공지능이 생성한 결과물과 실제 원본 고품질 오디오 데이터의 특징 공간 내 배경 분포가 얼마나 일치하는지 수학적으로 계산하며, 측정된 값이 낮을수록 실제 오디오의 품질 및 음향 특성과 매우 유사함을 의미합니다. 이러한 메커니즘 덕분에 완벽한 일치형 정답 오디오 데이터가 존재하지 않는 상황에서도 전반적인 음향 데이터의 타당성을 평가할 수 있는 독자적인 장점을 가집니다. 현재 FAD는 배경 음악이나 효과음을 자동으로 만들어내는 음악 생성 모델의 성능 검증은 물론, 특정 사람의 목소리를 자연스럽게 재현하는 음성 합성(TTS) 모델의 품질 평가 등 정밀하고 고도화된 오디오 품질 측정이 요구되는 인공지능 음향 기술 분야 전반에서 핵심적인 평가지표로 활용되고 있습니다.

5. 마무리

 인공지능 성능 평가의 핵심 기술인 다양한 벡터 기반 유사도 측정 방법에 대해 종합적으로 살펴보았습니다. 가장 직관적인 형태의 유클리드 거리는 다차원 공간 내에서 두 점 사이의 가장 짧은 직선거리를 측정함으로써, 데이터가 가지는 절대적인 수치 차이를 기반으로 유사성을 정량화하는 데 탁월한 성능을 보여줍니다. 반면 코사인 유사도는 벡터의 절대적인 크기나 수치 변화에 영향을 받지 않고 오직 데이터가 향하는 방향의 유사성만을 정밀하게 비교하기 때문에, 문서 분석이나 거대언어모델의 답변 검증 같은 의미적인 유사도를 판단하는 분야에서 필수적인 역할을 수행하고 있습니다.

 더 나아가 인공지능 기술이 급격히 고도화됨에 따라 단순한 수학적 거리 계산의 한계를 넘어선 최신 유사도 측정 방법들이 등장하여 인공지능 평가 생태계를 혁신하고 있습니다. 구글의 사전 학습 모델과 인간의 채점 방식을 결합한 BLEURT는 자연어의 미묘한 문맥적 타당성을 인간 평가자와 유사한 수준으로 정교하게 측정해 내며, 오픈AI의 CLIP 모델을 활용한 CLIPScore는 텍스트와 이미지라는 서로 다른 복합 모달리티 간의 코사인 유사도를 직접 측정하는 다차원적 검증을 가능하게 만듭니다. 또한 오디오 분야의 FAD는 고품질 음향 데이터의 고차원 특징 벡터 분포를 통계적으로 비교·분석하여 실제 인간의 청각 인지 방식과 결을 같이하는 고도화된 왜곡 탐지 성능을 보여줍니다.

 결과적으로 과거의 규칙 기반, 단일 모달리티 중심의 단순 수치 비교 체계는 인공지능 모델 자체를 평가 도구로 활용하는 고차원적인 지능형 평가 체계로 빠르게 진화하고 있습니다. 영상, 자연어, 음향 등 각 데이터 도메인의 특성과 시험 목적에 부합하는 최적의 유사도 측정 지표를 선택하고 표준화하는 것은, 향후 개발될 차세대 인공지능 모델의 신뢰성과 정밀한 성능 검증을 담보하기 위한 가장 핵심적인 선결 과제가 될 것입니다.

[참고문헌]

[1] Wu, Y., & Ji, Q. (2018). Facial landmark detection: A literature survey. International Journal of Computer Vision, 127(2), 115–142.

[2] Sellam, T., Das, D., & Parikh, A. P. (2020). BLEURT: Learning robust metrics for text generation. Proceedings of the 58th Annual Meeting of the ACL, 7881–7892.

[3] Hessel, J., Holtzman, A., Forbes, M., Le Bras, R., & Choi, Y. (2021). CLIPScore: A reference-free evaluation metric for image captioning. Proceedings of EMNLP 2021, 7514–7528.

[4] Kilgour, K., Zuluaga, M., Roblek, D., & Sharifi, M. (2018). Fréchet audio distance: A metric for evaluating music enhancement algorithms. arXiv preprint arXiv:1812.08466.