에이전틱 AI(Agentic AI)는 최근 인공지능 기술 분야에서 가장 주목받는 개념으로, 기존의 AI가 가진 능력을 뛰어넘어 실제로 행동할 수 있는 지능형 시스템을 의미한다.

과거의 LLM 기반 AI가 텍스트 생성이나 분석에 뛰어나다면, 에이전틱 AI는 이를 넘어 자율적 판단, 계획 수립, 외부 시스템 제어, 도구 사용을 결합해 인간의 지적·실무적 업무 전반을 대체할 수 있는 잠재력을 보여주고 있다. 

이러한 흐름은 인공지능이 단순한 도구나 보조 수단을 넘어 하나의 “디지털 직원(Digital Worker)”로 진화하고 있음을 상징한다.

그러나 동시에, 이러한 능력 확장은 보안적 관점에서 더 큰 책임과 위험을 의미한다.

에이전틱 AI의 잘못된 행동은 단순한 응답 오류에 머무르지 않고 실제 시스템 변경이나 데이터 노출로 이어질 수 있기 때문이다.

아래에서는 에이전틱 AI가 탄생한 배경부터 구조, 장단점, 보안의 필요성, 그리고 실무자가 적용해야 할 보안 테스트 절차까지 상세하게 설명한다.

※ 에이전틱 AI 보안 체크리스트

아래 체크리스트는 이후 설명할 상세 내용의 핵심을 빠르게 파악하도록 구성된 것으로, 에이전틱 AI를 도입하거나 평가할 때 필수적으로 확인해야 한다.

✔ 에이전틱 AI 보안 체크리스트

- 아키텍처/구조

에이전트별 역할(Role)이 명확히 분리되어 있는가?

각 에이전트가 사용하는 API·도구 접근 권한이 최소 권한 원칙(Least Privilege)을 준수하는가?

네트워크 경계(Proxy, Filtering, Sandbox)가 제대로 구성돼 있는가?

메모리 저장소에 개인정보나 민감 데이터가 평문으로 저장되지 않는가?

- 정책·프롬프트 보안

시스템 프롬프트(SP)에 보안 정책과 금지 행위가 명확히 명시돼 있는가?

외부 콘텐츠(웹페이지, 문서, 이메일)가 SP를 덮어쓰거나 변경할 수 없도록 설계되었는가?

프롬프트 인젝션을 탐지·차단하는 대응 규칙이 존재하는가?

- 테스트

프롬프트 인젝션 공격 시나리오가 포함되어 있는가?

도구 호출 남용 테스트(과도 권한, 임의 파라미터 입력 등)를 수행하는가?

멀티 에이전트 간 공격 전파를 검증하는 시나리오가 있는가?

테스트는 반드시 격리된 샌드박스 환경에서 수행되는가?

- 운영·모니터링

에이전트 행동 로그 및 도구 호출 기록이 중앙에서 수집·분석되는가?

대량 조회, 이상 패턴, 정책 우회 시도를 탐지하는 규칙이 구성되어 있는가?

모델 업데이트·프롬프트 변경 시 자동 회귀 테스트 체계가 구축되어 있는가?

1. 에이전틱 AI의 등장 배경

에이전틱 AI가 등장하게 된 배경에는 IT 자동화 기술의 진화, 산업 변화, 그리고 LLM 기술의 발전이 복합적으로 작용했다.

과거 기업들이 활용해온 RPA나 규칙 기반 자동화 기술은 정해진 절차를 빠르고 정확하게 수행하기 위해 설계되었지만,

예외 상황에 매우 취약하고 새로운 규칙이 추가되거나 업무 프로세스가 바뀌면 전체 자동화를 다시 설계해야 하는 번거로움이 있었다.

반면, ChatGPT와 같은 LLM의 등장 이후 AI는 자연어 이해와 추론 능력에서 비약적인 발전을 이루었다.

그러나 LLM은 여전히 “행동”이 불가능했다.

예를 들어 일정 예약 이메일을 작성할 수는 있지만 실제 일정 등록 또는 결제 시스템 연동 같은 행동을 수행하지는 못한다.

이러한 한계를 해결하기 위한 방향에서 자연스럽게 등장한 것이 바로 에이전틱 AI이다.

즉, LLM의 사고 능력과 자동화 시스템의 실행 능력을 서로 연결한 형태라고 볼 수 있다.

이를 통해 기업들은 단순 반복 업무 자동화를 넘어 복잡한 의사결정 기반의 End-to-End 자동화를 실현할 수 있게 되었고, 이는 생산성을 큰 폭으로 향상시킬 수 있는 강력한 무기이자 새로운 리스크의 원천이 되었다.

2. 에이전틱 AI의 구조와 특징

에이전틱 AI는 단일 기능의 AI가 아니라 여러 계층이 조합된 복합 시스템이다. 

즉, 에이전틱 AI는 LLM, 에이전트, 외부 도구, 메모리 시스템, 정책 엔진, 오케스트레이션 엔진 등이 유기적으로 결합하여 구성된다.

아래 다이어그램은 이러한 구조를 직관적으로 설명한다.

이 구조의 핵심은 LLM이 단순한 분석 도구가 아니라, 에이전트에게 "목표 기반 행동 계획"을 생성한다는 점이다.

이후 에이전트는 필요한 외부 시스템을 호출하거나 메모리를 활용하여 작업을 수행하며, 오케스트레이터는 여러 에이전트가 협력하도록 전체 흐름을 조율한다.

<전통적 자동화와 에이전틱 AI 비교>

3. 에이전틱 AI의 장점

에이전틱 AI의 대표적인 장점은 다음과 같이 정리할 수 있다.

먼저, 인간이 수행하는 것과 유사한 방식으로 업무를 이해하고 계획을 세우기 때문에 복잡한 절차도 자동화할 수 있다.

예를 들어 고객 온보딩 절차처럼 여러 시스템을 오가며 다양한 검증 단계를 거쳐야 하는 업무도 에이전틱 AI는 순차적으로 처리할 수 있다.

두 번째로, 에이전틱 AI는 비정형 데이터를 이해하고 예외 상황을 스스로 판단해 최적의 대응을 할 수 있으므로, 기존 규칙 기반 자동화보다 적응력이 현저히 뛰어나다.

또한 에이전틱 AI는 사용자 정보와 데이터를 분석해 개인화된 결정을 내릴 수 있으므로 고객 경험과 내부 업무 효율을 동시에 향상시킨다.

장기적으로는 AI가 조직의 디지털 동료로서 더 넓은 범위의 역할을 수행할 가능성을 제공한다.

4. 에이전틱 AI의 위험 요소와 보안 취약점

에이전틱 AI의 장점은 동시에 강력한 위험 요소를 내포한다.

그 중 가장 주목해야 할 점은 오류의 자동화이다.

일반적인 LLM은 잘못된 답을 출력하더라도 시스템에 물리적 영향을 주지 않지만, 에이전틱 AI는 잘못된 판단이 실제 API 호출이나 시스템 변경으로 이어지기 때문에 피해 규모가 훨씬 크다.

또한 에이전틱 AI는 기존 소프트웨어보다 공격면(Attack Surface)이 훨씬 넓다.

입력 텍스트뿐 아니라 문서, 이메일, CSV, 웹페이지 등 다양한 콘텐츠가 잠재적 공격 경로가 될 수 있기 때문이다. 

특히 프롬프트 인젝션(Prompt Injection)은 보안 업계에서도 가장 위험한 공격으로 분류된다. 

악성 사용자는 문서나 웹페이지에 숨겨진 문자열을 통해 에이전트를 속이고, 내부 데이터를 외부로 전송하게 하거나 금지된 명령을 수행하게 만들 수 있다.

이를 그림으로 표현하면 다음과 같다.

5. 에이전틱 AI 보안 테스트의 필요성

이러한 위험 요소 때문에 에이전틱 AI 보안 테스트는 기존 보안 테스트와 완전히 다른 접근이 필요하다. 

전통적인 테스트는 “정해진 입력에 대한 정해진 출력”을 상정하지만, 에이전틱 AI는 확률적·동적·비결정적 속성을 가지고 있어 예상치 못한 행동을 보일 수 있다.

각 테스트는 실제 공격자의 관점에서 시나리오를 구성해야 하고, 도구 호출, 메모리 저장, 네트워크 요청 등 에이전틱 AI만의 작동 방식에 맞춰 설계해야 한다.

더욱이 에이전틱 AI는 시간이 지날수록 변화하기 때문에, 보안 테스트 역시 일회성이 아니라 지속적으로 수행되어야 한다.

6. 에이전틱 AI 보안 테스트 절차

에이전틱 AI 보안 테스트는 다음의 5단계로 나누어 수행된다.

6.1 1단계: 사전 분석 및 위협 모델링

사전 분석에서는 에이전틱 AI가 접근할 수 있는 데이터, 시스템, 권한 범위를 정확하게 파악한다. 

이후 STRIDE, LINDDUN, OWASP LLM Top 10 등을 활용하여 ‘프롬프트 인젝션’, ‘권한 오용’, ‘데이터 유출’, ‘멀티 에이전트 전파’ 등의 위협을 식별한다.

<에이전틱 AI 주요 위협 시나리오>

6.2 2단계: 설계·구현 단계 보안 점검

이 단계에서는 시스템 구조와 정책을 검토한다. 특히 다음 요소가 중요하다.

- 최소 권한 원칙 기준 설계

- 도구/API 호출 파라미터 검증

- 시스템 프롬프트 내 보안 규칙 포함

- 메모리 저장 형태 및 암호화 적용

- 행동 로그의 민감 정보 마스킹 여부

이 단계에서 구조가 잘못되면 이후 테스트는 의미가 없기 때문에 가장 중요한 단계 중 하나이다.

6.3 3단계: 보안 테스트 케이스 설계

이 단계에서는 실제 공격자처럼 시나리오를 구성해 테스트 케이스를 만든다.

- 예시 시나리오

- 악성 문서 속 숨겨진 지시문 탐지 여부

- 외부 입력을 통한 시스템 프롬프트 수정 시도

- 도구 호출 파라미터 조작

- 승인 절차 우회 시도

- 데이터 유출을 유도하는 프롬프트 입력

- 대량 조회 시도에 대한 탐지 여부

6.4 4단계: 보안 테스트 실행

테스트는 반드시 샌드박스 환경에서 진행해야 하며, 실제 시스템과 데이터에 영향을 주지 않도록 격리해야 한다.

테스트 실행 과정에서는 공격 시나리오를 반복적으로 수행하면서 정책 우회 여부, 이상 행동 발생 여부, 로그 및 모니터링 체계가 제대로 작동하는지 검증한다.

6.5 5단계: 평가 및 지속 운영

테스트 결과는 단순히 성공 혹은 실패로 보는 것이 아니라 아래와 같은 측면에서 평가해야 한다.

- 공격 차단률

- 데이터 유출 탐지 정확도

- 정책 우회 여부

- 시스템 대응 시간

- 모델 업데이트 후 회귀 테스트 수행 여부

에이전틱 AI는 지속적으로 업데이트되므로 이를 자동화한 테스트 체계가 필수적이다

결론

에이전틱 AI는 조직의 생산성을 혁신하고 복잡한 업무 자동화를 새로운 차원으로 끌어올릴 수 있는 강력한 기술이다. 

그러나 동시에, AI가 실제 시스템을 제어하고 민감 데이터를 다루게 되는 만큼 기존 AI보다 훨씬 높은 수준의 보안이 요구된다. 

에이전틱 AI 보안 테스트는 단순한 취약점 검사 수준이 아니라, AI의 행동 가능성 전체를 검증하는 고도의 전문 작업이며, 조직은 설계 단계부터 운영 단계까지 전 주기적으로 이를 수행해야 한다.

철저한 보안 관리가 뒷받침된다면 에이전틱 AI는 기업의 차세대 핵심 기술로 진정한 가치를 발휘할 수 있을 것이다.

참고문헌(References)

1. NIST, AI Risk Management Framework (AI RMF), 2023.

2. OWASP, LLM Top 10 for Large Language Model Applications, 2023.

3. Anthropic, AI Safety and Agentic Behavior Research Papers, 2023–2024.

4. OpenAI, GPT-4 Technical Report, 2023.

5. Google DeepMind, Agentic AI Systems and Autonomous Behavior Analysis, 2024.

6. Microsoft, Guidelines for Secure AI System Design, 2023.

7. Palo Alto Networks, AI Security Threat Landscape, 2024.

8. Trend Micro, Prompt Injection & Data Exfiltration Case Studies, 2023.

9. IBM Research, Agentic Workflow Architecture and Automation Trends, 2024.

Appen, AI Automation and Agentic Systems Industry Report, 2024