머신러닝은 어떻게 제로데이 공격을 탐지하는가

수십 년 동안 사이버 보안은 시그니처(패턴)에 기반한 고전적인 숨바꼭질 게임이었습니다. 새로운 악성코드 변종이나 익스플로잇이 발견되면 보안 연구원들은 이를 분석하여 고유한 디지털 시그니처를 추출하고 백신 데이터베이스에 배포했습니다.

그러나 시그니처 기반 방어에는 치명적인 결함이 있습니다. 바로 완전히 사후 대응적(Reactive)이라는 점입니다. 한 번도 본 적 없는 위협은 차단할 수 없습니다.

여기서 바로 **제로데이 공격(Zero-Day Attack)**이 등장합니다. 이는 벤더가 패치를 출시하기 전에 알려지지 않은 소프트웨어 취약점을 표적으로 삼는 공격입니다. 시그니처가 없기 때문에 기존의 방화벽과 침입 방지 시스템(IPS)은 이에 완전히 무력했습니다.

제로데이 위협에 대응하기 위해 업계는 패러다임의 전환을 겪고 있습니다. 시그니처에서 벗어나 **머신러닝(ML)**을 기반으로 한 ‘행위(Behavior)’ 분석으로 이동하고 있습니다.

1. 시그니처를 넘어서: 이상 탐지의 메커니즘

머신러닝 기반 방어의 핵심은 이상 탐지(Anomaly Detection) 개념입니다. 알려진 악성 행위(시그니처)를 찾는 대신, 머신러닝 모델은 시스템이나 네트워크의 ‘정상’ 상태가 어떤 것인지 학습하고, 이 기준(베이스라인)에서 벗어나는 모든 행위를 감지하도록 훈련됩니다.

• 행위 베이스라인 구축: 아이솔레이션 포레스트(Isolation Forest)나 오토인코더(Autoencoder)와 같은 비지도 학습 알고리즘은 방대한 네트워크 트래픽, 사용자 활동 및 시스템 로그를 학습하여 정상적인 운영 상태의 정교한 모델을 구축합니다.
• 편차 스코어링: 제로데이 익스플로잇이 실행되면 베이스라인에서 벗어난 동작이 필연적으로 발생합니다. 예컨대 비정상적인 API 호출 시퀀스 실행, 예기치 않은 포트 연결 생성, 제한된 시스템 메모리 읽기 시도 등이 있습니다. 머신러닝 모델은 이러한 행위를 높은 이상치 점수로 즉시 감지합니다.

2. 동적 특징 추출: 실시간 파일 분석

제로데이 익스플로잇은 주로 이메일 첨부 파일이나 드라이브 바이 다운로드를 통해 침투합니다. 시그니처 검사기는 이러한 새로운 파일을 감지할 수 없으므로, 머신러닝 기반 엔드포인트는 정적 및 동적 특징 추출을 사용하여 밀리초 단위로 파일을 분석합니다.

1. 정적 분석: 파일 구조, 임포트된 DLL, API 함수 호출 및 메타데이터를 실행하지 않고 분석합니다. 딥러닝 모델은 코드가 난독화된 경우에도 악성 패턴을 감지할 수 있습니다.
2. 동적 샌드박스 분석: 정적 분석 결과가 불충분할 경우, 안전한 가상 샌드박스 환경에서 파일을 실행합니다. 머신러닝 에이전트는 실시간 실행을 모니터링하며 다음과 같은 행위를 추적합니다.
   • 프로세스 인젝션: 정상적인 시스템 프로세스(예: explorer.exe)에 코드를 주입하려는 시도.
   • 레지스트리 수정: 민감한 스타트업 키에 값을 쓰거나 보안 서비스를 비활성화하는 행위.
   • 권한 상승: 시스템 익스플로잇을 통해 관리자 권한을 비정상적으로 요청하는 행위.

3. 네트워크 트래픽 분석 및 시퀀스 모델링

많은 제로데이 공격은 원격 명령 실행, 데이터 유출 또는 네트워크 내부에서의 횡적 이동(Lateral Movement)을 포함합니다. 머신러닝은 네트워크 텔레메트리를 이벤트 시퀀스로 취급하여 이러한 활동을 모니터링합니다.

• LSTM 및 순환 신경망(RNN): 자연어 처리(NLP)에서 문장의 다음 단어를 예측하는 것처럼, 보안 분야에서는 네트워크 흐름을 모델링하는 데 LSTM이 사용됩니다. 모델은 장치 간의 일반적인 통신 시퀀스를 학습하고 악성 이상 징후를 감지합니다.
• 그래프 신경망(GNN): GNN은 전체 네트워크 토폴로지를 그래프로 매핑합니다. 장치가 노드이고 통신이 엣지가 됩니다. 이를 통해 공격자가 제로데이 익스플로잇을 사용하여 서버와 서버 사이를 이동하려는 은밀한 횡적 이동을 탐지할 수 있습니다.

4. 과제: 머신러닝 방어의 양날의 검

머신러닝은 강력하지만 만병통치약은 아닙니다. 머신러닝 기반 보안에는 해결해야 할 엔지니어링 과제가 있습니다.

• 오탐(False Positive)의 딜레마: 이상 탐지 모델이 너무 민감하면 정상적인 소프트웨어 업데이트나 관리 작업까지 공격으로 감지하여 보안 팀에 알람 피로를 유발할 수 있습니다.
• 적대적 머신러닝(Adversarial ML): 사이버 범죄자들은 머신러닝 모델을 우회하는 방법을 개발하고 있습니다. 미세하고 악의적이지 않은 코드 수정(적대적 섭동)을 추가하여 분류 모델을 속이고 제로데이 페이로드를 안전한 파일로 오인하게 만들 수 있습니다.

결론: 다층적이고 자가 학습하는 미래

머신러닝은 사이버 보안을 사후 대응에서 실시간 예방 방어 체계로 변화시켰습니다. 행위를 분석하고, 동적 특징을 추출하며, 네트워크 시퀀스를 모델링함으로써 머신러닝은 조직이 심각한 피해를 입기 전에 제로데이 공격을 저지할 수 있도록 돕습니다.

공격자들이 고도화됨에 따라 방어의 미래는 새로운 위협에 지속적으로 적응하는 협력적이고 자가 학습하는 시스템에 있으며, 이를 통해 가장 은밀한 제로데이 공격마저 탐지망을 벗어나지 못하도록 할 것입니다.

Ghaznix 블로그에서 더 많은 기술적 통찰력을 확인해 보세요 →