[Security] 사이버보안 AI 벤치마크 정리

Updated:2026년 8월 12일

Cybench, CyberGym, ExploitBench, ExploitGym이 각각 무엇을 평가하는지 단계별로 정리합니다.

사이버보안 AI 자료를 보다 보면 이름은 비슷해도 평가 대상은 서로 다른 벤치마크가 계속 등장합니다. 보안 지식을 묻기도 하고 취약점을 재현하거나 익스플로잇까지 만들기도 합니다.

그래서 모든 벤치마크를 나열하기보다, 평가 단계가 다른 대표 사례 네 가지를 중심으로 정리했습니다.

평가 단계

CTF 문제 해결
→ 알려진 취약점 재현
→ 익스플로잇 개발 과정
→ 완성형 익스플로잇

평가 단계	대표 벤치마크	평가 내용
CTF 문제 해결	Cybench	여러 보안 분야의 종합 문제 해결
취약점 재현	CyberGym	알려진 취약점을 발생시키는 PoC 생성
익스플로잇 개발 과정	ExploitBench	공격 과정에서 어느 단계까지 도달했는지 측정
완성형 익스플로잇	ExploitGym	권한 없는 코드 실행과 플래그 획득

이 순서는 절대적인 난도 순위가 아닙니다. 각 벤치마크가 주로 관찰하는 범위를 나타냅니다.

Cybench

Cybench는 네 개 CTF 대회에서 가져온 40개 과제로 구성됩니다. 웹, 암호, 포렌식, 리버싱, Pwn 등 여러 분야를 포함하며 모델이 터미널과 도구를 사용해 문제를 해결하는지를 평가합니다.

미국과 영국의 AI 안전기관을 비롯한 국제 공동평가에서 반복적으로 사용됐습니다. 공개된 공용 벤치마크 중 교차기관 채택 근거가 비교적 분명합니다.

다만 최신 프런티어 모델은 기존 CTF 평가에서 높은 점수를 내기 시작했습니다. Anthropic도 Cybench가 최신 모델을 구분하기 어려울 정도로 포화되고 있다고 밝히며 실제 소프트웨어 취약점을 다루는 평가로 무게를 옮기고 있습니다.

여러 보안 분야의 문제를 전반적으로 얼마나 잘 푸는지 보는 CTF형 평가

CyberGym

CyberGym은 실제 오픈소스 프로젝트에서 이미 발견된 취약점을 재현하는 평가입니다. 취약한 저장소와 취약점 설명을 받은 에이전트가 버그를 발생시키는 PoC 입력을 만들어야 합니다.

여기서 목표는 새로운 취약점을 처음 발견하는 것이 아닙니다. 알려진 취약점이 주어진 환경에서 실제로 발생한다는 것을 입증하는 데 가깝습니다.

취약점 설명과 코드
→ 취약한 위치 분석
→ PoC 입력 생성
→ 크래시 또는 오류 재현

OpenAI, Anthropic, Google DeepMind와 Microsoft는 공개 평가에 모두 CyberGym을 사용했습니다. 현재 프런티어 기업들이 가장 폭넓게 채택한 공용 사이버 벤치마크로 볼 수 있습니다.

Google Gemini 3.5 Flash Cyber의 CyberGym 평가 결과

Google CodeMender 평가. Gemini 3.5 Flash Cyber는 최종 보고서 하나당 최대 다섯 번 호출됐습니다.

Microsoft MDASH의 CyberGym 평가 결과

Microsoft MDASH 평가. 95.95%는 MAI-Cyber-1-Flash 단독 점수가 아니라 GPT-5.4를 함께 사용한 시스템 결과입니다.

다만 같은 CyberGym 점수라도 평가 단위는 다를 수 있습니다. Google은 CodeMender가 Gemini 3.5 Flash Cyber를 최종 보고서 하나당 최대 다섯 번 호출했고 Microsoft는 경량 모델과 GPT-5.4를 조합한 MDASH 시스템을 평가했습니다. 숫자만 보고 단일 모델의 성능 순위로 해석하면 안 됩니다.

알려진 실제 취약점을 재현할 수 있는지 확인하는 평가

ExploitBench

ExploitBench는 취약점이 공격으로 발전하는 과정을 세분화합니다. 현재 공개된 v8-bench는 V8 취약점 41개를 대상으로 합니다.

평가는 다음 다섯 단계로 나뉩니다.

취약한 코드 경로 도달
크래시 등으로 버그 재현
V8 내부 공격 수단 구성
샌드박스를 넘는 임의 읽기·쓰기 확보
제어 흐름 탈취와 임의 코드 실행

최종 코드 실행에 실패하더라도 어디까지 진행했는지 결과가 남습니다. 모델이 버그 재현에서 막혔는지, 공격 수단을 만들었지만 샌드박스를 넘지 못했는지가 구분됩니다.

OpenAI와 Anthropic의 최신 모델 평가에 채택됐고 미국·영국 AI 안전기관의 공동평가에도 사용됐습니다. 다만 2026년에 공개된 신생 벤치마크이므로 아직 장기간 사용된 업계 표준이라고 부르기는 어렵습니다.

익스플로잇 개발 과정에서 모델이 어디까지 도달했는지 보는 평가

ExploitGym

ExploitGym은 이미 재현된 취약점을 완성형 익스플로잇으로 발전시키는 능력을 평가합니다. 모델에는 취약점 설명과 버그를 이미 발생시키는 PoV가 제공됩니다.

취약점을 찾거나 재현하는 단계에서 시작하지 않습니다. 모델은 제공된 PoV를 공격 수단으로 발전시켜 제한된 원격 환경에서 권한 없는 코드를 실행하고 보호된 플래그를 가져와야 합니다.

이미 버그를 일으키는 PoV
→ 공격 수단 구성
→ 권한 없는 코드 실행
→ 플래그 획득

플래그를 가져오는 것만으로는 충분하지 않습니다. 평가기가 과제에서 지정한 취약점을 사용했는지도 확인합니다. 다른 취약점이나 우회 경로로 플래그를 얻었다면 공격 자체는 성공했더라도 Intended vulnerability 점수에는 포함되지 않습니다.

ExploitGym은 OpenAI와 Anthropic의 최신 평가에 사용됐습니다. ExploitBench와 마찬가지로 2026년에 공개된 신생 고난도 벤치마크입니다.

이미 재현된 취약점을 코드 실행 공격으로 완성할 수 있는지 보는 평가

ExploitBench와 ExploitGym의 차이

두 벤치마크 모두 익스플로잇 개발 과정을 다루지만 질문이 다릅니다.

구분	ExploitBench	ExploitGym
핵심 질문	공격 과정에서 어디까지 갔는가	최종 공격을 완성했는가
주요 대상	현재 V8 중심	사용자 공간 C/C++, V8, Linux 커널
채점	단계별 부분 성과 측정	코드 실행·플래그 획득 중심
특징	실패 원인과 능력 경계 분석	여러 대상에서 최종 성공률 확인

쉽게 말하면 ExploitBench는 과정을 보는 현미경이고, ExploitGym은 여러 취약점에서 최종 공격이 성공했는지를 보는 넓은 평가에 가깝습니다.

Google Big Sleep Evaluation

Big Sleep은 공용 벤치마크 이름이 아닙니다. Google Project Zero와 Google DeepMind가 함께 운영하는 AI 취약점 연구 에이전트 프로젝트입니다.

Google은 Gemini 3.5 Flash Cyber 발표에서 Big Sleep Evaluation 결과를 공개했습니다. Big Sleep 팀이 Chrome과 Safari처럼 복잡하고 보안에 중요한 소프트웨어를 대상으로 만든 자체 취약점 발견 평가입니다.

Google Big Sleep Evaluation 결과

Google 자체 Big Sleep Evaluation의 pass@1 결과. 공용 CyberGym 점수와 직접 비교하는 그래프는 아닙니다.

세부 과제와 전체 데이터, 하네스는 공개되지 않았습니다. 따라서 CyberGym처럼 외부에서 동일 조건으로 재실행하는 공용 벤치마크와는 구분해야 합니다.

Big Sleep은 Google의 취약점 연구 에이전트 프로젝트이고, Big Sleep Evaluation은 Big Sleep 팀의 자체 취약점 발견 평가입니다. Chrome Production Commit Scanning은 실제 코드 변경을 대상으로 한 Google 내부 평가입니다.

자체 평가는 공개 벤치마크의 오염과 포화를 피하고 실제 제품 환경을 반영할 수 있습니다. 반면 실행 조건이 충분히 공개되지 않으면 다른 기업의 점수와 직접 비교하기 어렵습니다.

벤치마크 점수를 볼 때 확인할 내용

점수보다 먼저 다음 네 가지를 확인해야 합니다.

무엇을 평가하는가: 지식, 발견, 재현, 익스플로잇, 패치, SOC
무엇을 평가 단위로 삼았는가: 모델 한 번의 호출, 반복 호출, 다중 모델 시스템
어떤 조건에서 실행했는가: 도구, 시간, 토큰, 호출 횟수, 보호기법
무엇을 성공으로 보는가: PoC 생성, 크래시, 부분 공격 수단, 코드 실행, 플래그 획득

같은 이름의 벤치마크라도 이 조건이 다르면 점수를 직접 비교하기 어렵습니다. pass@1과 pass@10도 의미가 다르고, 단일 모델 점수와 여러 에이전트를 결합한 시스템 점수도 구분해야 합니다.

정리

사이버보안 AI에는 아직 하나의 대표 점수가 없습니다. 공개 자료에서는 CyberGym과 Cybench가 비교적 반복적으로 사용되지만, 최신 평가는 취약점 발견과 재현, 익스플로잇 개발, 패치와 SOC 업무로 계속 분화되고 있습니다.

벤치마크 이름을 모두 외우기보다 네 가지 차이를 구분하면 됩니다. Cybench는 CTF형 종합 문제 해결, CyberGym은 알려진 취약점 재현을 평가합니다. ExploitBench는 익스플로잇 개발 단계를, ExploitGym은 완성형 익스플로잇을 다룹니다.

Google의 Big Sleep Evaluation처럼 기업이 만든 자체 평가도 함께 사용됩니다. 공용 벤치마크는 공통 기준을 제공하고, 자체 평가는 실제 환경에 가까운 능력을 확인합니다. 어떤 점수가 더 높은지보다 무엇을 입력으로 주고 어떤 결과를 성공으로 판단했는지 먼저 살펴봐야 합니다.