맞춤형 사이버보안 데이터셋
모델의 사이버보안 능력을 향상시키기 위한 고난도의 테스크를 개발합니다. 테스크에서 모델이 실제로 어려움을 느끼는지, 인위적으로 난이도를 높였는지 여부를 직접 검토합니다.
인간의 전문성으로,
AI를 발전시킵니다.
CYVARC는 사이버보안의 최고 전문가로 구성된 팀입니다. 우리는 AI의 사이버보안 능력을 향상시키기 위한 고난도의 테스크를 제작하고 검증합니다.
신뢰성모든 태스크를 수동으로 직접 검토합니다.
고품질독창적이고 전문가가 풀 수 있는 공정한 테스크입니다.
맞춤형고객이 원하는 목표, 형식에 부합하는 테스크를 제작합니다.
모델의 사이버보안 능력 향상을 위한 데이터셋을 만들고,
어떤 AI 제품을 사용할지에 대한 기준을 만듭니다.
특정 역량을 집중적으로 평가하는 벤치마크
모든 기업은 원하는 목표와 비전이 다릅니다. AI 기반 제품은 많아지지만, 어떤 제품을 쓰는게 좋을지 대한 맞춤형 평가지가 없습니다. 기업이 원하는 목표와 비전에 맞춘 특화 벤치마크를 개발하여, 어떤 AI 제품이 가장 부합하는지 정량적으로 평가하는 평가지를 만듭니다.
AI 제품
작업 중 가드레일 준수율94%
사용자 지시가 반영되는 시간↓1.2 초
에이전트의 행동 추적 가능률72%
탐지 결과의 일관성84%
목표 업무 완료율56%
제품 요구사항
서비스 취약점 점검 업무를 자동화하세요. 파급력 높은 취약점을 찾는 것보다, 중요한 행동은 사람이 빠르게 통제 및 개입할 수 있어야 합니다.
하나의 태스크는 세 가지로 활용할 수 있습니다.
- 서비스 환경
- 에이전트 지시문
- 코드 기반 정적 채점기
- 레퍼런스 풀이
- 정답 해설지
RL
공정한 보상을 위한 평가기준 설정
SFT
전문가의 추론 과정 상세화
EVAL
공정한 성능 평가를 위한 테스트셋
단순히 많은 데이터는,
모델의 능력을 향상시키지 않습니다.
데이터는 모델을 가르칠 수 있는 유일한 방법 중 하나입니다. 나쁜 데이터로 학습한 모델은, 좋은 데이터로 학습한 모델에 비해 성능과 능력이 매우 떨어집니다. 휼륭한 교사가 학생을 지도하면 훌륭한 인재가 배출되는 것처럼, 좋은 데이터가 모델의 성능과 능력을 극대화시킵니다.
나쁜 데이터
잘못된 이유로 모델을 실패하게 만드는 불공정한 인위적인 태스크
태스크 자체가 공정한 풀이를 가로막습니다.
- 과도한 추측으로만 해결되는 문제
- 인터넷에 의존하는 풀이
- 과도한 트릭성 문제
- 불합리한 평가 로직
- 시간에 의존하는 타임어택 문제
명시되지 않은 불합리한 가정을 알아내야 테스크를 해결할 수 있습니다.
좋은 데이터
타당한 이유로 모델이 어려움을 느끼는 공정한 태스크
에이전트는 실패할 수 있습니다. 전문가는 해결할 수 있습니다.
- 전문가는 충분히 추측할 수 있는 추론 문제
- 제공된 자료만으로 충분한 근거
- 실질적인 추론의 어려움
- 목적에 맞는 완료 검증
- 시간에 관게없이 불변하는 문제
전문가는 주어진 근거를 조합하여 추론하고, 이를 통해 풀이를 도출할 수 있습니다.
어려움
프론티어 모델도 충분한 어려움을 겪습니다.
정직함
추측이 아니라 추론을 통해 해결해야합니다.
풀이 가능성
숙련된 전문가는 직접 해결할 수 있습니다.
외부에 존재하는 데이터.
나쁜 데이터가 많이 혼합되어 있습니다.
콘텐츠가 많아지면 노이즈도 많아집니다. 인터넷과 현재 납품되는 사이버보안 데이터셋에는 오류, 중복, 인위적인 난이도가 섞여 있습니다.
인터넷 코퍼스납품되는 데이터셋
좋은 데이터는 쉽게 흉내 낼 수 있습니다.
이를 선별하고 좋은 데이터셋을 만들기 위해서는 전문성이 필요합니다.
단순히 보안 전문성만으로는 충분하지 않습니다.
CTF와 실무 전문성만으로는, 학습에 바로 쓸 수 있는 데이터가 만들어지지 않습니다. 하지만 CYVARC이 생성 기준과 검토를 책임지므로, 고객이 품질에 추가로 신경쓸 필요가 없습니다.
도메인 전문가만 있으면
고객의 요구사항이 맞춰지지 않고
도메인 전문가가 만들었지만
반복되는 수정이 필요합니다
CYVARC와 함께라면
고객과 사전에 합의된 평가 기준으로
내부 전문가 검토를 통해
검증된 결과물을 제공합니다
독창적인 고난도 태스크에서
검증된 데이터셋까지.
CYVARC에 소속된 전문가들이 모든 태스크를 직접 제작하고 테스트하며 검토합니다. 이 과정을 통과한 소수의 태스크만, 고객에게 제공되는 데이터셋에 포함됩니다.
- 01고객의 범위 설정
- 02CYVARC의 설계
- 03전문가의 테스크 제작
- 04검토
- 05데이터셋 제공
독창적인 고난도 태스크 제작
선별된 전문가가 태스크와 환경을 만들고, 성공한 접근법과 실패한 접근법을 모두 기록합니다.
테스트와 검토
언제든지 재현 가능한가?
공정한 난이도인가?
타당한 추론
정직하게 보상을 획득했는가?
수정을 요청하며 반환보상 검증을 수정한 뒤 다시 검토합니다.
두 번째 전문가가 풀이를 보지 않고 해결하며, Tragency로 에이전트 궤적을 살펴보고 보상 로직을 검증합니다.
선별과 제공
- 검증된 풀이
- 검토된 에이전트 궤적
- 전문가 검토 근거
- 보상 검증
승인된 태스크만 환경, 풀이, 채점기, 검증 근거와 함께 고객의 데이터셋에 포함됩니다.
어떤 분야의 데이터셋을 전문적으로 구성할 수 있나요?
전문가의 추론
독창적인 고난도 테스크, 검증된 풀이, 실패한 접근법까지 포함한 구조화된 추론을 제공합니다.
공정한 보상 구조를 설계합니다
에이전트가 완료했다고 주장하는 내용이 아니라 풀이 실제 상태를 확인하는 채점기를 설계하고 제공합니다.
웹 보안
바이너리 익스플로잇
리버스 엔지니어링
암호학
클라우드 보안
스마트 컨트랙트
CYVARC만의 철저한 기준.
- 모든 태스크를 직접 검토
- 불공정한 난이도 배제
- 승인될 때까지 반복 수정
검토
- 표본이 아닌 전수 수동 검토
- 독립적인 블라인드 재풀이
- 보상 로직 검증
- 횟수 제한 없는 수정
진정성
- 불공정한 난이도 배제
- 기존 CTF 아이디어 재활용 금지
- 아이디어 수준의 중복 제거
엔지니어링
- 반복 실행과 버전 고정
- 프런티어 모델 기준 보정
- 의도한 풀이와 해설 문서
CYVARC의 열 가지 약속 모두 읽기
표본이 아닌 전수 수동 검토
모든 태스크를 우리 팀이 직접 검토합니다. 표본 검사로 대신하지 않습니다.
독립적인 블라인드 재풀이
에이전트가 의도한 풀이를 보지 않은 상태에서 태스크를 다시 풉니다.
보상 로직 검증
보상 해킹과 편법을 적극적으로 찾아냅니다.
횟수 제한 없는 수정
고객이 배치를 승인할 때까지 계속 수정합니다.
불공정한 난이도 배제
컨텍스트를 과도하게 채우지 않습니다. 추측에 의존하는 답을 요구하지 않습니다.
기존 CTF 아이디어 재활용 금지
기존 CTF 챌린지나 풀이 문서를 재활용하지 않습니다.
아이디어 수준의 중복 제거
하나의 아이디어로 하나의 태스크를 만듭니다. 아이디어 수준에서 중복을 제거합니다.
반복 실행과 버전 고정
버전이 고정된 컨테이너 환경에서 실행할 수 있습니다.
프런티어 모델 기준 보정
현재 프런티어 모델의 통과율을 기준으로 난이도를 보정합니다.
의도한 풀이와 해설 문서
풀이 문서와 의도한 풀이, 태스크가 어려운 이유를 제공합니다.
탁월한 해커들.
그중에서도 신중히 선별된 소수.
CYVARC은 여러 오펜시브 기업 팀들과 함께 테스크를 제작합니다. 우리와 함께하는 파트너들은 수많은 국제 CTF에서 상위권을 차지하고, 매우 깊은 수준의 보안 취약점 연구, 고난도 챌린지 제작 경험을 갖추고 있습니다. 우리는 그 중에서도 특별히 선별한 소수의 사람들과만 프로젝트를 진행합니다.
CYVARC은 제작자를 엄선하고, 검토도 엄선합니다.
엄선된 소수만이 태스크 제작에 참여하고, 그 중에서도 극소수의 검토자만이 최종 납품 전에 모든 제출물을 엄격한 기준에 따라 검토합니다.
0xp1ain 공동 창립자
RewriteLab 팀장0xp1ain은 국제 웹 보안 연구 팀인 RewriteLab을 이끌고 있습니다. 여러 업체를 위한 사이버보안 데이터 라벨링, 벤치마크 데이터셋 품질 검토, 고난도 CTF 설계 및 운영, LLM 연구를 수행해 왔습니다. CYVARC에서는 공정한 태스크 설계와 전체 과정의 검증을 이끌고 있습니다.
sahuang 공동 창립자
Project Sekai 창립자sahuang은 OtterSec의 수석 AI 보안 연구자이자 국제적으로 인정받는 CTF 팀 Project Sekai의 창립자이며, 이전에는 Microsoft의 엔지니어로 근무했습니다. 사이버보안 데이터셋 제작을 이끌고 국제 CTF에 참가한 경험을 바탕으로, CYVARC에서는 데이터셋 구조, 보상 무결성, 기술 검토를 이끌고 있습니다.
공동 창립자
프로필 공개 예정이미 우리와 함께하고 있는
고객들이 증명합니다.
Anthropic과 같은 기업들이 이미 우리와 함께하고 있으며, 매우 긍정적인 피드백을 주고 있습니다.
여러분은 모델을 잘 알고있습니다.
우리는 사이버보안을 잘 알고습니다.
신뢰할 수 있는 사이버보안 데이터셋과 벤치마크가 필요하다면, 우리가 도울 수 있습니다.
프런티어 AI 연구소
더 강력한 모델의 학습을 위한 독창적인 사이버보안 태스크로, 전문가의 추론과 실제 태스크 완료 여부에 근거한 보상 검사를 포함합니다.
오픈 모델 개발사
향상시키고자 하는 특정 사이버보안 역량에 집중한 파인튜닝 데이터셋으로, 여러분의 모델과 원하는 도메인, 난이도에 맞게 테스크를 구성합니다.
데이터 라벨링 기업
여러 도메인에 걸쳐 데이터셋을 구축하고 큐레이션하는 기업을 위해 전문적인 사이버보안 태스크 제작과 초기 검증을 제공합니다.
샘플부터 확인해 보세요.
차이를 직접 확인하세요.
샘플 태스크를 받아보실 수 있습니다. 우리가 왜 고품질의 데이터셋인지 눈으로 직접 확인해보실 수 있습니다.
고객의 요구사항이 최초 출발점입니다.
- 분야
- 난이도
- 수량
필요한 내용을 알려주세요. 고객의 파이프라인에 맞는 형식으로 계획과 가격을 제안하겠습니다.