시장을 시뮬레이션하고, 그 안에서 최적의 답을 찾다 — 2021년 10월 AI 트레이딩 연구 리뷰

오세에이아이연구소·2021년 11월 1일·24분 읽기

#AI 트레이딩 #시장 시뮬레이션 #강화학습 #포트폴리오 최적화 #주문 실행 #그래프 신경망 #2021년 10월

시장을 시뮬레이션하고, 그 안에서 최적의 답을 찾다 — 2021년 10월 AI 트레이딩 연구 리뷰

주식 시장에서 돈을 벌려면 두 가지가 필요합니다. 시장이 어떻게 움직이는지를 이해하는 것, 그리고 그 이해를 바탕으로 얼마나 사고팔지를 결정하는 것. 2021년 10월에 발표된 논문들은 이 두 가지 질문에 대해 놀랍도록 정교한 답을 내놓았습니다.

들어가며: 백테스팅의 한계

여러분이 투자 전략을 짠다고 상상해 보세요. 과거 10년간의 주가 데이터를 돌려보니 "이 전략은 연 20% 수익이 나네요!"라고 생각할 수 있습니다. 하지만 실제 시장에서 이 전략을 쓰면 어떻게 될까요?

문제는 시장이 반응한다는 점입니다. 내가 10만 주를 사면 주가가 올라가고, 내가 팔면 내려갑니다. 과거 데이터를 단순히 돌려보는 백테스팅은 이런 "내 행동이 시장에 미치는 영향"을 전혀 고려하지 않습니다.

2021년 10월의 연구들은 이 문제를 정면으로 다룹니다. 시장을 살아있는 생물처럼 시뮬레이션하고, 그 안에서 AI 에이전트가 학습할 수 있는 환경을 만드는 것이죠. 동시에, "얼마나 자주 거래할 것인가", "어떻게 포트폴리오를 짤 것인가" 같은 실무적 질문에 대한 수학적 해답도 제시합니다.

테마 1: 시장을 실험실 안에 넣다 — 반응형 시장 시뮬레이터

무엇이 문제였나?

전통적인 백테스팅은 과거 주가를 테이프 재생하듯 그대로 돌려봅니다. 마치 타임머신을 타고 과거로 돌아가서 그날그날의 주가를 보면서 투자 결정을 내리는 것과 같습니다. 하지만 현실에서는 여러분이 대량 매수를 하면 다른 투자자들이 반응하고, 호가창이 변하고, 가격이 움직입니다. 백테스팅에는 이 모든 것이 없습니다.

핵심 아이디어: AI 에이전트들이 뛰노는 가상 시장

ABIDES-Gym (arXiv:2110.14771)은 이 문제를 해결하기 위해 나사(NASA) 스타일의 시뮬레이터를 게임 환경으로 바꿨습니다.

ABIDES는 원래 JP모건이 만든 이산사건 멀티에이전트 시뮬레이터입니다. 수많은 트레이더 에이전트가 각자 주문을 넣고, 호가창에서 만나서 거래가 일어나는, 작은 가상 증권거래소입니다. 문제는 이 시뮬레이터가 덩어리째로 돌아가서, 중간에 멈추고 AI에게 "자, 이제 네 차례야"라고 말하기 어렵다는 것이었습니다.

ABIDES-Gym의 전체 구조: 시뮬레이션과 RL 학습 루프가 커널 중단/재개를 통해 주고받는 과정

연구팀의 해결책은 우아합니다. 시뮬레이터의 커널을 중단 가능하게 만든 것입니다. 특별한 "Gym 에이전트"가 깨어날 때마다 시뮬레이션을 일시 정지하고, AI에게 현재 상태(호가창 불균형, 스프레드, 최근 가격 움직임 등)를 보여준 다음, AI가 행동(매수/보유/매도)을 고르면 시뮬레이션을 다시 시작합니다.

두 가지 벤치마크 환경을 만들었습니다:

일일 투자자: 매분마다 깨어나서 "이 종목을 살까, 팔까, 그냥 있을까"를 결정합니다. 하루가 끝났을 때 포트폴리오 가치를 최대화하는 것이 목표입니다.
알고리즘 실행: 대량 주문(예: 2만 주 매수)을 정해진 시간 안에 최소 비용으로 실행해야 합니다. 10초마다 깨어나서 "시장가로 바로 살까, 지정가 주문을 넣을까, 기다릴까"를 선택합니다.

DQN(Deep Q-Network)으로 학습한 결과, 두 환경 모두에서 수익성 있는 전략을 학습하는 데 성공했습니다.

같은 테마의 또 다른 연구: GAN으로 시장 만들기

Towards Realistic Market Simulations (arXiv:2110.13287)은 좀 더 대담한 접근을 합니다. 개별 트레이더 데이터는 기밀이라 구할 수 없으니, 집계된 호가창 데이터만으로 전체 시장을 대변하는 하나의 "월드 에이전트"를 GAN(생성적 적대 신경망)으로 학습시킨 것입니다.

이 CGAN 기반 에이전트는 현재 시장 상태를 보고 "현실적인 주문"을 생성합니다. 실험 에이전트가 갑자기 대량 매수를 쏟아내면, 이 월드 에이전트는 실제 시장처럼 반응합니다 — 가격이 오르고, 다른 매도 주문이 나타나는 식으로요.

실제 TSLA 데이터와 비교한 결과, 이 CGAN 시뮬레이터가 기존 수작업 에이전트 풀 방식보다 변동성 클러스터링, 거량/변동성 상관관계, 팻 테일 등 시장의 스타일라이즈드 팩트를 더 잘 재현했습니다.

이 테마의 공통 인사이트

시장을 단순히 "재생"하는 것이 아니라 "반응하게" 만들어야 비로소 의미 있는 전략 검증이 가능하다. ABIDES-Gym은 RL 표준 프레임워크와의 호환성을, GAN 시뮬레이터는 데이터 효율성을 각각 해결책으로 제시한다.

테마 2: 무위험자산 없이도 포트폴리오를 짤 수 있을까?

포트폴리오 이론의 교과서를 보면, 항상 "무위험자산"이 등장합니다. 은행 예금이나 국채처럼 확정 수익을 주는 자산이죠. 하지만 현실에서는 이 가정이 깨지는 경우가 많습니다. 크립토 시장에는 무위험자산이 없고, 이머징 마켓에서는 인플레이션 때문에 실질 무위험 수익률을 찾기 어렵습니다. 심지어 유로존 위기 때처럼 "안전하다고 믿었던" 국채가 위험자산으로 변하기도 합니다.

핵심 아이디어: 기준을 바꿔도 답이 같아야 진짜 답이다

Numeraire-invariant quadratic hedging (arXiv:2110.09416)은 이 문제를 정면으로 공략합니다.

"누메레르(numeraire)"란 가치를 측정하는 기준 자산입니다. 원래는 "1달러 = 1달러"이지만, 금으로, 비트코인으로, 또는 특정 주식으로 기준을 바꿀 수 있습니다. 문제는 기준을 바꾸면 포트폴리오 최적화의 답도 바뀐다는 것입니다. 이 논문은 기준을 바꿔도 변하지 않는 수학적 구조를 찾아냈습니다.

쉽게 비유하면 이렇습니다. 키를 잴 때 "미터"로 재든 "피트"로 재든, 실제 키의 순위는 바뀌지 않습니다. 마찬가지로 포트폴리오의 최적 비율도 누메레르를 바꿔도 본질적으로 같아야 한다는 것이죠.

기술적으로, 이 논문은 사영(projection)이라는 수학적 도구를 사용해 무위험자산 유무를 통일적으로 처리합니다. 효율적 프론티어(위험-수익의 최적 조합 곡선)는 세 가지 해석 가능한 숫자 — 기회 과정, 추적 과정, 최소 헤지 오차 — 로 간결하게 표현됩니다.

이 연구는 Mathematics of Operations Research 2024년호에 정식 게재되었을 정도로 이론적 가치를 인정받았습니다.

이 테마의 공통 인사이트

포트폴리오 이론의 가정을 하나씩 완화해도 수학적 해답은 존재한다. 무위험자산이 없어도, 확률 분포가 불확실해도, 시장에 감염(contagion) 위험이 있어도 — 적절한 수학적 도구를 찾으면 최적 포트폴리오를 계산할 수 있다.

테마 3: 얼마나 자주 거래할 것인가 — 최적 회전율의 수학

무엇이 문제였나?

투자 전략을 만들면 자연스럽게 떠오르는 질문: "이 신호에 따라 얼마나 자주 사고팔아야 할까?" 너무 자주 거래하면 거래 비용(수수료, 시장 충격)이 수익을 잡아먹고, 너무 적게 거래하면 좋은 기회를 놓칩니다.

전통적인 Grinold의 기본 법칙은 "더 자주 거래할수록 좋다"고 말합니다. 왜냐하면 거래 비용을 고려하지 않았기 때문입니다. 마치 "연습을 많이 할수록 실력이 는다"는 말은 맞지만, 연습에 드는 시간과 노력을 무시한 것과 같습니다.

핵심 아이디어: 알파 신호의 반감기와 시장 충격의 균형점

Optimal Turnover, Liquidity, and Autocorrelation (arXiv:2110.03810)은 이 질문에 대한 수학적 해답을 제시합니다.

이 논문의 핵심 공식은 놀랍도록 간결합니다:

최적 회전율 = γ√(n+1)

여기서:

γ는 "유동성 조정 위험회피도"입니다. 시장 충격이 클수록 γ가 작아져서 거래를 줄입니다.
n은 "알파 신호의 평균회귀 속도 / γ"입니다. 신호가 빠르게 decay할수록 n이 커져서 거래를 늘립니다.

직관적으로 생각해 보세요. 여러분이 "이 종목이 3일 안에 오를 것 같다"는 신호를 발견했다면, 3일 안에 사야 합니다. 하지만 10만 주를 한 번에 사면 주가가 올라가서 비용이 커집니다. 이 공식은 이 두 가지 힘의 최적 균형점을 알려줍니다.

수치 예시를 들어보겠습니다:

일일 변동성 1%, 시장 충격 10bps per 1% ADV, 위험회피도 10⁻⁶
알파 신호 반감기 약 3.5일
→ 최적 회전율 약 17.3%/day (하루에 보유량의 17%를 교체)

이 논문은 또한 Grinold의 기본 법칙을 일반화해, 시장 충격과 동적 최적화를 반영한 정보비율(IR) 공식도 유도했습니다.

이 테마의 공통 인사이트

거래 빈도는 "감"이 아니라 "수학"으로 결정해야 한다. 알파 신호의 특성(반감기, 자기상관)과 시장 환경(유동성, 충격)을 정량화하면, 최적 회전율과 기대 정보비율을 사전에 계산할 수 있다.

테마 4: 숨겨진 연결을 찾다 — 그래프 기반 주식 예측

무엇이 문제였나?

주식 예측 모델은 보통 개별 종목의 과거 데이터만 봅니다. 하지만 현실에서는 같은 업종의 종목들이 함께 움직이고, 때로는 전혀 다른 업종이 어떤 이유로 연결되기도 합니다. 예를 들어 코로나19 팬데믹 때 항공사와 석유화학 기업이 같은 방향으로 움직였죠.

기존 방법들은 "기술주", "인터넷 소매" 같은 사전 정의된 카테고리를 사용해 종목 간 정보를 공유했습니다. 하지만 이 연결을 정적으로 가정했고, 카테고리 밖의 숨겨진 관계는 포착하지 못했습니다.

핵심 아이디어: 알려진 개념 + 숨겨진 개념 + 개별 정보

HIST (arXiv:2110.13716)는 세 가지 레이어로 종목 간 정보를 포착합니다:

사전 정의 개념 모듈: "반도체", "바이오" 같은 기존 카테고리와 종목 간의 동적 관계를 학습합니다. 시가총액 가중 초기화 후 어텐션 메커니즘으로 보정하죠.
숨겨진 개념 모듈: 이게 가장 흥미로운 부분입니다. 데이터에서 자동으로 "숨겨진 개념"을 발견합니다. 예를 들어 "고속철도"라는 개념이 철도 건설사, 차량 제조사, 고속철 유지보수 회사를 자동으로 연결합니다. 이런 연결은 기존 산업 분류에는 없었지만, 시장 데이터에는 존재하는 패턴이죠.
개별 정보 모듈: 공유 정보를 모두 제거한 후 남은, 순수하게 종목 고유의 움직임을 포착합니다.

숨겨진 개념의 예: "고속철도"라는 개념이 철도 건설, 차량 제조, 유지보수 회사들을 자동으로 연결

결과 — 무엇을 알아냈나?

중국 A주 시장(CSI 300)에서 검증한 결과:

기존 최고 방법 대비 Information Coefficient 0.131 (vs 0.119)
투자 시뮬레이션(2017-2020): 일일 상위 30종목 선정 시 누적 수익률 120% 이상 (CSI 300 지수 ~50%)
어블레이션 연구에서 숨겨진 개념 모듈만으로 +0.91 IC 향상

한계와 주의점

중국 A주 시장에서만 검증되었으며, 다른 시장(미국, 한국 등)으로의 일반화는 추가 연구가 필요합니다. 또한 개념 추출이 웹 데이터에 의존하므로 데이터 품질에 민감합니다.

이 테마의 공통 인사이트

주식 예측의 성능은 모델 복잡도보다 어떤 정보를 입력으로 넣는가에 더 크게 좌우된다. 종목 간의 알려진 관계(업종)뿐 아니라, 데이터에서 자동 발견되는 숨겨진 관계까지 활용하면 예측력이 크게 향상된다.

테마 5: 강화학습, 정말로 좋은 알고리즘인가?

무엇이 문제였나?

강화학습(RL)이 금융 거래에 쓰이기 시작한 지 몇 년이 지났습니다. 하지만 "어떤 RL 알고리즘이 실제로 좋은가?"라는 질문에 대한 답은 생각만큼 명확하지 않습니다.

보통 연구자들은 오프라인 데이터(과거 거래 기록)에서 여러 알고리즘을 비교하고, 가장 성능이 좋은 것을 선택합니다. 하지만 실제 시장에 배포하면 이야기가 달라집니다.

핵심 아이디어: 평가 예산이 알고리즘 순위를 바꾼다

Showing Your Offline Reinforcement Learning Work (arXiv:2110.04156)은 이 문제를 정면으로 다룹니다.

핵심 메시지는 이렇습니다: 오프라인 데이터에서의 성능 순위와 실제 배포 후의 성능 순위가 다를 수 있다는 것입니다. 특히 라이브 배포 예산(실제로 시도해볼 수 있는 전략의 수)이 제한적일 때, 단순히 오프라인 성능이 가장 좋은 알고리즘을 선택하는 것이 최선이 아닐 수 있습니다.

쉽게 비유하면, 수영 선수를 뽑을 때 "물 밖에서의 자세"만 보고 뽑으면 안 되는 것과 같습니다. 실제로 물에 들어가서 헤엄치는 모습을 봐야 진짜 실력을 알 수 있죠. 하지만 물에 들어가보는 기회(라이브 배포 예산)가 제한적이면, 어떻게 공정하게 비교할 것인가가 관건입니다.

이 테마의 공통 인사이트

RL 알고리즘의 성능 평가는 "어떤 데이터로 평가하는가"에 크게 좌우된다. 오프라인 평가만으로는 충분하지 않으며, 제한된 온라인 배포 예산을 어떻게 배분할 것인가가 실무적 핵심 과제다.

월 전체 Big Picture: 시장을 이해하는 두 가지 방법

2021년 10월의 연구들을 관통하는 하나의 큰 질문이 있습니다: "시장을 어떻게 모델링하고, 그 안에서 어떻게 최적의 행동을 찾을 것인가?"

ABIDES-Gym과 GAN 시뮬레이터는 시장을 살아있는 시스템으로 모델링합니다. 수많은 에이전트가 상호작용하고, 내 행동이 시장에 영향을 미치는 그런 시장이죠. Optimal Turnover 논문은 그 시장 안에서 "얼마나 자주 거래할 것인가"에 대한 수학적 해답을 제공합니다. Numeraire-Invariant Hedging은 기준 자산이 없는 환경에서도 포트폴리오 이론이 작동할 수 있음을 보여줍니다. HIST는 종목 간의 숨겨진 관계를 그래프로 포착해 예측력을 높이고, RL 평가 논문은 "어떤 알고리즘이 실제로 좋은가"라는 근본적인 질문을 던집니다.

이 달의 연구들은 공통적으로 이론의 일반화와 실용적 적용 가능성 사이의 다리를 놓는 데 주력했습니다. 수학적 아름다움과 실무적 유용성, 이 둘을 모두 추구하는 것이 2021년 10월 AI 트레이딩 연구의 특징이었습니다.

함께하기

이런 최신 AI 트레이딩 연구를 꾸준히 팔로우하고 싶으시다면:

🌐 ohselab.com — 연구 리포트와 분석
📧 뉴스레터 구독 — 매월 최신 논문 요약
💬 상담 문의 — 투자 전략에 AI를 적용하는 방법

더 알아보기

이 글에서 다룬 논문들

논문	핵심 내용	링크
ABIDES-Gym	멀티에이전트 시뮬레이터를 Gym 환경으로	arXiv:2110.14771
GAN Market Simulation	CGAN으로 반응형 시장 에이전트 학습	arXiv:2110.13287
Numeraire-Invariant Hedging	무위험자산 없는 포트폴리오 이론	arXiv:2110.09416
Optimal Turnover	최적 회전율의 닫힌형 공식	arXiv:2110.03810
HIST	그래프 기반 숨겨진 개념 발견	arXiv:2110.13716
Offline RL Evaluation	RL 알고리즘 평가의 예산 의존성	arXiv:2110.04156