거래소 버그를 수학으로 잡고, 변동성의 비밀을 풀다 \u2014 2022년 10월 금융 AI 연구 하이라이트

들어가며

여러분은 온라인 쇼핑몰에서 \u201C장바구니에 담은 상품이 사라진\u201D 경험을 한 적 있으신가요? 불편하지만 큰 문제는 아니죠. 그런데 만약 주식 거래소에서 비슷한 일이 벌어진다면요? 매수 주문이 들어갔는데 체결되지 않거나, 같은 가격의 주문이 순서 없이 처리된다면? 이것은 수십억 원 규모의 손실로 이어질 수 있습니다.

2022년 10월, 전 세계 연구자들은 이런 문제들을 수학의 힘으로 해결하려는 흥미로운 연구들을 쏟아냈습니다. 거래소 알고리즘의 정확성을 수학적으로 증명하고, 주가 변동성의 숨겨진 패턴을 통계적으로 밝혀내고, 투자 전략의 성능 보장을 이론적으로 확보하는 연구들이요.

이번 달에는 263편의 논문이 등록되었고, 그중 4편이 최고 등급(A등급)을 받았습니다. 오늘은 그 4편과 주변 연구들을 네 가지 이야기로 엮어 들려드리겠습니다.

---

이야기 1: 거래소의 매칭 알고리즘, 수학으로 \u201C보증\u201D하다

일상 비유로 시작하기

카페에서 주문할 때를 생각해 봅시다. \u201C아메리카노 하나요\u201D라고 하면, 바리스타는 정확히 아메리카노를 만듭니다. 이 과정이 올바르려면 세 가지가 필요하죠: (1) 메뉴에 없는 걸 만들지 않는다, (2) 먼저 주문한 사람이 먼저 받는다, (3) 주문한 것과 다른 걸 내놓지 않는다.

주식 거래소도 본질적으로 같습니다. 수많은 매수\u00B7매도 주문이 들어오면, 시스템은 이들을 가격-시간 우선 원칙에 따라 짝지어 체결합니다. 그런데 이 알고리즘에 버그가 있다면? NYSE Arca처럼 규칙 위반으로 벌금을 받는 거래소가 생기는 겁니다.

연구가 한 일

인도의 Garg와 Sarswat 박사는 이 문제에 형식 방법(Formal Methods)을 적용했습니다. 형식 방법이란 프로그램의 정확성을 수학적으로 증명하는 기법으로, 항공기 제어 시스템이나 원자력 발전소 소프트웨어에서 이미 사용되고 있어요.

연구진은 연속 이중경매(CDA)를 규정하는 세 가지 자연적 성질을 발견했습니다:

1. 양의 매수-매도 스프레드: 남아있는 주문들끼리 체결 가능한 쌍이 없다
2. 가격-시간 우선: 유리한 가격이 먼저, 같으면 빠른 시간이 먼저 체결된다
3. 보존 법칙: 시스템이 주문을 잃어버리거나 새로 만들지 않는다

놀라운 발견은 이 세 가지만 만족하면 모든 CDA 알고리즘이 동일한 결과를 produced 한다는 것입니다. 즉, 이 세 가지가 거래소 매칭의 \u201C공리\u201D인 셈이죠.

이 증명은 Coq이라는 정리 증명기에서 6,000줄에 걸쳐 formalized 되었고, 검증된 프로그램에서 추출한 자동 검사기는 거래소 체결 로그에서 위반 사항을 보증된 탐지합니다.

왜 중요한가

거래소는 금융 시장의 \u201C도로\u201D입니다. 도로의 신호등 시스템이 수학적으로 올바름이 증명되었다면, 모든 차량(투자자)이 안전하게 이용할 수 있는 거죠. 이 연구는 거래소 설계의 신뢰성 기준을 한 단계 끌어올렸습니다.

핵심 논문: The Design and Regulation of Exchanges: A Formal Approach (A등급, composite 66.2)

---

이야기 2: 주가 변동성은 생각보다 훨씬 \u201C거칠다\u201D

일상 비유로 시작하기

바다의 파도를 관찰해 보세요. 잔잔한 날도 있지만, 파도의 높이는 예상보다 훨씬 불규칙하게 변합니다. 전통적인 금융 이론은 변동성이 \u201C비교적 매끄럽게\u201D 움직인다고 가정했어요. 마치 파도가 사인곡선처럼 부드럽게 오르내리는 것처럼요.

그런데 2014년부터 고빈도 거래 데이터를 분석한 결과, 실제 변동성은 fractional Brownian motion이라는 수학적 대상과 닮았다는 것이 밝혀졌습니다. 이 모형에서 핵심 파라미터인 Hurst 지수 H가 0.5보다 훨씬 작으면(보통 0.1 근방), 변동성은 매우 거칠게 움직입니다.

연구가 한 일

프랑스 Polytechnique의 Rosenbaum 교수팀은 이 \u201C거친 변동성\u201D의 핵심 파라미터 H를 어떻게 추정할 것인가에 대한 근본적인 해답을 제시했습니다.

기존 방법들은 변동성 추정치와 실제 변동성 사이의 관계를 특정 모형으로 가정했어요. 예를 들어 \u201C변동성이 Heston 모형을 따른다\u201D거나요. 문제는 이 가정이 틀리면 추정 자체가 편향된다는 거예요.

이 논문은 반모수적(semiparametric) 설정에서 H를 추정합니다. 변동성이 어떤 특정 모형을 따르는지 가정하지 않고, 오직 \u201C변동성이 거친 구조를 가진다\u201D는 최소한의 가정만 사용합니다.

추정 과정을 쉽게 설명하면 이렇습니다:

1. 고빈도 가격 데이터에서 변동성의 자기공분산을 various lag에서 계산
2. 특정 선형 결합으로 편향을 제거 (Vandermonde 조합)
3. 조종 추정치를 시작으로 반복적으로 개선 (더 나은 윈도우 크기 사용)
4. 최적 윈도우 크기가 알려지지 않은 H에 의존하므로, 랜덤화 트릭으로 해결

핵심 결과

이 추정기는 혼합정규 분포로 수렴합니다. 이게 무슨 뜻이냐면, H의 추정값이 (조건부로) 정규분포를 따르므로 신뢰구간을 구축할 수 있다는 거예요. \u201CH가 0.12라고 추정되는데, 95% 신뢰구간은 0.08~0.16이다\u201D 같은 결론을 낼 수 있게 된 거죠.

게다가 이 추정의 수렴 속도는 minimax 최적입니다. 즉, 어떤 추정 방법을 써도 이보다 더 빠르게 정확해질 수 없다는 것을 증명한 거예요.

왜 중요한가

변동성을 정확하게 추정해야 옵션 가격이 정확해지고, 리스크 모델이 신뢰할 수 있게 됩니다. \u201C변동성이 거칠다\u201D는 것을 알면서도 \u201C얼마나 거친지\u201D를 정확히 모르면, 옵션 가격이 틀리고 헤지 비율이 어긋나죠. 이 연구는 그 \u201C얼마나\u201D를 정확히 잴 수 있는 도구를 제공합니다.

핵심 논문: Statistical inference for rough volatility: Central limit theorems (A등급, composite 65.9) \u2014 The Annals of Applied Probability 게재

연계 논문: Minimax Theory (A등급, composite 65.7)

---

이야기 3: 투자 전략의 \u201C최악의 날\u201D을 수학적으로 관리하다

일상 비유로 시작하기

비 오는 날 우산을 들고 나가는 것은 \u201C평균 날씨\u201D를 고려한 결정이 아닙니다. \u201C최악의 날씨\u201D를 고려한 결정이죠. 투자도 마찬가지입니다. 평균 수익률만 보고 전략을 고르면, 시장이 폭락하는 날에 큰 손실을 입을 수 있어요.

CVaR(Conditional Value at Risk)은 바로 이 \u201C최악의 날\u201D을 측정하는 도구입니다. 예를 들어 \u201C5% CVaR이 -3%\u201D라는 것은, \u201C가장 나쁜 5%의 날에는 평균 3% 손실이 난다\u201D는 뜻이에요. VaR보다 꼬리 위험을 더 잘 포착하죠.

연구가 한 일

스탠퍼드의 Xia와 Glynn 교수는 이 CVaR를 동적으로 최적화하는 이론적 프레임워크를 완성했습니다.

문제는 CVaR가 표준 MDP(Markov Decision Process) 구조에 맞지 않는다는 것입니다. 일반적인 RL에서는 \u201C지금 보상 + 미래 보상\u201D을 더하면 되는데, CVaR는 이렇게 가법적으로 분해되지 않아요. 동적 계획법의 원리가 그대로 적용되지 않는 거죠.

연구진은 민감도 기반 최적화라는 관점에서 이 문제를 해결했습니다. 핵심 아이디어는:

1. 이중 수준 공식화: CVaR를 보조 변수 y(의사 VaR)에 대한 최소화로 변환. y의 탐색 공간을 가능한 비용 값의 유한 집합으로 제한.
2. CVaR 차이 공식: 정책을 바꿀 때 CVaR가 얼마나 변하는지 정량화하는 닫힌 형태 공식 유도.
3. 벨만 국소 최적 방정식: 최적 정책이 만족해야 할 필요충분 조건 도출.
4. 정책 반복 알고리즘: 국소 최적점으로 수렴하는 효율적 알고리즘 개발.

놀라운 결과 중 하나는 결정론적 정책의 최적성입니다. CVaR를 최소화하는 최적 정책은 항상 확률적 섞임 없이 \u201C어떤 상태에서 어떤 행동을 할지\u201D가 확정된 형태입니다.

왜 중요한가

실제 투자에서 \u201C평균적으로 잘하는\u201D 전략은 충분하지 않습니다. 2008년 금융위기, 2020년 코로나 폭락처럼 극단적 상황에서 얼마나 버틸 수 있는지가 중요하죠. 이 연구는 장기적으로 꼬리 위험을 최소화하는 정책을 수학적으로 설계하고 찾을 수 있는 도구를 제공합니다.

핵심 논문: Risk-Sensitive MDPs with Long-Run CVaR Criterion (B등급, composite 64.3)

---

이야기 4: 매일 포트폴리오를 바꾸면서도 \u201C후회\u201D를 줄이는 수학

일상 비유로 시작하기

매일 점심 메뉴를 고를 때를 생각해 봅시다. 오늘 뭘 먹을지 결정하고, 먹고 나서 \u201CAh, 다른 걸 먹을걸\u201D 하고 후회하죠. 그런데 1년 동안 매일 점심을 먹으면서 누적 후회를 최소화하는 전략이 있다면? 즉, \u201C전체 기간 동안 내가 이상적인 선택을 했다면 먹었을 맛의 합\u201D과 \u201C실제로 먹은 맛의 합\u201D의 차이를 최소화하는 거예요.

온라인 포트폴리오 선택이 딱 이 문제입니다. 매 기간 자산 비중을 정하고, 이후 수익률이 공개되면 후회를 느끼죠. 목표는 이 누적 후회를 작게 만드는 것입니다.

연구가 한 일

대만 National Taiwan University의 Tsai 박사팀은 이 문제의 후회 경계를 개선했습니다.

기존 대표 알고리즘인 지수적 경사(Exponentiated Gradient, EG)의 후회는 O(T^ d^)으로 알려져 있었어요. T가 1,000일이면 대략 176배의 후회가 쌓이는 셈이죠.

이 논문은 포트폴리오 선택의 손실함수가 특수한 수학적 구조\u2014자기수반장벽(self-concordant barrier)이면서 로그 장벽에 대해 상대적으로 매끄럽다\u2014를 가진다는 것을 발견하고, 이 구조를 활용해 후회를 O(T^ d^)으로 개선했습니다. 1,000일 기준으로 약 46배로 줄어든 거예요.

더 나아가 로그 장벽 함수를 사용하는 온라인 미러 하강(OMD)의 후회가 O(\u221A(Td))임을 보였습니다. 이는 기존 최고 수준인 Soft-Bayes와 동일하면서, 반복당 계산 시간은 O(d)로 효율적입니다.

수학적 통찰

이 연구의 진짜 가치는 특정 알고리즘의 개선보다는 통합 프레임워크에 있습니다. 자기수반성과 상대적 매끄러움이라는 두 개념을 결합하면, 포트폴리오 선택뿐 아니라 다른 온라인 학습 문제에도 같은 분석을 적용할 수 있어요. 실제로 이 논문은 양자 상태 학습(quantum state learning)에도 동일한 프레임워크를 적용해 새로운 결과를 도출했습니다.

왜 중요한가

실제 투자에서 \u201C이론적으로 최적인\u201D 알고리즘은 종종 계산 비용이 너무 높아서 쓸 수 없습니다. 반면 \u201C계산이 빠른\u201D 알고리즘은 성능 보장이 약하죠. 이 연구는 양쪽을 모두 만족하는 영역을 수학적으로 명확히 했습니다. 매일 리밸런싱하는 알고리즘의 장기 성능을 보장할 수 있게 된 거예요.

핵심 논문: Online Self-Concordant and Relatively Smooth Minimization (A등급, composite 65.1) \u2014 ALT 2023 발표

---

2022년 10월, 한눈에 보기

이 네 가지 이야기를 관통하는 하나의 메시지가 있습니다: \u201C어느 정도 작동한다\u201D에서 \u201C이 정도는 보장한다\u201D로의 전환. 추정기의 신뢰구간, 알고리즘의 후회 보장, 위험측도의 동적 최적화, 거래소의 형식 검증\u2014모두 \u201C실무에서 쓰이는 도구들의 수학적 기반을 더 단단하게 다지자\u201D는 취지입니다.

2022년 10월은 금융 AI가 엔지니어링에서 수학으로, 근사에서 보장으로 한 걸음 나아간 달이었습니다.

---

함께하기

ohse-lab은 금융 AI 연구를 체계적으로 수집\u00B7평가\u00B7분석합니다.

• \uD83D\uDCEC 최신 연구 소식 구독: ohselab.com
• \uD83D\uDCAC 연구 분석 상담: ohselab.com
• \uD83D\uDC26 최신 논문 팔로우: ohselab.com

---

더 알아보기