2021년 7월의 금융 AI 연구: 공분산 행렬의 비밀을 풀다

매달 arXiv에 쏟아지는 금융 AI 논문 중에서 가장 의미 있는 연구를 골라 정리합니다. 7월은 유독 특별한 달이었습니다 — 포트폴리오 이론의 가장 기본적인 입력인 '공분산 행렬'을 둘러싼 오래된 문제가 하나둘 풀리기 시작했거든요.

---

들어가며: 레시피의 재료가 틀리면?

투자에서 포트폴리오를 구성하려면, 여러 자산이 서로 어떻게 움직이는지 알아야 합니다. "주식이 오를 때 채권은 내리는가?", "기술주끼리는 얼마나 비슷하게 움직이는가?" 이런 질문에 답하는 것이 바로 공분산 행렬(covariance matrix)이에요. 마치 요리에서 재료의 궁합을 아는 것과 같습니다.

문제는 이 '재료 궁합'을 정확히 아는 것이 생각보다 매우 어렵다는 점입니다. 특히 자산이 많아지면(100개, 200개...) 과거 데이터에서 추정한 공분산 행렬이 크게 흔들리기 시작합니다. 마치 맛을 보지 않고 재료 비율을 맞추려는 것과 같죠. 이 '추정 오차'가 포트폴리오 최적화에 그대로 전달되어, 이론적으로는 최적인데 실제론 엉뚱한 포트폴리오가 나오는 문제가 있었습니다.

2021년 7월, 이 오래된 문제를 정면으로 다룬 논문들이 한꺼번에 쏟아졌습니다. 공분산 행렬 추정에서 시작해, 포트폴리오 최적화의 비볼록성, 시장 미시구조의 교차충격, 옵션 가격결정의 수학적 한계까지 — 실무에서 널리 쓰이는 도구들의 수학적 기반을 강화하는 연구가 이 달의 주된 흐름이었습니다.

이번 달에는 196편의 논문이 등록되었고, 그중 104편이 관련 연구로 분류되었습니다. 17편이 A등급을 받았고, 5편에 대해 깊은 분석을 진행했습니다. 네 가지 연구 테마를 골라 이야기를 풀어보겠습니다.

---

테마 1: 공분산 행렬 추정 — 표본이 서로 닮아있으면 어떡하지?

문제: 과거 데이터가 '너무 비슷하면' 추정이 흔들린다

포트폴리오 이론의 아버지 마코위츠(Markowitz)는1952년, 자산 간 공분산을 알면 최적 포트폴리오를 만들 수 있다고 말했습니다. 하지만 실무에서 이 공분산을 과거 데이터로 추정하면, 자산 수가 많아질수록 추정이 크게 흔들립니다. 수학적으로 말하면, 자산 수(N)가 표본 수(T)에 비해 클 때 추정한 공분산 행렬의 고유값이 크게 왜곡됩니다.

기존에는 이 문제를 해결하기 위해 Random Matrix Theory(RMT)라는 수학 도구를 썼습니다. 핵심 아이디어는 "무작위로 만들어진 공분산 행렬의 고유값 분포는 수학적으로 예측할 수 있으므로, 그 '무작위 부분'을 제거하면 진짜 신호만 남는다"는 것입니다. 마치 라디오에서 잡음(noise)을 걸러내고 음악(signal)만 남기는 것과 비슷해요.

그런데 여기에 하나의 큰 가정이 숨어 있었습니다: 표본(날짜별 수익률)이 서로 독립이라는 가정이에요. 실제 금융 데이터에서는 오늘 수익률과 내일 수익률이 서로 관련이 있을 수 있는데(예: 변동성 클러스터링), 이 가정이 무시되면 RMT 기반 추정기 자체가 틀린 답을 내놓게 됩니다.

해결: 표본 간 상관까지 고려한 새로운 수학

[2107.01352] Cleaning large-dimensional covariance matrices for correlated samples (arXiv)

Burda와 Jarosz는 이 문제를 정면으로 해결했습니다. 두 가지 핵심 수학적 기여가 있어요:

1. Marcenko-Pastur 방정식의 일반화: 기존 RMT에서 사용하던 고유값 분포 공식을, 표본 간 자기상관이 존재하는 경우까지 확장했습니다. 쉽게 말하면, "서로 닮아있는 데이터에서도 고유값의 진짜 분포를 찾는 공식"을 만든 거예요.

2. Ledoit-Peche 수축추정기의 확장: Free probability라는 수학 이론을 활용해, 상관된 표본에서도 최적의 '수축 강도(shrinkage intensity)'를 해석적으로 계산하는 공식을 제시했습니다.

핵심 결과: 지수적으로 감소하는 자기상관이 있는 합성 데이터에서, 이 새로운 추정기가 기존 Ledoit-Wolf 방법보다 확연히 낮은 추정 오차를 달성했습니다. 특히 자산 수가 많을수록(N/T 비율이 클수록) 개선효과가 컸습니다.

실전 의미: 이 논문은 오픈소스 Python 라이브러리 **shrinkage**까지 제공합니다. 자산이100개 이상인 포트폴리오에서 일별 리스크 모델의 공분산 입력을 정제하거나, 헤지 비율 산출의 신뢰성을 높이는 데 바로 써볼 수 있어요.

이 테마의 다른 논문들

비슷한 방향의 논문이 더 나왔습니다:

• Deep Risk Model (2107.05201): 딥러닝(GRU와 GAT)으로 '잠재 위험요인'을 자동으로 찾아내고, 그 위험요인들 간의 직교성과 안정성을 보장하면서 공분산을 추정합니다. 기존 사람이 만든 위험요인(시장, 규모, 가치 등) 대신 신경망이 위험요인을 설계하는 거예요.

• cCorrGAN (2107.10606): GAN(생성적 적대 신경망)을 활용해 시장 국면별(상승장, 하락장 등)로 다른 상관행렬 분포를 생성합니다. 이렇게 만든 가상 데이터로 포트폴리오 전략의 강건성을 테스트할 수 있어요.

• Feasible Implied Correlation Matrices (2107.00427): 옵션 시장에서 암묵적으로 가격에 반영된 상관관계를 수학적으로 일관된 방식으로 추출하는 방법을 제시합니다.

이 테마의 공통 메시지: 공분산 행렬 추정은 더 이상 "과거 평균을 구하기"가 아니라, 고차원성·시계열 의존성·비정규성을 동시에 다루는 수학적 문제로 진화하고 있습니다.

---

테마 2: 포트폴리오 최적화 — VaR라는 괴물을 길들이다

문제: VaR는 좋은데, 계산이 너무 어렵다

금융 규제에서 리스크를 측정하는 가장 널리 쓰이는 도구는 VaR(Value-at-Risk)입니다. "내 포트폴리오가 하루에 최악의 경우95% 확률로 이 정도까지만 잃는다"는 것을 숫자로 나타내는 거예요.

VaR로 최적 포트폴리오를 찾으려면(위험 대비 수익이 가장 좋은 비중을 찾으려면), 문제가 생깁니다. VaR는 비볼록(non-convex) 함수입니다. 쉽게 말하면, "포트폴리오 비중을 조금 바꿨을 때 VaR가 부드럽게 변하지 않고, 여러 개의 봉우리와 골이 있는 지형"이라는 거예요. 이런 지형에서 최저점을 찾는 것은 매우 어렵습니다.

해결: 정수계획으로 근최적 포트폴리오를 보증하며 계산

[2107.07339] Computing near-optimal Value-at-Risk portfolios using Integer Programming techniques (arXiv)

Babat, Vera, Zuluaga 세 명의 연구자는 이 문제를 혼합 정수 선형 계획(MILP)으로 정식화했습니다. MILP는 "변수 중 일부는 정수만 가능"이라는 제약이 있는 최적화 문제인데, VaR의 조합적 특성을 자연스럽게 다룰 수 있습니다.

핵심 아이디어 두 가지:

1. 하한과 대안 문제의 결합: 원래 MILP를 직접 완전탐색하지 않고, "최소 리스크 포트폴리오"와 "최대 보상 포트폴리오"의 관계를 활용해 계산을 가속합니다.

2. 근최적성 보증: 알고리즘이 찾은 포트폴리오가 "최적에 얼마나 가까운지"를 수학적으로 보증하는 하한(lower bound)도 함께 제공합니다. "이 정도면 충분히 좋다"는 것을 증명과 함께 보여주는 거예요.

실전 의미: 미국 금융시장 역사적 데이터를 사용한 실험에서, 이 알고리즘이 기존 방법보다 더 타이트한 하한을 산출하면서 근최적 포트폴리오를 계산했습니다. Gurobi 같은 상용 솔버를 쓰면 바로 구현할 수 있어요.

이 테마의 다른 논문들

• Geometric insights into robust portfolio (2107.06194): 포트폴리오 가중치와 공분산 행렬의 기하학적 관계를 분석합니다. "공분산 행렬의 조건수가 나빠지면 포트폴리오가 어떻게 망가지는가"를 시각적으로 보여줍니다.

• Utility Maximization with Transaction Costs (2107.01568): 현실에는 거래할 때마다 비용이 듭니다. 이 논문은 거래비용이 있는 환경에서 최적 포트폴리오 전략이 수학적으로 유일하게 존재한다는 것을 증명합니다.

이 테마의 공통 메시지: 포트폴리오 최적화가 더 이상 "공식에 넣으면 답이 나오는" 문제가 아니라, 비볼록성·거래비용·모형 불확실성을 수학적으로 엄밀하게 다루는 방향으로 진화하고 있습니다.

---

테마 3: 시장 미시구조 — 주문이 가격에 미치는 영향의 수학

문제: 하나를 사면 다른 것도 움직인다

주식을 대량으로 사면 그 주식의 가격이 올라갑니다. 이것을 시장 충격(market impact)이라고 합니다. 그런데 실제로는 A주식을 사면 비슷한 업종의 B주식 가격도 함께 움직입니다. 이것이 교차충격(cross-impact)이에요.

기존에는 시장 충격을 단일 자산 단위로 모델링했지만, 실제로는 여러 자산이 서로 연결되어 있습니다. 특히 선물·ETF·현물처럼 관련된 상품을 동시에 거래할 때, 교차충격을 무시하면 집행 비용과 리스크를 크게 과소평가하게 됩니다.

해결: 커널 기반 교차충격 모델의 수학적 특성화

[2107.08684] A characterisation of cross-impact kernels (arXiv)

Rosenbaum과 Tomas는 교차충격을 커널(kernel) 함수로 모델링하고, 이 커널이 만족해야 할 수학적 조건을 체계적으로 분석했습니다.

두 가지 핵심 조건이 있어요:

1. 마팅게일 허용 조건: 가격이 '공정한 게임'(마팅게일)을 유지해야 합니다. 즉, 주문흐름으로 인한 가격 변동이 미래를 예측하지 않아야 해요.

2. 무통계차익 조건: 시장에서 가격 조작이 불가능해야 합니다. 즉, 어떤 교묘한 거래 전략으로도 확실한 이익을 얻을 수 없어야 해요.

이 두 조건이 동시에 성립하는 커널 파라미터의 영역을 수학적으로 특성화한 것이 이 논문의 핵심 기여입니다. SP500 선물 데이터를 사용한 실증 분석에서, 이론적으로 안전한 파라미터 범위를 확인했습니다.

실전 의미: 멀티자산 집행 알고리즘을 설계할 때, 교차충격 모델의 파라미터가 이 "안전한 영역" 안에 있는지 확인하면, 의도치 않은 가격 조작이나 마팅게일 위반을 방지할 수 있습니다.

이 테마의 다른 논문들

• LOB Hawkes with state-dependent factor (2107.12872): 기존 Hawkes 프로세스(주문 도착의 자기흥분 모델)에 호가불균형·스프레드 같은 LOB 상태 변수를 결합해, 주문 도착률을 더 정교하게 모델링합니다.

• Liquidity Provision with Adverse Selection (2107.12094): 정보 비대칭(누군가는 더 많이 아는 상황)과 재고비용을 동시에 고려한 시장조성자 간 경쟁 균형을 분석합니다.

• LOB Recreation Model (LOBRM) (2107.00534): 무료 TAQ(거래·호가) 데이터만으로 전체 호가창을 복원하는 실용적 모델입니다. 고가의 LOB 데이터 없이도 미시구조 분석을 할 수 있게 해줍니다.

이 테마의 공통 메시지: 시장 미시구조 연구가 단일 자산의 주문 흐름에서 다자산 교차충격·상태 의존성·정보 비대칭으로 시야를 넓히고 있습니다.

---

테마 4: 변동성과 옵션 — 근사식의 숨겨진 위험

문제: 널리 쓰이는 근사식이 사실은 수렴하지 않는다

SABR(Stochastic Alpha Beta Rho) 모델은 옵션 시장에서 변동성 스마일(smile)을 모델링하는 데 가장 널리 사용되는 모델 중 하나입니다. 특히 단기 만기 옵션의 가격을 계산할 때, SABR 모델의 근사 전개(expansion)를 사용하는 것이 실무 표준처럼 여겨져 왔습니다.

그런데 이 근사 전개가 실제로 수렴하는지에 대한 수학적 증명이 없었습니다. 많은 실무자들이 "어차피 잘 맞으니까"라고 생각하고 사용해 왔지만, 수학적으로는 확인되지 않은 가정 위에 세워져 있던 거예요.

해결: 복소해석으로 발산을 엄밀히 증명

[2107.12439] Proof of non-convergence of the short-maturity expansion for the SABR model (arXiv)

이 논문은 SABR 단기만기 전개식이 모든 양의 만기에서 실제로 발산(diverge)한다는 것을 복소해석(complex analysis) 방법으로 엄밀히 증명했습니다.

핵심 수학적 도구는 McKean 커널과 해석성(analyticity) 분석입니다. 쉽게 말하면, 전개식이 수학적으로 "무한히 계속 늘어나는" 성질을 가진다는 것을 보인 거예요. 물론 실무에서 사용하는 몇 차수까지만의 절단(truncation)은 여전히 유용할 수 있지만, "몇 차수까지 쓰면 오차가 얼마나 되는지"를 이 논문이 제시합니다.

실전 의미: SABR 스마일 캘리브레이션과 단기 옵션 리스크 엔진에서, 근사식의 수치적 불안정성을 인지하고 적절한 절단 차수를 선택하는 것이 중요합니다. "더 높은 차수 = 더 정확하다"는 가정이 여기서는 통하지 않아요.

이 테마의 다른 논문들

• Dynamic functional time-series FX IV (2107.14026): FX 옵션의 내재변동성 곡면을 함수형 시계열로 모델링하고, 동적 FPCA가 정적 FPCA보다 예측력을 개선함을 보입니다.

• Bitcoin option pricing: market attention (2107.12447): 비트코인 옵션 가격결정에 '시장 관심도'를 반영한 모델을 제시합니다. 검색량이나 소셜 미디어 언급량이 변동성에 지연된 영향을 미친다는 실증 결과가 흥미롭습니다.

• Deep calibration of quadratic rough Heston (2107.01611): 거친 변동성(rough volatility) 모델에 딥러닝 캘리브레이션을 적용해 SPX와 VIX를 동시에 맞추는 방법을 제시합니다.

이 테마의 공통 메시지: 옵션 가격결정에서 널리 사용되는 근사·모형의 수학적 한계를 엄밀히 규명하는 연구가 함께 출현하고 있다는 점이 중요합니다. 실무자가 도구의 한계를 아는 것 자체가 리스크 관리의 일부입니다.

---

월 전체 Big Picture

2021년 7월의 금융 AI 연구를 관통하는 하나의 큰 메시지가 있습니다: "실무에서 널리 쓰이는 도구들의 수학적 기반을 강화하는 작업이 가속되고 있다"는 것입니다.

공분산 행렬 추정에서는 표본 간 상관이라는 오래된 가정 위반 문제를 RMT와 Free Probability로 해결하고, VaR 포트폴리오 최적화에서는 비볼록성이라는 계산 장벽을 정수계획으로 극복하고, 교차충격 모델에서는 마팅게일성과 무통계차익 조건을 수학적으로 특성화하고, SABR 근사에서는 수렴 불가능을 복소해석으로 증명했습니다.

이 연구들이 공통으로 말하는 것이 있습니다: "그냥 쓰던 도구를 계속 쓰되, 그 도구가 언제 어디서 틀릴 수 있는지를 알아야 한다"는 것이에요. 이것이야말로 진정한 의미의 '리스크 관리'가 아닐까요.

다음 달에는 어떤 실무 도구의 수학적 기반을 강화하는 연구가 나올지 기대됩니다.

---

이 달의 A등급 논문