측정이 보여주는 것과 실제 사이 — 2022년 3월 금융 AI 연구 종합

변동성의 거칠기가 사실은 측정 잡음이었다면? 인과 구조를 무시한 강건 최적화가 과도하게 보수적이었다면? 이 달 연구가 묻는 핵심 질문을 쉽게 풀어봅니다.

들어가며

우리는 무언가를 측정할 때, 그 측정값이 "진짜"라고 믿는 경향이 있습니다. 체온계가 37.5도를 가리키면 열이 있다고 생각하고, 주가 변동성이 높으면 시장이 불안하다고 판단하죠. 그런데 만약 체온계 자체가 미세하게 틀어져 있다면? 변동성이 "거친" 것처럼 보이는 게 실제로는 측정 장비의 잡음 때문이라면?

2022년 3월에 발표된 금융 AI 논문 199편을 살펴보니, 놀랍게도 이 질문이 이 달 연구의 핵심을 관통하고 있었습니다. 변동성 모델링, 포트폴리오 최적화, 탈중앙화 거래소, 강화학습 트레이딩 — 서로 다른 분야의 논문들이 공통으로 묻고 있는 것은 "모델이 보여주는 것과 실제 일어나는 것 사이의 괴리를 어떻게 좁힐 것인가?" 였습니다.

---

테마 1: 변동성의 거칠기 — 진짜일까 착각일까?

문제의식

2014년 이후 금융 공학계에서는 "rough volatility"라는 개념이 큰 인기를 끌었습니다. 주가 변동성이 매우 "거친" 동역학을 보인다는 발견이죠. 쉽게 말하면, 변동성 그래프를 확대해 보면 매끄러운 곡선이 아니라 울퉁불퉁한 산등성 같다는 뜻입니다. 수학적으로는 Hurst 지수 H가 0.5보다 작으면 "거친" 것으로 분류하는데, 실증 연구에서 H ≈ 0.1 정도로 매우 거친 것으로 측정되었습니다.

이 발견은 옵션 가격결정, 변동성 예측, 리스크 모델링 전반에 큰 영향을 미쳤습니다. "rough volatility 모델"을 쓰는 논문이 수백 편 쏟아져 나왔고, 이 모델을 기반으로 한 트레이딩 전략도 등장했죠.

그런데 말입니다

Rama Cont와 Purba Das가 이 달 발표한 논문 "Rough volatility: fact or artefact?"은 이 인기 있는 개념에 정면으로 의문을 제기합니다.

핵심 발견을 일상 비유로 설명하면 이렇습니다. 맑은 날 창밖을 볼 때 유리창에 미세한 흠집이 있으면 풍경이 약간 일그러져 보이죠. 그 일그러짐은 풍경 자체의 특성이 아니라 유리창의 흠집 때문입니다. Cont와 Das는 금융 변동성의 "거칠기"도 비슷한 상황일 수 있다고 말합니다.

구체적으로, 이들은 비모수적 p-변동(p-variation) 추정 방법을 개발해 검증했습니다. 분수 브라운 운동으로 시뮬레이션한 결과, 현물 변동성이 완전히 매끄러운 확산 동역학(H = 0.5)을 가져도, 고빈도 데이터로 계산한 실현변동성은 항상 H < 0.5로 "거칠게" 측정되었습니다. 미시구조 잡음(microstructure noise) — 즉 거래소의 가격 보고 과정에서 생기는 미세한 왜곡 — 이 Hurst 지수를 체계적으로 낮추는 것이 원인이었습니다.

그래서 뭘 어쩌라는 건가

이 발견이 의미하는 바는 꽤 큽니다. rough volatility 모델을 기반으로 한 변동성 예측, 옵션 헤지, 리스크 모델에서 Hurst 추정치를 그대로 신호로 쓰고 있었다면, 그 신호에는 측정 잡음이 섞여 있을 수 있다는 뜻이죠. 고빈도 트레이딩 전략을 설계할 때는 먼저 미시구조 잡음을 제거한 뒤의 "진짜" 변동성 구조를 파악하는 것이 필수적입니다.

---

테마 2: 포트폴리오 최적화 — 불확실성에 어떻게 대응할 것인가

문제의식

포트폴리오 이론의 고전인 마코위츠 모델은 "평균과 분산을 알면 최적 포트폴리오를 구할 수 있다"고 말합니다. 문제는 평균과 분산을 정확히 알 수 없다는 것이죠. 추정 오차가 크면 최적 포트폴리오라고 믿었던 것이 실제로는 엉망일 수 있습니다.

이 불확실성에 대응하는 방법론이 "분포 강건 최적화(Distributionally Robust Optimization, DRO)"입니다. "진짜 분포를 정확히 모르니까, 가능한 여러 분포 중에서 가장 나쁜 경우에도 잘 작동하는 포트폴리오를 찾자"는 아이디어죠.

인과 구조를 보존하는 새로운 DRO

Bingyan Han이 Mathematical Finance에 게재한 논문 "Distributionally robust risk evaluation with a causality constraint"은 기존 DRO의 한 가지 치명적 결함을 지적합니다.

기존 DRO는 시간 데이터에서 인과 구조를 무시합니다. 쉽게 말하면, 내일의 주가 정보가 오늘의 포트폴리오 결정에 "새어들어갈" 수 있다는 것이죠. 이렇게 되면 모호성 집합이 실제보다 훨씬 넓어져서, 과도하게 보수적인 해가 나옵니다. 마치 "내일 날씨를 모르니까 우산·선크림·두꺼운 외투를 모두 가져가자"고 하는 것과 비슷합니다.

Han은 인과적 최적수송(Causal Optimal Transport)이라는 수학적 도구를 사용해 시간순서 비예견성(non-anticipativity)을 보존하는 모호성 집합을 설계했습니다. 신경망으로 검증 함수를 근사하면서도 Rademacher 복잡도를 통해 표본 복잡도 경계를 제공해 이론적 엄밀성도 확보했습니다.

이 논문은 2022년 프리프린트로 시작해 2025년 Mathematical Finance에 정식 게재될 정도로 학계에서 인정받은 연구입니다.

실전에 가까운 이야기들

같은 테마에서 몇 가지 실용적인 연구도 나왔습니다:

• 리스크패리티 수렴 개선 (2203.00148): 상관행렬 정규화와 반복별 재스케일링으로 리스크패리티 최적화의 수렴 속도를 개선합니다. 멀티에셋 리밸런싱 엔진에 바로 적용할 수 있는 수준입니다.
• t-분포 정밀행렬 (2203.13740): 실제 금융 수익률은 정규분포보다 꼬리가 두꺼운 경우가 많습니다. 이 논문은 t-분포를 가정해 최소분산 포트폴리오의 위험을 낮추는 방법을 제시합니다.
• CVaR 역최적화 (2203.02599): 기대부족분(ES/CVaR) 프로파일로부터 초과손실을 직접 복원하는 식을 제시합니다.

---

테마 3: 강화학습으로 주식을 — 위험을 어떻게 다룰 것인가

문제의식

강화학습으로 트레이딩 에이전트를 만들 때, 보통 "수익률을 최대화"하는 방향으로 학습시킵니다. 그런데 실제 트레이딩에서는 수익률만 중요한 게 아닙니다. 변동성이 크면 아무리 기대수익이 높아도 받아들일 수 없는 전략이 있죠. 위험회피(risk aversion)를 어떻게 MDP 프레임워크에 넣을 것인가?

시간에 따라 변하는 위험회피

Ziteng Cheng과 Sebastian Jaimungal의 논문 "Risk-Averse MDPs through a Distributional Lens"는 이 문제에 대한 가장 일반적인 해법을 제시합니다.

기존 리스크 민감 MDP는 고정된 위험회피도를 가정합니다. "항상 CVaR 5%를 최소화하라"처럼요. 그런데 현실에서는 시장 상황에 따라 위험회피가 변해야 합니다. 변동성이 평소의 3배로 치솟았을 때와 잠잠할 때를 같은 잣대로 재면 안 되죠.

이 논문은 분포 수준 동적 위험측도(Dynamic Risk Measure)를 도입해 위험회피가 시간에 따라 동적으로 변할 수 있는 프레임워크를 구축했습니다. 잠재 비용, 무작위 행동, 약연속 전이 커널까지 포함하는 일반적 설정에서 동적 프로그래밍 원리를 유도하고, 최적 정책의 존재를 증명했습니다.

응용 분야로는 최적 청산(optimal liquidation)과 자율주행이 제시되어 있는데, 금융 쪽에서는 주문집행 알고리즘에서 기대수익 대신 CVaR을 시간일관적으로 최적화하는 정책을 설계하는 데 직접 활용할 수 있습니다.

같은 테마의 다른 연구들

• 오프라인 강화학습 가격 책정 (2203.03003): 실제 환경에서 시행착오하기 어려운 소비자 신용 가격 책정에 오프라인 RL(Conservative Q-Learning)을 적용합니다.
• 딥RL + 평균-분산 (2203.11318): 딥강화학습과 볼록 평균-분산 최적화를 결합해 투자자 선호를 반영한 포트폴리오 관리를 제안합니다.

---

테마 4: DeFi — 탈중앙화 시장은 정말 효율적인가

문제의식

비트코인과 이더리움이 등장한 뒤, "탈중앙화 거래소(DEX)"라는 새로운 형태의 시장이 생겼습니다. 전통 거래소처럼 중앙 기관이 주문을 매칭하는 대신, 스마트 컨트랙트가 자동으로 가격을 결정하는 AMM(Automated Market Maker) 방식이죠. Uniswap이 대표적입니다.

그런데 이 새로운 시장은 정말 효율적일까요?

30%의 거래가 손해를 보고 있다

Berg 등 4명의 연구자들이 Uniswap과 SushiSwap의 온체인 데이터를 분석한 결과 "An Empirical Study of Market Inefficiencies"는 놀라운 수치를 제시합니다.

분석된 거래의 약 30%가 불리한 환율로 체결되고 있었다는 것입니다. 쉽게 말하면, 10건 중 3건은 "더 싸게 살 수 있었는데 비싸게 샀다"거나 "더 비싸게 팔 수 있었는데 싸게 팔았다"는 뜻이죠.

특히 2020년 "DeFi Summer" 기간에는 시장 전반의 가격 부정확성이 심각했습니다. 시간이 지나면서 Uniswap과 SushiSwap은 거래량 증가에 적응해 효율성이 개선되었지만, 암호자산 가격이 급변동할 때는 여전히 기준 시장을 제대로 추적하지 못합니다. 높은 변동성 구간에서는 순환 차익거래 기회가 급증하는데, 이는 MEV(Maximal Extractable Value)와 직결되는 문제입니다.

AMM의 구조적 한계

같은 테마에서 2203.11352는 AMM의 불완전 손실(impermanent loss)에 대한 일반적 프레임워크를 제시합니다. 유동성 공급자가 AMM에 자금을 넣었을 때 단순히 보유하는 것 대비 손실이 발생하는 구조적 이유를 이론적으로 분석한 것이죠.

---

테마 5: 팩터 투자 — 수익률은 어디에서 오는가

가치와 모멘텀의 정체

가치(value) 팩터와 모멘텀(momentum) 팩터는 투자 세계에서 가장 오래된 "이상(anomaly)"입니다. "싼 주식이 장기적으로 더 잘 나간다"거나 "최근에 오른 주식이 당분간 더 오른다"는 관찰이죠. 그런데 왜 이런 현상이 존재할까요?

Guillaume Coqueret의 논문 "Characteristics-driven returns in equilibrium"은 이 질문에 균형 가격결정 이론의 관점에서 답을 시도합니다.

투자자들이 기업 특성(PER, 시가총액 등)과 자산 가격에 각각 별도로 반응한다고 가정하면, 시장 균형에서 수익률이 기업 특성의 선형 함수로 나타남을 보일 수 있습니다. 이때 선형 표현의 계수는 특성에 대한 "순총수요"와 그 변동으로 해석됩니다.

흥미로운 실증 발견: 특성 수가 적을 때, 가치와 모멘텀 이상은 대부분 기업별 고정효과(latent demand)에 의해 설명됩니다. 즉, 저차원 모델로는 가치·모멘텀 팩터의 진짜 원인을 포착하기 어렵다는 뜻입니다.

---

월 전체 Big Picture: 측정의 신뢰성을 묻다

2022년 3월 코호트의 다섯 테마를 관통하는 하나의 메시지가 있습니다: "모델이 보여주는 것과 실제 일어나는 것 사이의 괴리를 좁혀라."

• 변동성의 roughness가 미시구조 잡음의 산물일 수 있다는 발견
• 인과 구조를 무시한 DRO가 과도하게 보수적일 수 있다는 이론
• 강화학습에서 위험회피를 시간에 따라 변하게 해야 한다는 프레임워크
• DEX 거래의 30%가 비최적 환율로 체결된다는 실증
• 팩터 수익률의 원인이 저차원 모델로는 포착 불가하다는 발견

모든 분야에서, assumptions의 정당성을 검증하는 것이 핵심 과제로 떠오르고 있습니다. 투자 의사결정의 기반이 되는 측정·모델·최적화 전반에 걸쳐, "이 가정이 정말 맞는가?"를 묻는 것이 이 달 연구의 공통 주제입니다.

---

더 알아보기

이 글에서 다룬 논문들의 상세 분석은 월간 백필 리포트에서 확인할 수 있습니다.

• 2203.10571 — 인과적 최적수송 기반 분포 강건 리스크 평가 (S/A, composite 78.5)
• 2203.13820 — Rough volatility: 사실인가 착각인가? (S/A, composite 74.5)
• 2203.09612 — 분포 관점의 리스크 민감 MDP (S/A, composite 72.6)
• 2203.07774 — Uniswap·SushiSwap 시장 비효율성 실증 (S/A, composite 67.8)
• 2203.07865 — 균형에서의 특성 기반 수익률 (S/A, composite 66.9)