정규분포의 시대는 끝났다 — 2023년 2월, 포트폴리오 이론과 AI 평가가 변곡점을 맞다

2023년 2월, arXiv에 올라온 212편의 금융·AI 논문에서 네 가지 뚜렷한 흐름이 읽혔다. 포트폴리오 이론이 정규분포라는 오래된 가정을 벗어던지고, 강화학습 연구가 "수익률만 보는" 평가에서 벗어나 체계적 검증 체계를 갖추기 시작했으며, 탈중앙화 금융의 거래 효율성이 수학적으로 엄밀하게 분석되기 시작했다.

---

들어가며: 주식 시장의 "평균"이라는 함정

여러분이 투자할 때 가장 먼저 보는 숫자가 뭔가요? 아마 "평균 수익률"일 겁니다. "이 종목은 연평균 12% 올랐어"라는 말, 많이 들어보셨죠?

그런데 한 가지 재미있는 사실이 있습니다. 수익률이 정규분포, 즉 종 모양의 대칭 곡선을 따른다고 가정하면, 극단적인 상황—예를 들어 시장이 하루에 10% 폭락하는 일—은 사실상 "일어날 수 없는 일"로 계산됩니다. 하지만 현실에서는 그런 일이 심심찮게 벌어지죠. 2008년 금융위기, 2020년 코로나 폭락처럼요.

2023년 2월의 금융 AI 연구는 바로 이 지점에서 출발합니다. "정규분포 가정이 틀렸다"는 것을 넘어, "틀린 가정 위에 세운 포트폴리오를 어떻게 고칠 것인가"라는 실질적 해법이 쏟아져 나온 달이었습니다.

---

무엇이 문제였나: 마코위츠의 유산과 그 한계

1952년 해리 마코위츠가 제안한 평균-분산 최적화는 포트폴리오 이론의 시초입니다. "기대수익률을 최대화하면서 변동성을 최소화하는" 이 단순하고 우아한 아이디어는 70년 넘게 투자업계의 표준이 되었습니다.

하지만 이 프레임워크에는 결정적인 가정이 숨어 있습니다: 수익률이 정규분포를 따른다는 것. 현실의 수익률은 꼬리가 두껍습니다(극단적 변동이 정규분포 예측보다 훨씬 자주 일어남). 왜도가 있습니다(상승과 하락이 비대칭적). 첨도가 있습니다(급등락이 몰려 나오는 경향).

2023년 2월의 포트폴리오 연구는 이 가정을 한꺼번에 해체하려는 시도였습니다.

---

핵심 아이디어 1: 포트폴리오 최적화의 새로운 지평

리스크 버짓 — "각 자산의 위험 기여도를 직접 설계하라"

Risk Budgeting Portfolios from Simulations (2302.01196, A등급)은 이렇게 묻습니다: "각 자산이 포트폴리오 전체 위험에 얼마큼 기여하는지를 직접 정할 수 있다면?"

기존 방식은 평균과 분산만 추정하면 되었지만, 리스크 버짓은 각 자산의 위험 기여도를 사전에 정해둔 예산처럼 배분합니다. 문제는, 일반적인 위험 측도(예: Expected Shortfall) 아래에서 이 예산 배분을 푸는 것이 수학적으로 까다롭다는 것.

이 논문의 해결책은 간결합니다: 수익률 분포를 직접 추정하지 않고, 시뮬레이션 표본만으로 리스크 버짓 포트폴리오를 구축하는 알고리즘 세 가지를 제시합니다.

• 절단평면 알고리즘(Cutting Planes): 임의의 일관된 왜곡위험 측도에 적용 가능
• ES 특화 버전: Expected Shortfall에 최적화
• SGD 버전: 확률적 경사하강법으로 대규모 문제 처리

핵심은 "모수적 가정 없이도 시뮬레이션만으로 충분하다"는 것입니다. 자체 시나리오 생성기나 스트레스 테스트 결과를 그대로 입력으로 넣을 수 있어, 실전 리스크 관리 시스템에 바로 연결할 수 있습니다.

Wasserstein-Kelly — "추정 오차가 무서우면, 가장 나쁜 경우에 대비하라"

Wasserstein-Kelly Portfolios (2302.13979, A등급)는 두 가지 강력한 아이디어를 결합합니다.

Kelly 기준은 "자본의 장기 성장률을 최대화하는" 베팅 비율을 찾는 방법입니다. 도박사들이 고안한 이 전략은 투자에서도 널리 쓰이지만, 치명적인 약점이 있습니다: 수익률 분포를 정확히 알아야 한다는 것. 조금만 추정이 틀어져도 전략이 크게 흔들립니다.

Wasserstein 분포강건최적화는 "실제 분포와 가장 가까우면서도 성적이 가장 나쁜 분포"를 찾아 거기에 대비하는 방법입니다. 마치 "비가 올 수도 있으니 우산을 챙기는" 것과 비슷하지만, 수학적으로 훨씬 정교합니다.

이 논문은 이 둘을 결합하여, 추정 오차에 대한 민감도를 줄이면서도 성장률을 극대화하는 포트폴리오를 제시합니다. 실전에서 "백테스트는 좋았는데 실제 운용에서는 무너진" 경험이 있는 분이라면, 이 접근법이 왜 의미 있는지 바로 느끼실 겁니다.

왜도와 첨도까지 — "4차 모멘트의 포트폴리오"

Convex scalarizations of the MVS-kurtosis problem (2302.10573, A등급)는 평균-분산을 넘어 왜도(skewness)와 첨도(kurtosis)까지 고려하는 포트폴리오 최적화 문제를 다룹니다.

쉽게 말하면, "수익률이 얼마나 치우쳤는지(왜도)"와 "극단적 변동이 얼마나 자주 나오는지(첨도)"까지 반영해서 포트폴리오를 짜겠다는 것입니다. 이 논문은 이 4차원 최적화 문제를 볼록 문제로 풀 수 있는 수학적 조건을 제시합니다.

꼬리위험과 비정규 수익분포를 고려한 자본배분 엔진의 이론적 기반을 확장하는 연구로, "평균-분산만으로는 충분하지 않다"는 실무적 공감대를 학술적으로 뒷받침합니다.

---

핵심 아이디어 2: 강화학습, "돈만 벌면 된다"에서 벗어나다

PRUDEX-Compass — RL 트레이딩의 6가지 평가 기준

PRUDEX-Compass (2302.00586, A등급, Composite 70.1)는 이 달의 가장 높은 점수를 받은 논문입니다. 그 이유는 명확합니다: 금융 강화학습(FinRL) 분야의 "평가 기준" 자체를 재정의했기 때문입니다.

기존 FinRL 연구의 문제를 한 문장으로 요약하면 이렇습니다: "수익률만 높으면 좋은 전략이라고 착각했다."

실제 운용에서는 수익률만으로는 부족합니다. 리스크를 얼마나 잘 관리하는지, 다른 시장 환경에서도 잘 작동하는지, 투자 결정이 얼마나 다양한지, 성능이 일관적인지, 의사결정을 설명할 수 있는지—all of these matter.

PRUDEX-Compass는 6가지 축으로 FinRL을 평가합니다:

1. Profitability(수익성): 돈을 잘 버는가
2. Risk-control(리스크 관리): 손실을 잘 관리하는가
3. Universality(보편성): 다양한 시장에서도 작동하는가
4. Diversity(다양성): 포트폴리오가 충분히 분산되어 있는가
5. rEliability(신뢰성): 성능이 일관적인가
6. eXplainability(설명가능성): 왜 그런 결정을 했는지 알 수 있는가

8가지 FinRL 방법론을 4개 장기 실세계 데이터셋에서 평가한 결과, 기존 연구가 수익률 지표에 편향되어 있어 실전 배포에 부적절함이 체계적으로 확인되었습니다.

또한 새로운 베이스라인 AlphaMix+를 제시했는데, Mixture-of-Experts(MoE) 구조로 여러 전문가 에이전트가 각각 다른 리스크 프로필을 담당하고, 이를 조합하여 다양하고 리스크 인식 있는 투자 결정을 내리는 프레임워크입니다.

이 논문이 특별한 이유는 프레임워크, 데이터셋, 구현 코드를 모두 공개(CC BY 4.0)했다는 점입니다. "우리도 이 기준으로 평가해 보라"고 공개적으로 제안한 것입니다.

CVaR 강화학습 — "최악의 상황에서의 수익"을 직접 최적화

Near-Minimax-Optimal Risk-Sensitive RL with CVaR (2302.03201, A등급)는 좀 더 이론적인 연구입니다.

CVaR(Conditional Value at Risk)는 "상위 5% 최악의 손실 상황에서의 평균 손실"을 뜻합니다. 쉽게 말하면, "시장이 정말 나쁠 때 평균적으로 얼마나 잃는가"를 측정하는 지표입니다.

이 논문은 CVaR을 직접 최적화하는 강화학습의 minimax 후회율(regret)을 수학적으로 정립하고, 그에 근접하는 Bernstein-UCB 알고리즘을 제시합니다. 손실 제한형 동적 자산배분 전략의 이론적 기반을 다지는 연구입니다.

---

핵심 아이디어 3: DeFi의 거래 효율성, 수학으로 증명하다

CFMM 최적 라우팅 — "여러 거래소에 주문을 나눠 넣는 최적의 방법"

An Efficient Algorithm for Optimal Routing Through Constant Function Market Makers (2302.04938, A등급)는 DeFi 세계의 실질적 문제를 다룹니다.

Uniswap 같은 탈중앙화 거래소(DEX)에서는 상수함수 시장조성자(CFMM)라는 메커니즘으로 가격이 결정됩니다. 여러 CFMM 풀이 있을 때, 큰 주문을 어디에 어떻게 나눠 넣어야 가장 좋은 가격에 체결될 수 있을까요?

이 논문은 이 "최적 라우팅 문제"를 효율적으로 푸는 분해 알고리즘을 제시합니다. 상용 솔버 대비 눈에 띄는 성능 개선을 달성했으며, Uniswap v3 같은 복잡한 CFMM도 쉽게 통합할 수 있습니다. Financial Cryptography 2023에서 발표된 실용적 연구입니다.

AMM과 LOB의 비교 — "메커니즘 설계의 관점에서"

Complexity-Approximation Trade-offs in Exchange Mechanisms: AMMs vs. LOBs (2302.11652, B등급)는 AMM과 전통적 지정가 주문서(LOB)를 메커니즘 설계의 공통 프레임워크에서 비교합니다.

핵심은 "유동성 공급자 수요곡선의 복잡도와 근사성"이라는 관점입니다. AMM은 단순하지만 근사가 거칠고, LOB는 복잡하지만 정밀합니다. 이 trade-off를 이해하면, 어떤 시장 환경에서 어떤 메커니즘이 더 효율적인지 판단할 수 있습니다.

---

핵심 아이디어 4: 딥러닝과 전통 모형의 결합

미분 머신러닝 — "그리스 문자(민감도)까지 한 번에 학습"

Parametric Differential Machine Learning for Pricing and Calibration (2302.06682, B등급)은 파생상품 가격결정에 딥러닝을 적용하는 독특한 접근법을 제시합니다.

기존 딥러닝 가격 모델은 "현재 상태 → 가격"만 학습합니다. 하지만 트레이더가 정말로 필요한 건 가격뿐만 아니라 민감도(델타, 감마 같은 "그리스 문자")입니다. 이 논문은 상태변수의 미분 정보에 더해 모델·계약 파라미터의 미분까지 학습하여, 가격과 민감도를 한 번에 추정합니다.

핵심 결과: 바닐라 ML 대비 더 적은 샘플로 더 높은 정확도를 달성하며, 캘리브레이션까지 통합적으로 처리합니다. 파생상품 리스크 평가와 헤지 파라미터 산출에 바로 적용 가능한 접근입니다.

공동거래 네트워크 — "실제 거래의 시간적 동시성으로 시장을 읽다"

Co-trading Networks (2302.09382, B등급)는 가격 상관관계가 아닌 실제 거래의 시간적 동시성을 이용해 시장의 동적 연결 구조를 모델링합니다.

고빈도 주문 데이터에서 "A 주식과 B 주식의 거래가 시간적으로 가까이 일어나는 경향"을 측정하여 네트워크를 만들고, 이를 스펙트럴 클러스터링으로 분석합니다. GICS 섹터와는 다른, 데이터 기반의 동적 클러스터를 발견하며, 이를 기반으로 한 공분산 추정이 기존 방법 대비 더 낮은 변동성과 더 높은 Sharpe 비율을 달성합니다.

---

한계와 주의점

모든 연구에는 한계가 있습니다. 솔직하게 짚어보겠습니다.

1. 포트폴리오 최적화 연구들의 재현성: Wasserstein-Kelly, MVS-kurtosis 논문들은 이론적 기여가 크지만, 공개된 코드가 제한적입니다. 실전 적용에는 추가 구현 작업이 필요합니다.

2. PRUDEX-Compass의 범위: 4개 데이터셋으로 평가했지만, 한국 시장이나 이머징 마켓에서의 검증은 아직 없습니다. 평가 기준 자체는 유용하지만, "모든 시장에서 통용되는 결론"으로 해석하는 것은 위험합니다.

3. DeFi 연구의 시의성: CFMM 라우팅 알고리즘은 2023년 초 시점의 DeFi 생태계를 대상으로 합니다. 빠르게 변하는 DeFi 환경에서 알고리즘의 유효성은 시간이 지나면 재검증이 필요합니다.

4. 계량경제학-딥러닝 결합의 검증 부족: Parametric DML이나 Deep Learning Realized GARCH는 이론적으로 매력적이지만, 장기 실계좌 검증 결과는 아직 없습니다.

---

그래서 투자/실무엔?

2023년 2월 연구들이 실무에 주는 시사점을 정리하면:

• 포트폴리오 구성: 정규분포 가정에 의존하는 평균-분산 최적화만으로는 충분하지 않습니다. 리스크 버짓, 분포강건 최적화, 고차 모멘트 반영 기법을 검토할 시점입니다.

• AI 전략 평가: 수익률만 보고 RL 전략을 선정하는 것은 위험합니다. PRUDEX-Compass의 6축 평가 프레임워크를 체크리스트로 활용하면, 실전 배포 전에 놓치기 쉬운 약점을 잡아낼 수 있습니다.

• DeFi 실행: 크립토 자산을 운용한다면, CFMM 네트워크의 최적 라우팅 알고리즘을 실행 비용 절감에 직접 활용할 수 있습니다.

• 리스크 관리: CVaR을 직접 최적화하는 RL 알고리즘은 손실 제한형 전략의 이론적 기반을 제공합니다.

---

더 알아보기

이 달의 A등급 논문 전체 목록

참고 논문

• arXiv:2302.00586 — PRUDEX-Compass (5차원 점수: N72/A78/R68/Rp48/I76)
• arXiv:2302.01196 — Risk Budgeting (N71/A82/R76/Rp42/I67)
• arXiv:2302.09382 — Co-trading Networks (N72/A66/R64/Rp44/I68)
• arXiv:2302.06682 — Parametric DML (N68/A72/R64/Rp40/I68)

---

이 글은 2023년 2월 arXiv에 공개된 금융·퀀트 연구를 기반으로 작성되었습니다. 모든 수치와 주장은 원문 논문에 근거하고 있으며, 투자 조언이 아닙니다.