포트폴리오를 만드는 수학, 현실을 만나다 — 2021년 3월 AI 금융 연구 리뷰

왜 이 연구가 흥미로운가? 금융공학 교과서에서는 "기대수익률과 공분산을 추정하면 최적 포트폴리오가 나온다"고 가르칩니다. 하지만 실제 펀드매니저가 맞닥뜨리는 세상은 훨씬 지저분합니다. 팔고 싶어도 정수 주식 단위라 안 팔리고, 세금 때문에 이익이 난 종목은 참아야 하고, 10만 원 미만의 소액 거래는 수수료가 비중보다 크죠. 2021년 3월의 연구들은 이 간극을 좁히는 데 집중합니다. 이상적인 수학이 현실의 지저분한 제약을 만났을 때 어떻게 작동하는가, 그 해답을 찾아간 한 달이었습니다.

---

들어가며: 좋은 포트폴리오란 무엇인가

투자를 시작할 때 가장 먼저 듣는 조언은 "분산투자하세요"입니다. 달걀을 한 바구니에 담지 말라는 거죠. 이 단순한 조언 뒤에는 1952년 마코위츠가 만든 '평균-분산 최적화'라는 수학이 있습니다. 기대수익률과 위험(변동성)의 균형을 맞춰 가장 효율적인 포트폴리오를 찾는 방법이에요.

그런데 이 수학이 교과서 밖으로 나오면 문제가 생깁니다. 실제 운용에는 교과서가 다루지 않는 제약이 수두룩합니다. 2021년 3월의 연구들은 바로 이 "교과서와 현실 사이의 다리"를 놓는 데 집중했습니다.

이번 달에는 다섯 가지 테마를 살펴봅니다:

1. 현실 제약을 포함한 포트폴리오 구성 — 세금, 정수주식, 최소거래량까지 고려
2. 추정 오차에 대한 방어 — 내 추정이 틀릴 수도 있으니, 어떤 포트폴리오가 그래도 안전한가
3. 파생상품 헤징의 딥러닝화 — 옵션 변동성을 AI로 모델링하고 헤징 최적화
4. 강화학습으로 주문 실행 최적화 — 대량 매매의 시장 충격을 줄이는 AI 에이전트
5. 금리 모형과 시장의 숨은 구조 — LIBOR→SOFR 전환, 호가잔량 복원

---

테마 1: 현실의 지저분한 제약을 풀어내는 수학

문제: 교과서 포트폴리오는 현실에서 작동하지 않는다

평균-분산 최적화는 아름답습니다. 기대수익률 벡터와 공분산 행렬만 있으면, 수학적으로 '최적인' 포트폴리오가 딱 나옵니다. 그런데 이 최적 포트폴리오를 실제 계좌에 적용하려면 문제가 생깁니다:

• 세금: 주식을 팔면 실현이익에 세금이 붙어요. 손실이 난 종목은 팔아서 세금을 줄이고(로스 하베스팅), 이익이 난 종목은 가능한 한 참는 게 유리합니다.
• 정수 주식: 이론적으로는 삼성전자를 1.7주 사면 되지만, 실제로는 1주 또는 2주만 살 수 있습니다.
• 최소 거래량: 5만 원어치를 사려면 거래 수수료가 비중 대비 너무 큽니다. 일정 금액 이하는 거래하지 않는 게 낫습니다.
• 최소 보유량: 3만 원어치를 보유하고 있으면 관리 비용만 듭니다. 최소 기준을 넘기거나 아예 0으로 만드는 게 낫습니다.

이런 제약들은 대부분 '비볼록(nonconvex)' 함수로 표현됩니다. 비볼록 최적화는 일반적으로 매우 어렵습니다. 종목 수가 수백 개로 늘어나면 기존 방법으로는 사실상 풀 수 없어요.

해법: ADMM으로 수백 밀리초에 푼다

스탠퍼드 대학의 Moehle, Gindi, Boyd, Kochenderfer 팀이 제안한 방법은 놀랍도록 우아합니다.

핵심 아이디어를 쉽게 설명하면 이렇습니다. 포트폴리오 문제를 '분리 가능한-아핀 문제(SAP)'로 바꾸면, ADMM이라는 알고리즘으로 빠르게 풀 수 있다는 거예요.

ADMM이 뭔지 일상 비유로 설명하면, 마치 두 사람이 협업하는 것 같습니다. 한 사람은 "각 종목별로 최적 비중을 계산"하고(이건 종목별로 독립적으로 할 수 있어서 병렬 처리가 됩니다), 다른 사람은 "전체 포트폴리오 제약(합 = 1 등)을 맞추는" 일을 합니다. 이 두 작업을 번갈아 하면서 수렴하는 거죠.

게다다 비볼록 함수의 볼록 포락선(convex envelope)을 계산하면, 해의 품질 하한도 알 수 있습니다. 실제 해와 하한의 차이가 작으면, 그 해가 거의 최적이라는 보증이 됩니다.

결과: 0.6bp 오차, 251ms 속도

실제 테스트 결과는 인상적입니다. S&P 500 종목으로 17년간 월별 692개 문제를 풀었는데요:

• ADMM이 찾은 해와 하한의 차이는 평균 0.6bp(0.006%)입니다. 실무에서 사실상 무시할 수 있는 수준이에요.
• 풀이 시간은 평균 251ms. 즉, 수백 밀리초 안에 거의 최적인 세금 인식 포트폴리오를 만들 수 있습니다.

이 속도면 실시간 리밸런싱도 가능합니다. 시장이 급변할 때 빠르게 포트폴리오를 조정하면서도, 세금·거래비용 같은 현실 제약을 모두 고려할 수 있다는 뜻이에요.

이 연구가 투자자에게 의미하는 것

이 연구는 "이상적인 포트폴리오 이론"과 "현실 운용" 사이의 간극을 거의 없앴습니다. 더 이상 "이론은 좋은데 현실에서는 못 쓴다"는 변명이 통하지 않게 된 거죠. 향후 로보어드바이저나 개인 자산관리 서비스에서 이런 기술이 표준이 될 가능성이 높습니다.

📄 원문: Portfolio Construction as Linearly Constrained Separable Optimization 5차원 점수: 참신성 72 / 실용성 88 / 엄밀성 83 / 재현성 76 / 통찰력 78 → 종합 80.6 (S등급)

---

테마 2: 내 추정이 틀릴 수도 있다 — 강건한 포트폴리오 만들기

문제: 추정 오차가 수익을 갉아먹는다

포트폴리오 최적화의 아킬레스건은 입력 데이터의 품질입니다. 기대수익률 추정이 1%만 틀려도, 최적 포트폴리오가 완전히 달라질 수 있어요. 특히 거시경제 환변동(금리 상승, 인플레이션 등)이 있을 때는 과거 데이터로 추정한 모수가 크게 빗나갈 수 있습니다.

이 문제를 해결하기 위한 두 가지 접근이 이번 달에 나왔습니다.

해법 1: 조건부 정보 + 최적수송 DRO

이 논문은 두 가지를 결합합니다:

1. 조건부 추정: 현재의 거시경제 지표, 변동성 레짐, 기술적 지표 등을 '조건변수'로 활용해, 시장 상황에 맞는 포트폴리오를 추정합니다.
2. 최적수송 DRO: 실제 시장 분포가 내 추정과 다를 수 있다는 불확실성을, '최적수송 거리'라는 수학적 도구로 표현하고, 그 범위 내에서 최악의 경우에도 괜찮은 포트폴리오를 찾습니다.

쉽게 말하면, "내 예측이 좀 틀릴 수 있지만, 이 정도 범위 안에서는 틀려도 이 포트폴리오가 여전히 괜찮다"는 보증을 찾는 거예요.

해법 2: 상관 클러스터링으로 종목 수 줄이기

다른 논문은 상관 구조 기반 클러스터링으로 접근합니다. 서로 비슷하게 움직이는 종목 군집을 식별하고, 각 군집에서 대표 종목 1~2개만 골라 포트폴리오를 구성하는 거예요. 이렇게 하면 종목 수가 줄어들면서도 분산 효과는 유지됩니다.

📄 원문: Robustifying Conditional Portfolio Decisions via Optimal Transport (종합 73.8, A등급)

---

테마 3: 옵션 헤징, 딥러닝이 대신한다

문제: 변동성 모형은 복잡하고 캘리브레이션은 어렵다

블랙-숄즈 모형에서는 변동성이 일정하다고 가정하지만, 실제 시장에서는 변동성 곡면이 시간과 행사가에 따라 변합니다. 기존의 확률변동성 모형(Heston 등)은 수학적으로 우아하지만, 캘리브레이션이 어렵고 계산 비용이 큽니다.

해법: 시뮬레이션 + 리스크중립 재가중

이 논문은 두 단계로 접근합니다:

1. 통계적 시장 시뮬레이터를 딥러닝으로 학습시켜, 실제 분포 하에서 옵션 가격 경로를 생성합니다.
2. 최소 엔트로피 마팅게일 측도(MEMM)로 시뮬레이션 경로를 재가중해, 리스크중립 분포를 얻습니다.

쉽게 말하면, "가상의 시장을 수천 번 시뮬레이션하고, 그 중 무차익 조건을 만족하는 경로만 골라내는" 것입니다. 거래비용과 거래 제약도 포함할 수 있어요.

이 접근의 강점은 유연성입니다. 특정 모형(예: Heston)에 갇히지 않고, 데이터에서 직접 변동성 동학을 학습할 수 있습니다.

함께 주목할 연구들

같은 테마에서 두 가지 더 주목할 만한 연구가 나왔습니다:

• SWIFT Heston 보정 (2103.01570): 전통적 Heston 모형의 보정 속도를 약 10배 가속하는 수치해석 방법입니다. 딥러닝과 전통적 방법이 경쟁하는 동시에 상호 보완하는 양상을 보여줍니다.
• RL 기반 딥 헤징 (2103.16409): 거래비용 하에서 옵션 헤지를 강화학습으로 최적화합니다. 비용의 평균과 변동성을 별도로 학습해 위험 선호를 직접 반영합니다.

📄 원문: Deep Hedging: Learning Risk-Neutral Implied Volatility Dynamics (종합 76.7, A등급)

---

테마 4: 강화학습, 주문집행에 등장하다

문제: 대량 매매는 시장을 움직인다

기관투자자가 수백억 원어치 주식을 한 번에 시장에 내놓으면 어떻게 될까요? 가격이 밀립니다. 사려고 하면 가격이 올라가고, 팔려고 하면 내려가죠. 이를 '시장 충격(market impact)'이라고 합니다.

기존의 주문집행 알고리즘(VWAP, TWAP 등)은 단순한 시간 분할 전략입니다. 하루에 팔아야 할 주식을 시간에 균등하게 나누는 거죠. 하지만 시장 상황이 변하면 — 예를 들어 오전에 유동성이 풍부하고 오후에 부족하면 — 이 단순한 전략은 비효율적입니다.

해법: 오라클 정책 증류

이 논문은 오라클 정책 증류(Oracle Policy Distillation)를 제안합니다:

1. 오라클(teacher): 미래 정보를 볼 수 있는 '이상적인' 주문집행 정책을 강화학습으로 학습합니다. 당연히 실전에서는 미래를 모르니 이 정책을 직접 쓸 수는 없어요.
2. 학생(student): 현재 관측만 사용하는 실전 가능 정책. 오라클의 행동을 모방(증류)하도록 학습합니다.

쉽게 말하면, "미래를 아는 선생에게 최적 실행을 배우고, 미래를 모르는 학생이 그 선생의 지식을 자기 것으로 만드는" 것입니다.

PPO(Proximal Policy Optimization) 기반의 범용 주문집행 정책을 구현했고, 다양한 시장 환경에서 기존 방법 대비 개선을 보여줍니다.

이 연구가 투자자에게 의미하는 것

대량 매매의 시장 충격을 줄이는 것은 기관투자자에게 직접적인 비용 절감입니다. 수백 bp의 슬리피지를 수십 bp로 줄일 수 있다면, 이는 연간 수십억 원의 절감으로 이어질 수 있어요. 강화학습이 이 분야에서 실용적 도구로 자리잡고 있다는 신호입니다.

📄 원문: Universal Trading for Order Execution with Oracle Policy Distillation (종합 74.1, A등급)

---

테마 5: 금리 모형과 시장의 숨은 구조

LIBOR에서 SOFR로: 금리 모형의 전환

2021년은 금융시장의 인프라가 바뀌는 해입니다. 수십 년간 표준이었던 LIBOR(런던 은행 간 금리)가 SOFR(secured overnight financing rate)로 전환되고 있었어요. 이건 단순한 금리 지표 교체가 아닙니다. LIBOR 기반으로 쌓아온 모든 파생상품 모형·헤지 전략이 새 기준에 맞게 재설계되어야 합니다.

이 달에는 SOFR 선물만으로 무차익 동적 금리곡선을 추정하는 모형이 나왔습니다. 초기 SOFR 파생상품의 가격·헤지 비율과 장기물 convexity 보정까지 정량화했어요.

무료 데이터로 호가잔량 복원하기

시장 미시구조 연구도 주목할 만합니다. 호가잔량(order book)은 주식시장의 '숨은 구조'입니다. 누가 얼마에 사고 싶어 하는지, 누가 얼마에 팔고 싶어 하는지를 보여주죠. 하지만 호가잔량 데이터는 유료입니다.

이 달의 한 논문은 무료·저비용 TAQ(trades and quotes) 데이터만으로 호가잔량 5단계를 복원하는 RNN+ODE 모델을 제안했습니다. 미시구조 신호의 데이터 비용 장벽을 낮추는 실용적 접근이에요.

📄 원문: Dynamic Term Structure Models for SOFR Futures (종합 73.2, A등급)

---

한 달의 큰 그림

2021년 3월의 시스템 트레이딩 연구를 한 문장으로 요약하면: "수학이 아름답기만 한 시대는 지났다."

포트폴리오 최적화에서는 세금·정수주식 같은 지저분한 현실 제약을 ADMM 같은 효율적 알고리즘으로 처리하는 방법이 성숙기에 접어들었습니다. 추정 오차에 대한 방어 — 분포강건 최적화, 클러스터링 기반 자산선택 — 도 병행 발전하고 있어요.

파생상품 쪽에서는 딥러닝과 강화학습이 전통적 수치해석(Heston 보정, 몬테카를로)과 경쟁하면서도, 현실적 거래비용을 보상 함수에 넣는 것이 공통 과제로 부상했습니다.

금리 모형은 LIBOR→SOFR 전환에 맞춘 새로운 프레임워크가 등장하고, 미시구조 쪽에서는 무료 데이터로 호가잔량을 복원하는 실용적 접근이 주목받았습니다.

핵심 메시지는 이겁니다: 실제 제약, 실제 비용, 실제 데이터를 다루는 알고리즘이 핵심이다. 이론의 아름다움은 중요하지만, 그것이 현실의 지저분함과 만났을 때 작동해야 비로소 가치가 있습니다. 2021년 3월의 연구들은 그 접점을 넓혀가고 있었습니다.

---

함께하기

이런 연구를 더 깊이 탐구하고 싶으시다면:

• 🌐 ohselab.com — 시스템 트레이딩 연구 큐레이션
• 📬 뉴스레터 구독 — 매주 최신 AI 금융 연구를 쉽게 풀어드립니다
• 💬 상담 문의 — 포트폴리오 최적화, 강화학습 트레이딩 구현에 대해

---

더 알아보기

총 19편의 S/A 등급 논문이 이달 코호트에서 선정되었습니다. 전체 목록은 월간 리포트를 참조하세요.