공분산을 믿지 마세요 — 2021년 12월 금융 AI 연구 하이라이트

매달 수백 편의 금융·AI 논문이 쏟아집니다. 그중 정말 중요한 것만 골라, 전공자가 아닌 분들도 이해할 수 있게 풀어드립니다.

들어가며: 포트폴리오를 짤 때 "평균과 분산"만 믿으면 안 되는 이유

주식 투자를 할 때 가장 기본적인 질문이 있습니다: "어떤 주식을 얼마나 살까?" 이 질문에 대한 가장 유명한 답이 1952년 해리 마코위츠가 제안한 "평균-분산 최적화"입니다. 쉽게 말하면, 기대수익이 높으면서 변동성이 낮은 조합을 찾는 거죠.

그런데 이 방법에는 치명적인 약점이 있습니다. 바로 "평균과 분산을 정확히 알아야 한다"는 전제입니다. 현실에서는 이걸 정확히 알 수가 없습니다. 과거 데이터로 추정할 수밖에 없는데, 추정에는 항상 오차가 따릅니다. 이 오차가 포트폴리오 최적화에 들어가면 어떻게 될까요? 결과가 엉망이 될 수 있습니다.

2021년 12월 arXiv에 올라온 논문들은 이 문제를 정면으로 다루고 있습니다. 그리고 Transformer가 주식 트레이딩에 본격적으로 뛰어들고, 암호화폐 거래소의 품질을 비교하는 연구가 나오고, 심지어 이모지까지 분석하는 감정 추출 도구가 등장했습니다. 하나씩 살펴보겠습니다.

---

테마 1: "공분산 추정의 오류를 넘어" — 포트폴리오 최적화의 새로운 시대

일상 비유로 시작하자면

맛집을 고를 때 "평점 4.5점 이상"이라는 기준을 세울 수 있습니다. 하지만 평점이 100명이 평가한 4.5점과 3명이 평가한 4.5점은 전혀 다른 정보입니다. 후자는 우연일 가능성이 높죠. 포트폴리오 최적화에서 "공분산 행렬"을 추정하는 것도 비슷합니다. 데이터가 적거나 시장이 변하면 추정치가 크게 흔들리고, 그 위에 세운 최적화 결과도 신뢰할 수 없게 됩니다.

핵심 논문: 추정 불확실성을 정면으로 다루다

2021년 12월의 가장 높은 점수를 받은 논문(2112.09959, composite 79.6점)은 이 문제에 대한 우아한 해법을 제시합니다.

연구진은 "Gelbrich 거리"라는 수학적 도구를 사용합니다. 이게 뭘까요? 쉽게 말하면, "진짜 평균과 분산이 우리가 추정한 것과 얼마나 다를 수 있는가"를 측정하는 자입니다. 그리고 이 차이가 있을 때를 대비해, 포트폴리오 최적화를 "조금 보수적으로" 만드는 겁니다.

놀라운 결과가 나왔습니다: VaR(가치-at-위험), CVaR(조건부 가치-at-위험) 같은 표준 리스크 측도에 대해, 이 로버스트 최적화 문제가 기존 마코위츠 모형에 닫힌형 정규화항 하나만 추가하는 것으로 환원된다는 것입니다. 닫힌형이란, 복잡한 수치 계산 없이 공식으로 바로 계산할 수 있다는 뜻입니다. 즉, 기존 워크플로우에 정규화항 하나만 추가하면 추정 오차에 강한 포트폴리오를 만들 수 있는 겁니다.

NLS는 정말 최적일까?

같은 테마의 또 다른 논문(2112.07521, composite 76.6점)은 더 직접적인 질문을 던집니다. "비선형 축소(nonlinear shrinkage, NLS)"라는 인기 있는 공분산 추정기가 있는데, 이걸 쓰면 포트폴리오가 정말 최적이 될까요?

결론은 "아니오"입니다. NLS는 Frobenius 노름(행렬 원소 차이의 제곱합)을 최소화하도록 설계되어 있지만, 포트폴리오 최적화에서 진짜 중요한 건 실현된 포트폴리오 위험입니다. 시장 의존 구조가 비정상적(nonstationary)일 때, 이 두 목적함수는 다릅니다. 연구진은 "실현 위험을 직접 최소화하는" 최적 목표를 유도했습니다.

쉽게 말하면, "공분산 추정기를 평가할 때, 추정 오차가 아니라 실제 투자 성과로 평가해야 한다"는 겁니다.

시장의 중간 규모 구조를 활용하다

세 번째 논문(2112.06544, composite 72.0점)은 난수 행렬 이론(Random Matrix Theory, RMT)이라는 물리학에서 온 도구를 활용합니다. 주식 간 상관행렬에는 "잡음"과 "시장 전체 모드"가 섞여 있는데, RMT로 이걸 제거하면 중간 규모의 안정적인 상관 구조가 드러납니다. 이 구조를 커뮤니티 제약으로 활용하면 포트폴리오의 위험 예측이 더 안정적이 됩니다.

---

테마 2: "Transformer가 추세추종을 재정의하다" — 알고리즘 트레이딩의 진화

일상 비유로 시작하자면

날씨 예보를 생각해 보세요. 내일만 보면 "비 올 확률 60%"이지만, 지난 한 달의 패턴을 보면 "이맘때면 보통 비가 온다"는 더 큰 그림이 보입니다. 주식 트레이딩에서도 "단기 변동"만 보면 시야가 좁아지고, "장기 추세"까지 보면 더 좋은 판단을 할 수 있습니다.

문제는, 기존의 LSTM이라는 AI 모델이 순차적으로만 정보를 처리한다는 겁니다. 100일 전의 정보가 오늘에 영향을 주려면, 100일 동안 정보가 한 칸씩 전달되어야 합니다. 중간에 정보가 희석될 수밖에 없죠.

Momentum Transformer: Attention이 모든 것을 바꾸다

이 문제를 해결한 논문(2112.08534, composite 74.1점)이 있습니다. Momentum Transformer라는 이름의 이 모델은 LSTM과 Attention 메커니즘을 결합합니다.

Attention이 뭘까요? 쉽게 말하면, "과거의 모든 시점에 직접 연결되는 통로"입니다. LSTM이 100일 전 정보를 100번 거쳐야 받는다면, Attention은 한 번에 100일 전 정보를 볼 수 있습니다. 이걸 LSTM과 결합하면, 단기 변동(LSTM이 잘 처리)과 장기 추세(Attention이 잘 포착)를 동시에 잡을 수 있습니다.

연구진은 50종의 유동성 높은 선물에 대해 백테스트를 했습니다. 결과는 인상적이었습니다:

• 기존 모멘텀·평균회귀 전략을 거래비용 차감 후 능가
• 코로나19 위기 같은 새로운 시장 레짐에 자연스럽게 적응
• 다중 Attention 헤드를 통해 서로 다른 시간 스케일의 패턴을 동시에 포착

가장 흥미로운 건 해석가능성입니다. Attention 가중치를 시각화하면, 모델이 "어느 시점에 주목하고 있는지"를 직접 볼 수 있습니다. 2008년 금융위기 당시 FTSE 100 데이터를 분석한 결과, 위기 직전에는 단기 모멘텀에, 위기 중에는 장기 추세에 각각 다른 attention을 배분했습니다.

FX 마켓메이킹의 수학적 정밀화

같은 테마의 또 다른 논문(2112.02269, composite 71.0점)은 외환(FX) 딜러의 호가 전략을 다룹니다. FX 딜러는 고객에게 유동성을 제공하면서 이익을 남기는데, 핵심 딜레마가 있습니다: 내부화(고객 주문을 자체적으로 상쇄)할 것인가, 외부화(다른 딜러와 거래해 헤지)할 것인가?

이 논문은 고객을 "티어"로 나누고, 각 티어별로 호가 사다리(pricing ladder)와 헤지 속도를 하나의 확률제어 문제로 통합합니다. 쉽게 말하면, "어떤 고객의 주문을 자체 상쇄하고, 어떤 건 시장에서 헤지할지"를 수학적으로 최적화하는 겁니다.

---

테마 3: "CEX와 DEX, 누가 더 좋은가?" — 암호화폐 시장의 품질 비교

일상 비유로 시작하자면

은행과 개인 간 직거래(P2P)를 비교해 보세요. 은행은 안전하고 빠르지만 수수료가 있고, P2P는 수수료가 없을 수 있지만 사기 위험이 있습니다. 암호화폐 세계에서도 중앙화 거래소(CEX)와 탈중앙화 거래소(DEX)의 비슷한 딜레마가 존재합니다.

가스비가 모든 것을 결정한다

이 문제를 인과적으로 분석한 논문(2112.07386, composite 71.2점)이 있습니다. 연구진은 CEX와 DEX의 거래비용과 차익거래 이탈을 포괄적으로 비교했습니다.

핵심 발견은 가스비(gas fees)의 역할입니다. DEX에서 거래하려면 블록체인에 "가스비"를 내야 하는데, 이건 고정 비용입니다. 결과:

• 작은 거래: 가스비가 상당한 부담 → CEX가 유리
• 큰 거래: 가스비의 비중이 줄어듦 → DEX가 더 경쟁력 있는 거래비용 제공
• 기관 투자자: 대규모 거래가 많으므로 DEX가 유리할 수 있음

또한 DEX의 유동성 제공 유연성을 높이는 혁신(예: 집중 유동성)이 시장 품질을 크게 개선한다는 인과적 증거도 제시했습니다.

경쟁 속의 최적 실행

같은 테마의 또 다른 논문(2112.02961, composite 70.2점)은 공통 신호를 추종하는 경쟁 투자자들 사이의 게임을 분석합니다. 여러 투자자가 같은 신호를 보고 동시에 거래하면, 가격 충격이 커지고 모두에게 불리해집니다. 이 논문은 폐루프 내시균형을 통해 "경쟁자의 반응을 고려한 최적 거래 속도"를 유도했습니다.

---

테마 4: "리스크를 직접 학습하는 AI" — 강화학습의 새로운 방향

일상 비유로 시작하자면

운전을 배울 때, "빠르게 가는 것"만 목표로 하면 사고가 납니다. "안전하게 가는 것"도 함께 고려해야 합니다. 강화학습도 마찬가지입니다. 기존에는 "기대수익을 최대화"하는 정책을 학습했는데, 이건 "빠르게만 가는" 것과 같습니다. 리스크(위험)를 직접 목적함수에 넣는 방법이 필요합니다.

CVaR를 넘어선 동적 위험측도

이 문제를 정면으로 다룬 논문(2112.13414, composite 71.2점)이 있습니다. 연구진은 동적 볼록 위험측도(dynamic convex risk measures)라는 수학적 프레임워크를 RL에 통합했습니다.

기존의 CVaR(조건부 가치-at-위험) 기반 RL은 "하나의 리스크 측도"만 다룰 수 있었습니다. 이 논문은 시간일관성을 보장하면서도 훨씬 넓은 범위의 리스크 측도를 다룰 수 있는 일반적 프레임워크를 제시합니다.

시간일관성이란 뭘까요? 쉽게 말하면, "오늘의 내가 내일의 나와 같은 기준으로 리스크를 평가하는 것"입니다. 시간일관성이 없으면, 오늘 세운 계획을 내일의 내가 뒤집을 수 있습니다.

연구진은 세 가지 응용에서 성능을 검증했습니다: 통계차익거래 전략, 금융 헤지, 그리고 로봇 장애물 회피(!). 마지막이 재미있는데, "위험을 회피한다"는 개념이 금융과 로봇 공학에서 본질적으로 같다는 걸 보여줍니다.

금융 DRL의 표준 인프라

같은 테마의 또 다른 논문(2112.06753, composite 69.0점)은 FinRL-Meta라는 공개 인프라를 제시합니다. 금융 강화학습 연구의 가장 큰 문제 중 하나가 "데이터와 환경을 매번 새로 만들어야 한다"는 것이었는데, 이 논문은 다자산·암호화폐·고빈도 데이터 환경과 학습-검증-페이퍼트레이딩 파이프라인을 표준화했습니다.

---

테마 5: "이모지가 주가를 예측할 수 있을까?" — NLP/센티먼트 분석의 진화

일상 비유로 시작하자면

친구가 "오늘 기분 좋아!"라고 말하면, 그게 진짜 기쁜 건지, 아니면 화가 나서 비꼬는 건지 구분하기 어렵습니다. 텍스트만으로 감정을 읽는 건 정말 어려운 일이죠. 금융 소셜미디어에서는 이 문제가 더 심합니다. "이 주식 미쳤다"가 긍정인지 부정인지, "🚀🚀🚀"가 뭘 의미하는지—기존 감정 분석 도구는 이런 걸 제대로 처리하지 못했습니다.

EmTract: 이모지까지 이해하는 감정 분석기

이 문제를 해결한 논문(2112.03868, composite 73.1점)이 있습니다. EmTract라는 오픈소스 도구인데, 금융 소셜미디어에 특화된 감정 분류기입니다.

개발 과정이 흥미롭습니다:

1. StockTwits(금융 소셜미디어 플랫폼)에서 10,000개 단문 메시지를 직접 주석 처리
2. 오픈소스 감정 데이터와 결합
3. 사전학습된 DistilBERT 모델의 임베딩 공간에 4,861개 토큰(이모지·이모티콘)을 추가
4. 오픈소스 데이터 → 금융 데이터 전이학습 순서로 학습

결과는 인상적이었습니다. 기존 오픈소스 감정 분류기(Emotion English DistilRoBERTa-base 등)를 능가하는 성능을 보였고, 인간 주석과 ChatGPT 주석 모두에서 우수한 성능을 확인했습니다.

가장 중요한 발견: 기업별 투자자 감정이 일별 가격 변동을 예측하는 정보를 가진다는 것입니다. 쉽게 말하면, "사람들이 어떤 주식에 대해 이모지로 흥분하면, 그 주식이 실제로 움직일 가능성이 높다"는 겁니다.

접근과 회피: 감정의 새로운 차원

같은 테마의 또 다른 논문(2112.02607, composite 62.2점)은 감정 분석의 프레임 자체를 바꾸자고 제안합니다. 기존에는 "긍정/부정"으로 나눴는데, 이 논문은 "접근(approach)/회피(avoidance)" 차원을 제안합니다.

뭐가 다를까요? "긍정"은 그냥 좋은 감정이지만, "접근"은 행동을 유도하는 감정입니다. "이 주식 좋다"는 긍정이지만, "이 주식 사야 한다"는 접근입니다. Conviction Narrative Theory(CNT)에 기반한 이 프레임워크는, 금융 시장에서 감정이 실제 매매 행동으로 이어지는 과정을 더 정확하게 포착합니다.

---

월 전체 Big Picture: "좋은 모델은 불확실성을 정직하게 다루는 모델"

2021년 12월의 연구를 관통하는 하나의 메시지가 있습니다: "좋은 모델은 불확실성을 정직하게 다루는 모델"입니다.

포트폴리오 최적화에서는 추정 불확실성을 명시적으로 모델링하는 로버스트 방법론이 이론적 완결성을 넘어 닫힌형 해로 실전에 도달했습니다. Transformer 아키텍처는 전통적 LSTM을 대체하며 장기 의존성과 해석가능성을 동시에 제공합니다. 암호화폐 시장에서는 CEX/DEX 품질 비교가 인과적 분석 수준으로 발전했고, 강화학습에서는 CVaR를 넘어선 일반적 리스크 측도 통합이 가능해졌습니다. NLP에서는 금융 특화 감정 추출 도구가 공개되어, 이모지까지 포함한 정교한 투자 신호 추출이 현실화되었습니다.

이 모든 연구가 공통적으로 말하는 것: 모델의 성능 못지않게, 그 모델이 모르는 것을 정직하게 인정하는 것이 중요하다는 것입니다.

---

더 알아보기

이 글에서 다룬 논문들의 arXiv 링크입니다:

• Mean-Covariance Robust Risk Measurement (composite 79.6, A티어)
• Non-linear shrinkage... far from optimal (composite 76.6, A티어)
• Momentum Transformer (composite 74.1, A티어)
• EmTract: Extracting Emotions (composite 73.1, A티어)
• CEX vs DEX Market Quality (composite 71.2, A티어)
• RL with Dynamic Convex Risk Measures (composite 71.2, A티어)
• FX Market Making (composite 71.0, A티어)
• FinRL-Meta (composite 69.0, A티어)

---

---

• 📬 최신 금융 AI 연구 소식을 받아보시려면 ohselab.com을 방문해 주세요.
• 💬 이 글에 대한 의견이나 질문이 있으시면 언제든 연락해 주세요.
• 🔔 팔로우하시면 매달 최신 논문 분석을 받아보실 수 있습니다.