Ohse AI LabOHSE AI LAB
2024년 9월 양적 금융 연구 종합
🤖 AI 연구

투자 의사결정의 편향을 직시하다 — 2024년 9월 양적 금융 연구 종합

오세에이아이연구소··24분 읽기

투자 의사결정의 편향을 직시하다 — 2024년 9월 양적 금융 연구 종합

매달 수백 편의 논문이 arXiv에 쏟아집니다. 그중 투자 실무에 정말 도움이 되는 연구를 골라, 쉽게 풀어드립니다.

들어가며: "평균적으로 좋은" 것의 함정

주식 투자를 할 때, 우리는 보통 "과거 데이터를 보고 좋은 포트폴리오를 만들자"고 생각합니다. 그런데 이 "과거 데이터를 본다"는 행위 자체에 예상보다 큰 문제가 숨어 있을 수 있습니다.

예를 들어, 500개 종목으로 포트폴리오를 짜려고 하는데 최근 3년치 데이터만 있다고 해봅시다. 이때 표본 수(36개월)보다 변수 수(500개 종목)가 훨씬 많지는 않지만, 둘이 비슷한 수준이면 과거 데이터로 추정한 "최적 포트폴리오"가 실제로는 상당히 왜곡되어 있다는 것을 2024년 9월 논문들이 수학적으로 증명합니다.

이달의 논문들은 공통으로 이렇게 말합니다: "추정의 편향을 직시하고, 의사결정에 맞춰 학습하라." 무슨 뜻인지, 하나씩 풀어보겠습니다.


첫 번째 이야기: 포트폴리오 최적화의 숨은 편향

문제가 뭐예요?

마코위츠의 평균-분산 최적화(MVO)는 투자 이론의 기본입니다. 기대수익률과 공분산행렬을 추정해서, 위험 대비 수익이 가장 좋은 포트폴리오를 찾는 방법이죠. 그런데 이 방법의 핵심 재료인 "표본 공분산행렬"에 대해, 자산 수가 많아지면 체계적으로 틀어진다는 문제가 오래전부터 알려져 있었습니다.

2024년 9월에 나온 논문(2409.15103)은 이 문제를 가장 엄밀하게 다룹니다.

뭐가 새롭나요?

보드나르(Bodnar) 교수팀은 랜덤행렬이론이라는 수학 도구를 활용해, 효율적 프런티어(위험-수익 곡선)의 핵심 수치 3개 중 2개가 표본추정기에서 체계적으로 과대추정된다는 것을 증명했습니다.

쉽게 말하면 이렇습니다. 포트폴리오 최적화를 할 때 쓰는 공분산행렬이 있는데, 이 행렬의 고유값(행렬의 "고유한 성분")이 실제보다 부풀려져 있다는 거예요. 마치 돋보기로 보면 실제보다 크게 보이는 것처럼요. 이 "부풀림"의 정도는 자산 수(p)와 표본 수(n)의 비율(c = p/n)로만 결정됩니다.

그림: 표본 수 n=100에서 추정한 효율적 프런티어. 실선은 실제 프런티어, 점선은 표본추정기로 추정한 것. 자산 수가 늘어날수록(오른쪽으로 갈수록) 두 선의 차이가 벌어지는 것을 볼 수 있습니다.

이 그림은 표본 수를 100으로 고정하고 자산 수를 바꿔가며 효율적 프런티어를 추정한 결과입니다. 정규분포(위), t분포(중간), GARCH 과정(아래) 등 다양한 시나리오에서 모두 비슷한 패턴이 나타나죠. 자산 수가 표본 수에 가까워질수록(오른쪽으로 갈수록) 추정 프런티어와 실제 프런티어 사이의 차이가 커집니다.

좋은 소식은, 이 편향이 오직 c(농도비)의 함수이기 때문에 보정 공식을 만들 수 있다는 점입니다. 연구팀은 이 공식을 S&P 500 종목으로 검증했고, 보정 후 추정치가 실제에 훨씬 가까워졌습니다.

실무에 뭘 할 수 있나요?

S&P 500처럼 종목이 수백 개인 환경에서 포트폴리오를 구성할 때, 표본 공분산행렬을 그대로 쓰면 효율적 프런티어가 상당히 왜곡됩니다. 이 논문의 보정 공식은 비교적 가벼운 계산으로 편향을 제거할 수 있어서, 실제 운용 시스템에 바로 적용해볼 수 있습니다. 다만 정규분포가 아닌 환경에서는 4차 모먼트(데이터의 "뾰족한 정도")가 존재해야 한다는 조건이 붙습니다.


두 번째 이야기: 저베타 주식, 다 같은 저베타가 아니다

"베타가 낮으면 안전하다"는 말, 반만 맞습니다

주식의 베타(β)는 시장 움직임에 대한 민감도를 나타냅니다. 베타가 0.5면 시장이 10% 오를 때 이 주식은 평균 5% 오른다는 뜻이죠. 오래전부터 "저베타 주식이 위험 대비 수익이 더 좋다"는 관찰이 있었고, 프래지니와 페데르센(2014)은 이것을 BAB(Betting Against Beta) 팩터로 정리했습니다.

그런데 2004년 캠벨과 부올테나호는 "베타에는 좋은 베타와 나쁜 베타가 있다"고 주장했습니다. 좋은 베타는 기업 실적(현금흐름) 충격에 대한 민감도이고, 나쁜 베타는 금리·할인율 변동에 대한 민감도입니다. 같은 베타 0.5라도, 나쁜 베타가 높으면 시장이 나빠질 때 특히 많이 떨어진다는 뜻이죠.

2024년 9월 논문(2409.00416)은 바로 이 지점에서 BAB 팩터를 개선합니다.

뭐가 달라졌나요?

에르쿨라누(Herculano)는 기존 BAB 전략이 저베타 포트폴리오를 만들면서 의도치 않게 "나쁜 베타"에 과도하게 노출되고 있음을 보여줍니다. 그리고 베타와 나쁜 베타로 이중 정렬(double sorting) 해 "나쁜 베타에 베팅하는" 팩터를 제거한 BABB(Betting Against Bad Beta) 팩터를 새로 만들었습니다.

그림: BAB 팩터와 BABB 팩터의 누적 수익률 비교. BABB 팩터(빨간선)가 기존 BAB(파란선)보다 더 안정적인 성과 궤적을 보여줍니다.

결과는 꽤 인상적입니다. BABB 팩터는 기존 BAB 전략의 전반적 성과를 개선합니다. 다만 주의할 점이 있습니다: 이 개선 효과는 거래비용을 잘 관리할 때만 유효합니다. 회전율(포트폴리오를 얼마나 자주 바꾸는지)이 높아지면 거래비용이 이점을 상쇄할 수거든요.

실무에 뭘 할 수 있나요?

저베타·방어주 전략을 운용할 때, 포트폴리오의 베타를 단순히 낮추는 것만으로는 충분하지 않습니다. 할인율 충격에 대한 민감도(나쁜 베타)를 별도로 측정하고 관리해야 프리미엄의 질이 개선됩니다. 레버리지 제약이 있는 연기금이나 보험사 같은 기관투자자에게 특히 유용한 프레임입니다.


세 번째 이야기: ChatGPT로 기업의 투자 의도를 읽다

"CEO가 말한 것"에서 "CEO가 하려는 것"을 추출하다

기업 실적 발표 콘퍼런스콜(CEO와 CFO가 애널리스트에게 설명하는 전화회의)은 투자자에게 핵심 정보원입니다. 그런데 이 텍스트에서 단순히 "긍정적/부정적" 감성을 분류하는 것보다 훨씬 더 구체적인 것을 추출할 수 있다면?

2024년 9월 논문(2409.17933)은 ChatGPT를 이용해 콘퍼런스콜 텍스트에서 기업의 투자 의도 점수를 만드는 방법을 제시합니다.

어떻게 하나요?

자(賀) 교수팀은 기업 실적 발표 콘퍼런스콜 텍스트를 ChatGPT에 입력하고, 관리자들이 미래 설비투자(CAPEX)를 늘릴지 줄일지를 나타내는 firm-level 점수를 생성했습니다. 이 점수가 실제로 의미 있는지 두 가지로 검증했어요:

  1. 해석 가능성: ChatGPT가 어떤 텍스트를 근거로 점수를 매겼는지 확인했더니, CFO 설문 응답과 강한 상관관계를 보였습니다.
  2. 예측력: Tobin's q(기업의 시장가치/자산가치) 등 전통적 통제 변수를 포함한 후에도, 이 투자 점수는 향후 9개 분기의 CAPEX를 유의하게 예측했습니다.

놀라운 점은 이 점수가 총투자, 무형자산투자, R&D 투자까지 별도로 예측한다는 것입니다. 그리고 투자 점수가 높은 기업은 콘퍼런스콜 공시 직후 단기로 주가가 올랐다가, 이후 장기적으로 비정상 수익률이 음(−)으로 전환됩니다 — 이론적으로 예측되는 패턴과 정확히 일치하죠.

실무에 뭘 할 수 있나요?

이 투자 점수는 설비투자에 민감한 업종(반도체, 자동차, 에너지 등)의 로테이션 전략이나 종목 선별에 바로 활용할 수 있습니다. 특히 전통적 재무지표로는 포착하기 어려운 "관리자의 비언어적 투자 의도"를 텍스트에서 추출한다는 점에서, 대체데이터로서의 가치가 큽니다.

다만 한 가지 주의할 점: ChatGPT의 모델이 업데이트되면 점수가 달라질 수 있습니다. 또한 이 연구는 영어 콘퍼런스콜 기준이므로, 한국어 실적 발표에 적용하려면 별도 검증이 필요합니다.


네 번째 이야기: 알파 팩터를 로봇이 발굴하는 시대

"좋은 팩터"를 사람이 일일이 찾는 건 한계가 있습니다

알파 팩터(alpha factor)란 주식 수익률을 예측하는 수학적 공식입니다. 예를 들어 "최근 12개월 수익률 - 최근 1개월 수익률" 같은 모멘텀 팩터가 대표적이죠. 전통적으로는 퀀트 연구자들이 아이디어를 내고 검증하는 방식으로 팩터를 발굴했습니다.

2024년 9월에는 이 발굴 과정을 자동화하는 논문 두 편이 동시에 나왔습니다.

REINFORCE로 수식형 알파를 찾다 (2409.05144)

첫 번째 논문은 분산 제어된 REINFORCE 알고리즘으로 해석 가능한 수식형 알파 팩터를 자동 탐색합니다. 딥러닝으로 팩터를 찾는 기존 방법은 성능은 좋지만 "블랙박스"라 실전에서 쓰기 어려웠어요. 이 논문은 수식 형태(예: "평균(수익률, 20일) / 표준편차(거래량, 5일)")로 된 팩터를 찾으면서, 탐색 과정의 분산을 제어해 안정적으로 학습합니다.

핵심은 해석 가능성과 자동화의 양립입니다. 사람이 이해할 수 있는 수식이면서도, 사람이 일일이 시도해보기 어려운 방대한 탐색 공간을 효율적으로 뒤지는 거죠.

LLM 멀티에이전트로 전략을 설계하다 (2409.06289)

두 번째 논문은 한 단계 더 나아갑니다. LLM(대규모 언어 모델) 여러 개를 "에이전트"로 활용해, 알파 팩터 후보를 생성하고, 평가하고, 선별하는 전 과정을 자동화합니다. 한 에이전트는 아이디어를 내고, 다른 에이전트는 코드를 작성하고, 또 다른 에이전트는 백테스트 결과를 평가하는 식이죠.

이 접근의 장점은 리서치 생산성입니다. 사람이 하루에 검증할 수 있는 아이디어가 수십 개라면, 이 시스템은 수백~수천 개를 자동으로 탐색할 수 있습니다.

실무에 뭘 할 수 있나요?

팩터 라이브러리를 확장하거나, 기존에 생각하지 못했던 비선형 상호작용 팩터를 탐색하는 데 바로 활용할 수 있습니다. 다만 자동 생성된 팩터의 경제적 근거를 사람이 반드시 검증해야 합니다. 통계적으로 유의미해 보여도 우연의 산물일 수 있고, 과적합(overfitting) 위험이 항상 존재하거든요.


다섯 번째 이야기: 경쟁 속에서의 주문 실행

"나만 파는 게 아니다"

대량의 주식을 팔아야 한다고 상상해보세요. 혼자 조용히 팔면 가격 충격이 적겠지만, 만약 같은 주식을 같은 방향으로 팔려는 다른 큰 투자자가 동시에 있다면? 서로 경쟁하면서 가격이 더 움직이게 됩니다.

닐 크리스(Neil Chriss) — 알고리즘 트레이딩의 고전인 Inside the Black Box의 저자 — 가 2024년 9월에 이 문제를 게임이론으로 정식화한 논문(2409.03586)을 냈습니다.

핵심 아이디어

기존의 최적 실행 이론(알므그렌-크리스 모델 등)은 보통 "나 혼자" 팔 때의 최적 전략을 구합니다. 이 논문은 경쟁자도 같은 방향으로 움직이는 상황에서의 균형 전략을 구합니다.

쉽게 비유하면, 경매에서 다른 입찰자들이 얼마나 공격적인지를 알아야 내 입찰 전략을 세울 수 있는 것과 비슷합니다. 이 논문은 경쟁자의 수와 공격성이 증가할수록 실행 속도를 높여야 한다는 균형 전략을 수학적으로 유도하고, 닫힌형 해(공식으로 바로 계산할 수 있는 해)를 제공합니다.

실무에 뭘 할 수 있나요?

대형 주문 집행 알고리즘을 설계할 때, "상대방도 같은 방향으로 움직이고 있다"는 가정을 모델에 반영하면 실행 비용을 절감할 수 있습니다. 특히 기관투자자 간 유동성 경쟁이 치열한 대형주에서 유용한 프레임입니다.


여섯 번째 이야기: 나쁜 상황에서도 일관된 AI 트레이딩

"평균만 잘하는" AI의 한계

강화학습(RL)으로 트레이딩 전략을 학습시키는 연구가 많아졌습니다. 그런데 RL 에이전트가 학습한 환경과 실제 시장이 조금이라도 달라지면 — 예를 들어 변동성이 갑자기 커지거나 — 에이전트의 성과가 급격히 나빠질 수 있습니다.

2024년 9월 논문(2409.10096)은 이 문제를 두 가지 측면에서 동시에 해결합니다:

  1. 위험선호: 에이전트가 "평균 수익률"이 아닌 "나쁜 상황에서의 손실"에 더 민감하도록 만듭니다.
  2. 모형 불확실성: 학습 환경이 실제와 다를 수 있다는 가능성을 Wasserstein 거리(확률분포 사이의 "거리")로 명시적으로 고려합니다.

뭐가 새롭나요?

이전까지 "위험 인식 RL"과 "강건 RL"은 각각 따로 연구되어 왔습니다. 이 논문은 동적 왜곡 위험측도(dynamic distortion risk measure)라는 도구로 두 가지를 하나로 합칩니다. Wasserstein 볼(참조 모델 주변의 가능한 모형들) 안에서 가장 나쁜 경우를 고려하면서, 동시에 에이전트의 위험선호도 반영하는 거죠.

또한 이 프레임워크는 시간일관성을 보장합니다. 오늘 내린 결정이 내일의 자신과 모순되지 않는다는 뜻이에요. 장기적 투자 의사결정에서 매우 중요합니다.

실무에 뭘 할 수 있나요?

포트폴리오 배분 RL 에이전트를 설계할 때, Wasserstein 반경(모형 불확실성 정도)과 왜곡 함수(위험선호)를 조절해 보수적~공격적 스펙트럼을 탐색할 수 있습니다. 다만 현재는 비교적 단순한 포트폴리오 배분 환경에서만 검증되었으며, 다자산·거래비용·리밸런싱 제약이 있는 현실 환경에서의 성능은 추가 검증이 필요합니다.


그래서 이 달의 큰 그림은?

2024년 9월 논문들을 관통하는 하나의 메시지를 꼽으라면: "평균적으로 좋은" 것에서 "조건부로 견고한" 것으로 연구의 무게추가 이동하고 있다는 것입니다.

- 포트폴리오 최적화에서는 표본추정기의 편향을 수학적으로 증명하고 보정하는 방향으로, - 팩터 투자에서는 기존 팩터의 세부 구조를 분해하고 발굴 자체를 자동화하는 방향으로, - LLM/NLP에서는 감성 분류를 넘어 기업 의사결정의 선행지표를 추출하는 방향으로, - 시장 미시구조에서는 경쟁과 역선택을 모델에 반영한 현실적 실행 평가로, - 강화학습에서는 리스크와 불확실성을 동시에 제어하는 시간일관적 프레임워크로.

모든 분야에서 공통으로, "과거 데이터를 보고 평균적으로 좋은 것을 찾는다"는 단순한 접근에서 벗어나, 추정의 한계를 직시하고 의사결정 맥락에 맞춰 모델을 설계하려는 움직임이 강해지고 있습니다. 투자 실무자에게 이 연구들이 주는 시사점은 명확합니다: 모델의 출력을 그대로 믿기 전에, "이 추정이 얼마나 틀려 있을 수 있는가?"를 반드시 확인해야 한다는 것입니다.


더 알아보기

이 글에서 다룬 논문들의 상세 점수와 분석이 궁금하시면:

논문5차원 점수링크
Consistent Estimation of High-Dim Efficient FrontierN:72, A:74, R:83, R:46, I:78arXiv
ChatGPT and Corporate PoliciesN:72, A:78, R:66, R:42, I:74arXiv
Betting Against (Bad) BetaN:72, A:84, R:58, R:42, I:76arXiv
Return Prediction for MVO (Decision-Focused)N:72, A:84, R:58, R:42, I:74arXiv
QuantFactor REINFORCEN:74, A:82, R:58, R:42, I:71arXiv

N=Novelty, A=Applicability, R=Rigor, R=Reproducibility, I=Insight


함께하기 - 📬 오세랩 뉴스레터 구독 - 💬 연구 상담 문의 - 🐦 팔로우

AI 기술이 궁금하신가요?

오세에이아이연구소의 AI 연구와 제품에 대해 문의해주세요.

문의하기

관련 글

AI가 주식을 예측할 수 있을까? — 2026년 3월 금융 AI 연구 리뷰
🤖 AI 연구

AI가 주식을 예측할 수 있을까? — 2026년 3월 금융 AI 연구 리뷰

2026년 3월 금융 AI 논문 734편을 분석한 월간 종합. LLM의 시간 편향 문제, 백테스트 엔진의 숨겨진 오차, 포트폴리오 최적화의 새로운 수학, LOB 시뮬레이션의 현실화, 강화학습 트레이딩 시스템의 실전 전환까지 — 신뢰할 수 있는 금융 AI를 만드는 5가지 연구 테마를 살펴봅니다.

20
금융AILLM트레이딩+6
2024년 12월 AI 퀀트 연구 종합: 포트폴리오의 현실 적응기
🤖 AI 연구

2024년 12월 AI 퀀트 연구 종합: 포트폴리오의 현실 적응기

2024년 12월 arXiv에 올라온 AI 퀀트 연구를 5가지 테마로 정리합니다. 포트폴리오 최적화의 강건성, 연속시간 강화학습, 금융 정보 신경망, 미시구조의 확산모델, LLM 감성분석까지 — 이론이 현실의 불확실성과 마주한 이야기.

18
퀀트투자포트폴리오최적화+4
AI가 포트폴리오를 짜고, 뉴스를 조작하고, 블록체인에서 대량 매도한다 — 2026년 1월 금융 AI 연구 하이라이트
🤖 AI 연구

AI가 포트폴리오를 짜고, 뉴스를 조작하고, 블록체인에서 대량 매도한다 — 2026년 1월 금융 AI 연구 하이라이트

2026년 1월 arXiv에 올라온 금융 AI 연구를 5개 테마로 정리했습니다. 파라미터 불확실성을 포트폴리오에 반영하는 방법, LLM 에이전트의 결정 재현성 문제, DEX에서의 대량 매도 최적화, 연합학습으로 신용리스크를 예측하는 방법, 그리고 주문흐름과 변동성을 하나로 묶는 미시구조 이론까지.

22
금융AI포트폴리오최적화+6