로봇이 주식을 대신 팔아줄 수 있을까? — 2023년 1월 AI 금융 연구 리뷰

AI가 주식을 사고파는 데 뛰어들기 전에, 먼저 "팔 때 손해를 줄이는 법"부터 배워야 한다는 연구가 나왔습니다.

---

들어가며

여러분이 1만 주를 한꺼번에 팔려고 한다면 어떻게 하실 건가요? 증권 앱에서 '시장가 매도' 버튼을 누르면 끝이긴 한데, 이렇게 대량으로 던지면 주가가 확 빠져서 예상보다 훨씬 적은 돈을 받게 됩니다. 마치 대형 할인점에서 재고를 한꺼번에 헐값에 내다 팔면 시장 가격 자체가 무너지는 것과 비슷하죠.

2023년 1월에 이 문제를 해결하려는 흥미로운 연구들이 쏟아져 나왔습니다. 주식을 '언제, 어떻게, 얼마나' 팔아야 손해를 최소화할 수 있는지 AI가 실시간으로 학습하는 방법부터, 수천 개 종목을 한꺼번에 분석하는 그래프 기반 기술, 그리고 투자자들의 감정까지 읽어내는 AI까지 — 이번 달의 핵심 연구들을 살펴봅니다.

---

무엇이 문제였나요?

주식을 팔면 왜 손해가 생기나요?

주식 시장에서는 '시장 충격(market impact)'이라는 현상이 일어납니다. 내가 1만 주를 시장에 내놓으면, 그 자체로 "이 사람이 급하게 팔고 있다"는 신호가 되어 주가가 떨어집니다. 이 충격의 크기는 고정된 숫자가 아니라, 누가 언제 어떻게 주문을 넣느냐에 따라 계속 변합니다.

기존에는 이 충격을 미리 정해진 수식으로 계산했습니다. 예를 들어 "1만 주를 팔면 주가가 0.5% 떨어진다"고 가정하는 식이죠. 하지만 실제 시장은 훨씬 복잡합니다. 어제 뉴스가 나왔는지, 오늘 거래량이 많은지, 다른 큰 투자자가 같은 주식을 사고 있는지에 따라 충격이\u5B8C\u5168\u4E0D\u540C하게 달라집니다.

포트폴리오도 마찬가지입니다

수십 개 종목에 투자하는 포트폴리오도 비슷한 문제를 안고 있습니다. 주식을 다시 배분(리밸런싱)할 때마다 거래 비용이 발생하는데, 이 비용을 무시하면 이론적으로는 최적인 포트폴리오가 실제로는 손실을 보는 경우가 생깁니다. 그런데 리밸런싱을 너무 안 하면 원래 목표와 멀어지고, 너무 자주 하면 비용이 쌓이고... 이 균형을 어떻게 맞춰야 할까요?

---

핵심 아이디어: AI가 시장 충격을 실시간으로 학습한다

1. 시장 충격을 미리 정하지 말고, 직접 배워라

2023년 1월의 가장 주목할 만한 연구는 Eyal Neuman과 Yufei Zhang이 발표한 "propagator 모형의 통계적 학습"입니다. 이 논문의 핵심 아이디어는 놀랍도록 단순합니다: 시장 충격의 크기를 미리 수식으로 정하지 말고, AI가 직접 시장 데이터를 보면서 학습하게 하자는 거죠.

구체적으로 어떻게 작동하냐고요? 두 단계를 번갈아 실행합니다:

• 탐색 단계: "일부러 조금씩 다른 방식으로 주문을 넣어보자." 이렇게 해서 시장이 어떻게 반응하는지 관찰합니다. 마치 레스토랑에서 메뉴를 몇 개 시켜보면서 어느 게 맛있는지 알아보는 것과 같습니다.
• 활용 단계: 탐색에서 배운 정보를 바탕으로 가장 좋은 실행 전략을 씁니다.

이 과정에서 AI는 "후회(regret)"라는 지표를 사용합니다. "이상적인 전략을 이미 알고 있었다면 얼마나 더 이익을 봤을까?"라는 질문에 대한 답이죠. 이 논문은 학습 에피소드가 늘어날수록 이 후회가 점점 줄어들어 결국 0에 수렴한다는 것을 수학적으로 증명했습니다.

이 연구가 특히 의미 있는 이유는, 실제 학술지(Annals of Applied Probability)에 게재되어 이론적 엄밀성이 검증되었다는 점입니다.

2. 리밸런싱 빈도와 비용의 딜레마를 풀다

두 번째 핵심 연구는 "거래비용이 있는 환경에서의 빈도 기반 로그최적 포트폴리오"입니다.

"로그최적 포트폴리오"라는 말이 어렵게 들리시죠? 쉽게 말하면, "장기적으로 돈을 가장 빠르게 불려주는 투자 비율"을 찾는 방법입니다. 이 논문의 발견은 다음과 같습니다:

• 거래 비용이 있는 상태에서 리밸런싱 주기를 바꾸면 최적 포트폴리오 자체가 달라진다는 것
• 거래 비용이 너무 크면 오히려 파산 위험이 생길 수 있다는 것
• 하지만 이 문제를 "오목최적화"라는 수학적 구조로 바꾸면 깔끔하게 풀 수 있다는 것

이 논문이 특히 실용적인 이유는 슬라이딩 윈도우 접근법을 제안했기 때문입니다. 복잡한 확률적 계산 대신, 최근 데이터만으로 간단한 최적화를 반복해서 풀면 된다는 거죠. 실시간 포트폴리오 관리 시스템에 바로 적용할 수 있는 방법입니다.

3. 수천 개 종목을 한꺼번에 분석하는 그래프 기술

세 번째 연구는 GRACE(Graph-based Conditional Moments) 방법으로, 이름 그대로 "은혜로운" 방법입니다. 수천 개 주식을 동시에 분석할 수 있게 해주니까요.

기존 방법으로 수천 개 종목의 위험도와 기대수익을 동시에 추정하려면 계산량이 폭발합니다. GRACE는 이 문제를 그래프로 해결합니다:

• 주식 간의 관계(같은 업종, 같은 공급망 등)를 그래프로 표현
• 팩터 정보(기업 규모, 밸류에이션 등)를 하이퍼그래프로 추가
• 그래프 합성곱 신경망(GCN)으로 조건부 분위수를 학습
• 여기서 분산, 왜도, 첨도까지 추출해서 포트폴리오 구성

실제 NASDAQ·NYSE 데이터에서 기존 방법들을 크게 앞선 성과를 보였습니다. 특히 왜도(수익률 분포의 비대칭성)와 첨도(극단적 변동의 빈도)를 고려할 때 성능 향상이 두드러졌습니다.

4. 투자자 감정을 12가지로 읽는 AI

네 번째 연구는 StockEmotions 프로젝트입니다. 기존 감성 분석은 "긍정/부정" 두 가지뿐이었는데, 이 연구는 투자자 감정을 12개 범주로 세분화합니다.

StockTwits(트위터 같은 투자 소셜 플랫폼) 데이터를 분석해서 만든 이 감정 체계는 행동재무학 이론에 기반합니다. 예를 들어 "공포", "흥미", "분노", "실망" 등을 구분하고, 각 감정이 주가 변동과 어떤 관계가 있는지 분석했습니다.

이 연구의 가치는 "투자자들이 지금 뭘 느끼고 있는지"를 더 정밀하게 파악할 수 있게 해준다는 점입니다. 기쁨과 흥미를 구분할 수 있어야, 그 감정이 실제 매매 행동으로 이어지는 패턴을 더 잘 예측할 수 있습니다.

---

결과 — 무엇을 알아냈나요?

2023년 1월 연구들의 핵심 발견을 정리하면 다음과 같습니다:

시장 충격 학습: propagator 모형의 온라인 학습이 수학적으로 가능함이 증명되었습니다. 실제 시장에서 "팔 때 손해"를 줄이는 AI 실행 전설의 이론적 기반이 마련된 셈입니다.

포트폴리오 최적화: 거래 비용과 리밸런싱 빈도의 관계가 오목최적화로 깔끔하게 정리되었습니다. 실무에서 바로 쓸 수 있는 슬라이딩 윈도우 방법도 제시되었습니다.

대규모 종목 분석: 그래프 기반 방법으로 수천 개 종목의 고차 모멘트(분산·왜도·첨도)를 효율적으로 추정할 수 있게 되었습니다.

감정 분석: 투자자 감정을 12가지로 세분화하는 체계가 처음 제시되었고, 시계열 예측과 결합하는 방법도 보여주었습니다.

---

한계와 주의점

모든 연구에는 한계가 있습니다. 솔직하게 말씀드리겠습니다:

• 시장 충격 학습: 아직 단일 자산 청산에만 적용되었습니다. 수십 개 종목을 동시에 매도하는 현실의 상황으로 확장하려면 추가 연구가 필요합니다.
• 포트폴리오 최적화: 거래 비용을 단순 선형으로 가정하고, 시장 충격 모델은 반영하지 않았습니다.
• GRACE: 그래프 구축에 도메인 지식이 필요하고, 리밸런싱 비용은 고려하지 않았습니다.
• StockEmotions: 영어 텍스트에만 적용되었고, 한국어나 다른 언어로의 확장은 검증되지 않았습니다.

이론적으로 아름답게 증명된 결과가 실제 시장에서 그대로 작동한다는 보장은 없습니다. 하지만 "이론적 기반이 없다"보다는 "이론적 기반이 있다"가 훨씬 나은 출발점입니다.

---

그래서 투자/실무엔?

이 연구들이 일반 투자자에게 직접적으로 와닿지는 않을 수 있습니다. 하지만 방향은 분명합니다:

1. AI 실행 최적화는 앞으로 대형 기관 투자자들의 필수 도구가 될 것입니다. 대량 매매 시 손해를 줄이는 기술은 비용 절감으로 직접 이어집니다.
2. 포트폴리오 리밸런싱에서 거래 비용을 무시하면 이론적 최적과 실제 결과가 크게 달라질 수 있습니다. 비용을 고려한 최적화는 선택이 아니라 필수입니다.
3. 감정 분석의 세분화는 퀀트 전략의 알파 소스를 풍부하게 만들어 줍니다. "긍정/부정"만으로는 포착할 수 없는 패턴이 있습니다.

자기자본 운용에서는 이런 기술들이 경쟁 우위의 원천이 될 수 있습니다.

---

함께하기

이런 최신 AI 금융 연구를 더 알고 싶으시다면:

• 📧 ohselab.com에서 뉴스레터를 구독하세요
• 💬 연구에 대한 질문이나 의견이 있으시면 언제든 연락주세요
• 🐦 최신 연구 소식을 팔로우해 주세요

---

더 알아보기

주요 논문 링크

이 블로그 포스트는 2023년 1월 arXiv에 공개된 AI 금융 논문들을 바탕으로 작성되었습니다.