2026년 5월 AI 트레이딩 연구 한눈에 보기 — 성과를 어떻게 믿을 것인가?

매달 arXiv에 올라오는 수백 편의 AI·퀀트 연구 중에서, 실제 자본 운용에 의미 있는 논문을 골라 테마별로 정리합니다. 이 글은 ohselab 내부 연구 큐레이션의 월간 요약입니다.

---

들어가며: "이 전략, 백테스트에서는 좋았는데..."

투자자를 괴롭히는 오래된 문제가 있습니다. 백테스트에서 멋져 보이던 전략이 실제 돈을 넣으면 시들해지는 현상이죠. 2026년 5월, arXiv에 올라온 755편의 관련 논문 중 273편을 검토한 결과, 이달의 연구 흐름을 관통하는 핵심 키워드가 바로 "평가"였습니다. 더 정확한 모델을 만드는 것보다, "어떻게 하면 성과를 정직하게 측정할 수 있을까"에 초점을 맞추는 연구들이 최상위를 점유했어요.

이번 달에는 다섯 가지 연구 흐름을 살펴보겠습니다.

---

테마 1: 백테스트와 평가 — "과거 성과는 미래를 보장하는가?"

무엇이 문제인가요?

알고리즘 트레이딩에서 백테스트는 자동차의 시승 시험과 같습니다. 그런데 많은 백테스트가 "미래 정보를 몰래 사용한" 상태에서 결과를 내놓고 있어요. 예를 들어, 오늘이 5월 10일인데 5월 11일의 주가를 사용해서 오늘의 매매 결정을 평가한다면 어떨까요? 당연히 결과가 좋게 나올 거예요. 하지만 현실에서는 내일의 주가를 알 수 없죠. 이런 문제를 "의사결정 시점 누수(leakage)"라고 합니다.

이달의 핵심 논문들

RED-2400 (2605.12151) — 이달 유일한 S등급 논문입니다. 솔라나 블록체인의 탈중앙화 거래소에서 실시간으로 돌아가던 매매 필터가 거절한 거래 6,660건을 모아서 공개 벤치마크로 만들었어요. 거절 직후에 그 자산의 가격이 어떻게 움직였는지를 라벨로 붙여서, 필터가 "너무 까다롭게 굴어서 좋은 기회를 놓쳤는지" 아니면 "정말 위험한 거래를 잘 막았는지"를 분석할 수 있게 했습니다.

쉽게 말하면, 경비원이 "이 손님은 위험해 보인다"며 출입을 거부한 사례를 전부 기록해 둔 뒤, 그 손님이 실제로 사고를 쳤는지 아닌지를 확인한 거예요. 이 데이터가 있으면 경비원의 판단 기준을 더 정교하게 조정할 수 있겠죠.

When Alpha Disappears (2605.23959) — 백테스트에서 "성과를 부풀리는 원인"을 하나씩 제거하면서 진짜 실력을 측정하는 벤치마크입니다. 데이터, 모델, 포트폴리오 규칙 등은 그대로 두고, 평가 관행만 한 번에 하나씩 바꿔봅니다. 예를 들어, "매매 결정 시점을 하루 앞당겨 보겠습니다"라고 바꿨을 때 성과가 확 달라진다면, 원래 성과의 상당 부분이 "시점 누수"에 의한 것이었다는 뜻이죠.

이 테마의 공통 메시지

이달 벤치마크·평가 연구들이 함께 말하는 것: 마케팅용 백테스트 성과를 그대로 믿으면 안 되며, 이제 그 차이를 정량적으로 감사하는 공개 도구가 등장했다. 특히 LLM 에이전트 분야에서 보고된 "알파"를 배포 증거로 간주하면 안 되는 이유를 구조적으로 보여주는 연구(The Alpha Illusion, 2605.16895)가 함께 나온 것도 주목할 만합니다.

---

테마 2: LLM 트레이딩 에이전트 — "에이전트는 무엇을 기억하고, 어떻게 실패하는가?"

무엇이 달라졌나요?

지난 몇 달 동안 LLM 트레이딩 에이전트 연구는 "이 모델로 돈을 벌 수 있다"는 식의 성능 보고서가 주를 이루었습니다. 하지만 2026년 5월에는 분위기가 확연히 달라졌어요. "왜 실패하는가를 감사하는" 연구들이 동시에 등장했습니다.

핵심 논문: Agentic Trading (2605.19337)

이 논문은 LLM 트레이딩 에이전트에 대한 기존 연구 77편을 프로토콜 관점에서 전수 조사했습니다. 결과는 충격적입니다:

• 시간에 일관된 데이터 분할 방법을 보고한 연구: 77편 중 2편
• 거래 비용을 명시적으로 고려한 연구: 1편
• 주식 유니버스나 생존 편향을 다룬 연구: 1편
• 재현성 수준 R3(완전 재현 가능)에 도달한 연구: 0편

쉽게 말하면, "이 AI로 주식 매매하면 수익이 난다"고 주장하는 논문 77편 중에서, 그 주장을 독립적으로 검증할 수 있는 정보를 충분히 제공한 논문이 거의 없다는 뜻이에요.

또 다른 관점: 기억 누수

From Knowing to Doing (2605.28359)는 LLM의 "기억 누수" 문제를 다룹니다. LLM은 학습 데이터에 이미 포함된 과거 주식 시장 정보를 "기억"하고 있어서, 백테스트에서 과거 데이터로 테스트하면 실제보다 훨씬 잘하는 것처럼 보일 수 있어요. 이 논문은 "아는 것"과 "실제로 거래하는 능력"을 분리해서 평가하는 벤치마크를 제시합니다.

이 테마의 공통 메시지

LLM 에이전트 분야의 즉각적 병목은 "더 좋은 모델"이 아니라 "비교 가능한 평가 프로토콜, 실행 시맨틱스, 재현 가능한 아티팩트"입니다. 이 사실이 정량적으로 드러난 것이 이달의 가장 중요한 발견 중 하나예요.

---

테마 3: 시장 미시구조·마켓메이킹 — "최적 호가를 어떻게 낼 것인가?"

쉽게 설명하면

마켓메이커는 "이 가격에 사겠습니다, 이 가격에 팔겠습니다"라고 동시에 호가를 내는 사람입니다. 문제는 "얼마에, 얼마만큼"을 걸어야 이익을 극대화하면서 리스크를 최소화할 수 있느냐예요. 이달 연구들은 이 문제를 "속도 제어"에서 "개별 호가의 가격·수량 직접 최적화"로 확장하고 있습니다.

대표 논문: Explicit Signal-Adaptive Sequential Optimal Execution Quotes (2605.24242)

전통적인 최적 실행 모형은 "이 속도로 매매하라"는 지시만 줍니다. 하지만 실제 시장에서는 "이 가격에 이만큼 걸어놓으라"는 구체적인 호가가 필요하죠. 이 논문은 시장 신호가 변할 때 호가의 가격과 수량이 동시에 적응하는 최적 정책을 수학적으로 유도했습니다. 닫힌형 해(closed-form solution)를 제공해서, 복잡한 수치 계산 없이도 바로 적용할 수 있어요.

예측시장의 미시구조

흥미로운 점은 Polymarket 같은 예측시장에 대한 분석이 이 분과에 포함되었다는 것입니다. Polymarket NBA 경기 시장에서 7,500만 개 이상의 호가 스냅샷을 분석한 연구(2605.00864)는, 탈중앙화 예측시장에서도 전통적인 미시구조 이론이 적용 가능함을 보여줍니다.

이 테마의 공통 메시지

전통적 마켓메이킹 수리 이론(신호 적응형 호가, 위험민감 제어)과 탈중앙화 금융(퍼페추얼 DEX 펀딩비 인식 호가, 예측시장 분석)이 공존하며 발전하고 있어요.

---

테마 4: 포트폴리오 최적화 — "예측이 아닌 결정을 학습하라"

무엇이 문제인가요?

포트폴리오 최적화는 보통 두 단계로 이루어집니다. 먼저 주식 수익률을 예측하고, 그 예측값을 바탕으로 최적 포트폴리오를 구성하죠. 그런데 이 두 단계가 따로따로 최적화되면 문제가 생깁니다. 예측 모델이 "예측 정확도"만 높이려고 하다 보니, 실제 포트폴리오 성능에 도움이 안 되는 방향으로 학습될 수 있어요.

핵심 논문: Decision-Induced Ranking (2605.01176)

이 논문은 "의사결정 학습(DFL)"이라는 접근법이 왜 예측값을 부풀리고 회전율을 과도하게 만드는지를 수학적으로 설명합니다. 핵심 발견: 예측값이 부풀려지는 것은 단순한 과적합이 아니라 의사결정 구조의 랭킹 변환에 기인한다는 것이에요. 쉽게 말하면, "정확하게 맞추는 것"보다 "상위권에 넣는 것"이 포트폴리오에 더 중요하다는 걸 모델이 학습하면서, 예측값의 절대 수준이 왜곡된다는 뜻입니다.

또 다른 관점: 알고리즘 피드백

Algometrics (2605.23978)는 더 근본적인 문제를 제기합니다. 예측모델이 시장에 배포되는 순간, 그 모델의 예측 자체가 시장 데이터를 바꿔버린다는 거예요. 주식을 추천하면 그 주식의 가격이 변하고, 변한 가격은 다시 모델의 입력이 됩니다. 이 "알고리즘 피드백"을 수학적으로 정식화한 프레임워크예요.

이 테마의 공통 메시지

"더 정확한 예측"에서 "더 나은 의사결정"으로의 패러다임 이동이 가속화되고 있어요. 예측 정확도 ≠ 포트폴리오 성능이라는 균본적 통찰을 강화하는 연구들이 동시다발적으로 나오고 있습니다.

---

테마 5: 변동성·파생·헤징 — "델타만으로 충분한가?"

쉽게 설명하면

옵션을 매수하면 가격 변동에 노출됩니다. 이 노출을 "헤징"이라고 하는데, 가장 기본적인 방법이 "델타 헤지"예요. 주가가 1원 오르면 옵션 가격이 델타만큼 변하니까, 델타만큼 반대 포지션을 가져가는 거죠. 하지만 현실의 변동성은 블랙-숼즈 모형이 가정하는 것보다 훨씬 "거칠(rough)"어요.

핵심 논문: Bivariate Nearly-Unstable Hawkes Processes (2605.03703)

Hawkes 과정은 "한 사건이 발생하면 그 후속 사건이 더 잘 일어나는" 수학적 모형이에요. 예를 들어, 주가가 급락하면 그 직후에 추가 하락이 더 잘 일어나죠. 이 논문은 두 자산의 Hawkes 과정이 서로 다른 "거칠기(roughness)"를 가질 수 있음을 수학적으로 증명했습니다. 쉽게 말하면, A 주식의 변동성 패턴과 B 주식의 변동성 패턴이 질적으로 다를 수 있다는 것이에요.

딥 헤징의 해석

What Does Deep Hedging Actually Learn? (2605.21696)는 딥러닝 기반 헤징이 실제로 무엇을 학습하는지를 분석합니다. 단순히 "성능이 좋다"가 아니라, 델타 헤지에 대한 체계적 보정과 레짐별 취약성을 학습한다는 것을 해석 가능한 형태로 드러냈어요. 심볼릭 증류라는 기법으로, 딥러닝이 학습한 전략을 사람이 읽을 수 있는 수식으로 변환합니다.

이 테마의 공통 메시지

블랙-숼즈 기반의 단순 델타 헤지를 넘어서, 거친 변동성, 비모형 위험중립밀도 추출, 결제 지연 유동성 조정 등 실무적 복잡성을 수리적으로 다루는 프레임워크가 동시 다발적으로 발전하고 있어요.

---

월 전체 한눈에 보기

이달의 연구 흐름을 한 문장으로 요약하면:

이제 "더 좋은 모델"보다 "더 좋은 평가 프로토콜"이 분야의 즉각적 병목이며, 이를 해결하는 연구가 최상위를 점유하고 있다.

구체적으로 보면:

다음 달에도 의미 있는 연구로 찾아뵙겠습니다.

---

더 알아보기

• 이달의 전체 S/A 논문 목록과 점수: 백필 리포트 2605
• ohselab: https://ohselab.com
• 구독·상담·팔로우: ohselab.com