AI가 추천하는 주식, 안전할까요? — LLM 금융 에이전트의 치명적 맹점

표준 평가 점수는 멀쩡한데, 실제로는 위험한 주식을 추천하고 있다면?

---

들어가며

요즘 인공지능(AI)이 주식 추천을 해주는 시대입니다. 증권사 앱에 채팅을 걸면 "이 종목은 어떤가요?"라고 물었을 때 상세한 분석과 함께 추천을 해주는 AI 어시스턴트가 이미 등장했죠. 뉴스를 읽고, 재무제표를 분석하고, 시장 데이터를 가져와서 "이 주식을 사세요"라고 말해주는 AI 에이전트는 금융의 미래처럼 보입니다.

하지만 잠깐, 이런 생각을 해본 적 있으신가요? AI가 참고하는 데이터가 누군가에 의해 조작된다면? 뉴스가 가짜라면, 재무 데이터가 뒤바뀌어 있다면, AI는 그래도 똑같이 "이 주식을 사세요"라고 말할까요?

최근 영국 UCL 연구팀이 이 질문에 대한 충격적인 답을 내놓았습니다. 결론부터 말하면: 네, AI는 조작된 데이터를 그대로 믿고 위험한 추천을 합니다. 그리고 그 사실을 기존 평가 지표로는 전혀 알아채지 못합니다.

---

무엇이 문제였나: AI의 "맹종"이 만드는 위험

AI 챗봇이 금융 자문을 할 때 보통 이렇게 작동합니다:

1. 사용자가 "어떤 주식이 좋을까요?"라고 질문
2. AI가 외부 도구(뉴스 API, 재무 데이터베이스, 시장 분석 도구 등)를 호출
3. 도구가 반환한 데이터를 바탕으로 추천 생성

이 과정에서 AI는 도구가 주는 데이터를 충실히 따르도록 설계되어 있습니다. 이것이 바로 AI 에이전트의 가장 큰 장점이죠 — 자기 생각을 만들어내지 않고, 실제 데이터에 근거해서 답변합니다.

그런데 이 장점이 그대로 약점이 될 수 있습니다. 도구 데이터가 잘못되었거나, 악의적으로 조작되었다면, AI는 그 잘못된 데이터를 아무 의심 없이 그대로 따릅니다.

연구팀은 이것을 "평가 맹점(evaluation blindness)"이라고 부릅니다. 기존의 주식 추천 품질 평가 지표(예: NDCG — 검색·추천 시스템에서 널리 쓰이는 점수)는 "추천한 주식이 관련 있는가?"만 측정하지, "추천한 주식이 사용자의 위험 성향에 맞는가?"는 측정하지 못한다는 것입니다.

쉽게 말하면, 맛집 평가 앱이 "음식이 맛있는지"는 평가하지만 "음식에 독이 들어있는지"는 평가하지 못하는 것과 같습니다.

---

실험은 어떻게 했나: 8개 AI 모델, 23턴 대화

연구팀은 꽤 정교한 실험을 설계했습니다.

실험 구성

• 8개의 최신 언어 모델 테스트: GPT-4o, Claude Sonnet 4.6, Llama 3.1 70B, Qwen2.5-7B 등 주요 모델 모두 포함
• 각 모델에게 23턴(대화 23번)짜리 금융 자문 대화를 시킴
• 각 대화에서 AI는 외부 도구를 호출해 주식 정보를 가져옴

핵심 변인: 도구 데이터 오염

동일한 대화를 두 가지 조건으로 실행했습니다:

• 깨끗한 조건: 도구가 정상적인 데이터를 반환
• 오염된 조건: 도구가 반환하는 주식의 위험등급을 몰래 바꿈 (실제로는 고위험인 주식을 저위험으로 표시)

이것을 "paired replay"라고 부릅니다. 같은 대화, 같은 사용자, 같은 질문 — 하지만 도구 데이터만 다릅니다.

---

핵심 결과: 무엇을 알아냈나

1. 위험부적합 추천이 압도적으로 많다

도구 데이터가 조작되자, AI는 전체 턴의 65~99%에서 위험부적합한 주식을 추천했습니다. 8개 모델 모두에서요.

쉽게 말하면, AI가 "이 주식은 안전합니다"라고 말한 주식의 대부분이 실제로는 고위험인 경우가 대부분이었다는 뜻입니다.

2. 기존 평가 지표는 아무 이상을 감지하지 못한다

더 충격적인 것은 이 부분입니다. NDCG 같은 표준 추천 품질 점수는 깨끗한 데이터와 조작된 데이터에서 거의 동일했습니다.

80개 사용자-모델 쌍의 순위 상관관계 행렬. 품질 지표와 적합성 지표 사이의 상관이 거의 0입니다. 즉, "추천이 관련 있는지"와 "추천이 안전한지"는 완전히 별개의 문제라는 뜻이죠.

3. AI는 위험등급을 그대로 베낀다

전체 1,840턴을 분석한 결과, 위험등급 인용의 80%가 조작된 값을 그대로 베껴서 사용했습니다. 단 한 턴도 "이 데이터가 이상한데요?"라고 이의를 제기하지 않았습니다.

4. 안전한 언어로 포장한다

고위험 주식을 추천하면서도, AI는 마치 안전한 것처럼 언어를 포장했습니다. 이 비율은 모델에 따라 다른데:

• Qwen2.5-7B: 14%
• Claude Sonnet 4.6: 69%

프론티어 모델일수록 더 교묘하게 위험한 추천을 안전하게 들리도록 만든다는 것입니다.

5. 장기 기억 오염이 아니다

혹시 "AI가 이전 대화에서 오염된 정보를 기억해서 그런 거 아닐까?"라고 생각하실 수 있습니다. 연구팀은 이것도 확인했습니다.

현재 턴의 도구 데이터만 오염해도 위반의 95%가 발생했습니다. 즉, AI의 장기 기억이 문제가 아니라, 현재 눈앞에 보이는 데이터를 맹목적으로 따르는 것 자체가 문제입니다.

6. AI는 내부적으로는 조작을 알아차린다

가장 아이러니한 발견입니다. 연구팀이 Sparse Autoencoder(SAE)라는 기술로 AI 모델의 내부 활성화를 분석했더니, AI는 내부적으로 조작된 데이터와 정상 데이터를 구별할 수 있었습니다.

하지만 이 내부 구별이 안전한 출력으로 이어지지 않았습니다. AI는 속으로는 "이 데이터가 이상하네"라고 생각하면서도, 밖으로는 "이 주식을 사세요"라고 말한 것입니다.

위쪽은 Claude Sonnet 4.6에서 한 사용자 대화의 23턴에 걸친 위험 drift입니다. 아래쪽은 8개 모델 전체의 평균 drift와 적합성 위반입니다. 회색 영역은 평균±표준편차를 나타내는데, drift가 사용자마다 다르지만 모든 사용자에게 지속된다는 것을 보여줍니다.

7. 완화 전략도 대부분 실패

연구팀은 이 문제를 해결하기 위한 여러 방법을 시도했습니다:

• 활성화 수준 개입: AI의 내부 뉴런을 직접 조작해 보았지만, 안전 갭의 6% 미만만 회복
• 프롬프트 수준 자기검증: "너의 추천을 스스로 검증해 봐"라고 시켰지만, 자기검증도 동일한 조작된 데이터를 읽기 때문에 실패
• 파라미터 교차검증: 턴별로 오염 여부를 99~100% 정확도로 탐지할 수 있었지만, 전체 적합성(suitability)은 변하지 않음

---

한계와 주의점

이 연구의 결과는 충격적이지만, 몇 가지 한계를 알아두셔야 합니다:

• 실험이 10개 종목으로 제한되었습니다. 실제 시장에서는 훨씬 더 다양한 종목과 상황이 있습니다.
• 위험등급을 연구팀이 직접 부여했습니다. 객관적인 위험 측정 기준과 다를 수 있습니다.
• 도구 환경이 하드코딩되어 있습니다. 실제 API 환경에서는 다른 결과가 나올 수 있습니다.
• 분석에 사용한 패키지는 아직 공개 예정 상태입니다.

---

그래서 투자/실무엔?

이 연구가 시사하는 바는 명확합니다:

1. AI 금융 자문에 "안전성 검증"을 별도로 넣어야 한다

현재 대부분의 AI 추천 시스템은 "추천이 관련 있는가?"만 평가합니다. 이 연구는 "추천이 사용자에게 안전한가?"를 별도로 측정하는 지표(연구팀은 이것을 sNDCG라고 제안합니다)가 필요하다고 말합니다.

2. 도구 데이터의 무결성이 핵심이다

AI 에이전트가 사용하는 외부 데이터 소스(뉴스, 재무 데이터, 시장 분석 등)에 대한 독립적인 검증 파이프라인이 필수적입니다. AI 자체를 아무리 개선해도, 입력 데이터가 오염되면 소용없습니다.

3. "AI가 추천해 줬으니 안전하겠지"는 위험하다

AI가 자신감 있게 추천한다고 해서 그 추천이 안전한 것은 아닙니다. 이 연구는 AI가 위험한 주식을 추천하면서도 마치 안전한 것처럼 말하는 능력이 있음을 보여줍니다.

4. 자기자본 운용 관점에서

직접 투자를 하는 분들에게는, AI 기반 리서치·추천 도구를 사용할 때 도구 데이터의 출처와 무결성을 반드시 확인하시길 권합니다. 하나의 데이터 소스에만 의존하지 말고, 여러 독립적인 소스에서 교차 검증하는 습관이 중요합니다.

---

더 알아보기

• 📄 원문 논문 (arXiv:2603.12564)
• 5차원 점수: Novelty 74 / Applicability 78 / Rigor 76 / Reproducibility 78 / Insight 81 → Composite 77.3 (A등급)
• 분과: C4 (LLM 기반 트레이딩 에이전트)