2024.03.29 (금)

  • 흐림동두천 1.0℃
  • 흐림강릉 1.3℃
  • 서울 3.2℃
  • 대전 3.3℃
  • 대구 6.8℃
  • 울산 6.6℃
  • 광주 8.3℃
  • 부산 7.7℃
  • 흐림고창 6.7℃
  • 흐림제주 10.7℃
  • 흐림강화 2.2℃
  • 흐림보은 3.2℃
  • 흐림금산 4.4℃
  • 흐림강진군 8.7℃
  • 흐림경주시 6.7℃
  • 흐림거제 8.0℃
기상청 제공

[청년발언대] 금융 분야에서의 강화학습의 활용

 

【 청년일보 】강화 학습은 기계 학습의 한 영역으로써, 에이전트(agent)로 불리는 행동의 주체가 더 높은 보상(reward)을 받기 위해 최적의 행동(action)을 취해나가는 학습 과정이라고 설명할 수 있습니다.

 

이러한 강화 학습은 환경(environment)에 대한 사전지식이 없는 상태로 학습을 진행하며 행동에 대한 환경의 반응에 따라 보상을 받게 되므로 보상을 최대한 많이 받을 수 있도록 학습이 진행된다는 점이 일반적인 타 기계 학습 방법론과의 차이라고 할 수 있습니다.

 

 강화 학습은 이전 칼럼에서 언급한 것과 같은 포트폴리오 최적화뿐만 아니라 금융 분야의 다양한 하위 분야에서 연구되고 있습니다.

 

이러한 적용이 가능한 이유는 금융 분야에서의 금융 상품 거래에서의 행동이 현 시점에서는 측정할 수 없는 장기적인 영향을 미칠 수 있다는 특성을 가지며, 일종의 순차적(sequential) 의사결정 문제로 볼 수 있기 때문입니다.

 

이러한 특성이 작용하는 영역에서 강화 학습은 기존의 지도 학습과 같은 기계 학습 방법론보다는 금융 문제 해결에 더 적합하게 작용할 수 있습니다.

 

언급한 것과 같이 대표적으로 기계 학습이 범용적으로 활용되는 분야인 금융 상품 포트폴리오 최적화 문제에서 목표는 최대화 또는 최소화되어야 하는 특정 요소(예: 기대 수익, 포트폴리오 리스크, 샤프(Sharpe) 비율 등)와 제약 조건을 고려하여 최적의 포트폴리오를 만드는 데에 강화학습이 적용될 수 있습니다.

 

실제로도 심층 Q 학습, 정책 그래디언트, PPO, A3C 등 다양한 유형의 강화 학습 알고리즘이 포트폴리오 최적화 문제에 적용된 연구 사례가 존재합니다.

 

또한 자동화 트레이딩 시스템에서 거래 전략 및 시스템의 최적화와 학습에서 다른 유형의 기계 학습보다 더 나은 가능성을 보일 수 있음이 알려져 있습니다. 일명 강화 학습 트레이딩 봇(trading bot)은 금융 상품 거래이나 주식 시장 환경에서 상호작용을 강화학습을 통해 학습할 수 있습니다.

 

그들은 학습 과정에서 주식시장에 상장된 각 종목의 특성에 따라 학습 전략을 최적화하게 되는데, 이러한 강화학습을 이용한 자동화 트레이딩 시스템은 시간을 절약하고 보다 이성적이고 신속한 판단을 할 수 있다는 장점이 있습니다.

 

이외에도 홈트레이딩시스템(HTS) 등에서 강화 학습 기법을 기반으로 한 추천 시스템이 보다 투자자들에게 적합한 투자 상품을 추천해준다는 연구 결과 또한 존재합니다. 이러한 시스템은 거래하는 동안 사용자에게 올바른 주식을 추천할 수 있도록 도와줍니다.

 

추천 시스템 내에서 강화 학습은 여러 주식의 수익률을 비롯한 여러 기술적 지표에 대한 학습을 통해 여러 가지 가이드라인을 기반으로 투자자에게 주식 또는 펀드의 매수 및 매도에 대한 투자 의사결정에 적절한 결정을 내릴 수 있도록 도와줄 수 있습니다.

 

구체적으로는 HTS에서 사용자 행동을 기반으로 강화 학습을 실시하여 적합한 주식을 추천하여 주식 초보자여도 어떤 종목을 선택할지 결정하는 것이 더 쉬워집니다. ‘StockRecommendSystem’ (2017) 이라는 프로젝트는 이러한 추천 프로젝트의 좋은 예시라고 할 수 있습니다.

 

 2017년, 세계적인 금융회사인 JP 모건과 모건 스탠리는 LOXM을 세상에 내놓았습니다. LOXM은 심층 강화학습을 활용하여 고객의 주문을 최대한 신속하게, 최선의 가격으로 처리하는 AI 프로그램으로, 실제 거래와 시뮬레이션 거래에서 수십억 건의 고객 주문을 학습해서 활용된 바 있습니다.

 

이처럼 향후 금융 시장에서의 강화 학습이 더욱 많이 활용될 가능성이 높고, 금융공학 분야 내에서도 그 입지가 점점 커질 것으로 보입니다.
 

 

 

【 청년서포터즈 5기 최인수 】




청년발언대

더보기


기자수첩

더보기

배너
배너
배너
배너