[퀀트] 퀀트 전략 개발 시 주의해야 할 점과 강건성 테스트(robustness test)

이번 포스팅에서는 아래의 내용을 다룹니다.

1. 퀀트 전략을 개발할 때 주의해야 할 점

2. 퀀트 전략이 얼마나 유효한지를 검증하는 강건성 테스트 (roubstness test)

현재 사용 중인 퀀트 전략의 알파가 고갈될 것을 대비해서 새로운 전략들을 개발하고 있다.

전략 검증용으로 백테스트를 많이 하다 보면 놀라운 수익률을 접하게 된다.

예를 들어 이번에 시험 삼아 간단한 로직으로 소형 가치주 매수 전략을 만들고 테스트해봤는데 13년 수익률

6,316%, 연평균 수익률(CAGR)이 무려 37.45%가 나왔다.

CAGR 37%만 해도 월가의 영웅 피터 린치의 마젤란 펀드(CAGR 29%)를 압도하는 놀라운 수익률이다.

CAGR 50%를 넘긴 전략도 있는데 따로 캡쳐하진 않았다.

그럼 이제 나도 부자가 되는 건가? 행복회로 풀가동 가능?

아쉽지만 완전히 틀렸다.

부자 되는 게 이렇게 쉽다면 개나 소나 다 부자가 됐을거다.

백테스트는 어디까지나 과거의 결과이지 미래를 결코 보장하지 않는다.

높은 수익률을 세팅하고 행복 회로를 돌리는 도구가 아니라 전략의 논리를 검증하는 도구로 사용해야 한다.

퀀트 대가들의 말에 따르면 초보자들이 퀀트 전략을 개발할 때 가장 많이 하는 실수는 수익률을 향상시킬 목적으로 변수(factor)들을 과하게 적용하는 것이다.

수익률만 보고 전략을 개발하면 연평균 수익률 100%도 쉽게 세팅할 수 있다.

왜? 정답지를 보고 문제를 푸는 것과 같기 때문이다.

이렇게 만든 전략은전형적인 과 최적화(overfitting)의 오류를 담고 있기 때문에 쓰레기일 확률이 높다.

실전에선 전혀 통하지 않으며 지수를 이기기도 힘들다.

내가 DAA나 VAA처럼 백테스트 성과가 좋은 동적 자산 배분보다 그냥 단순한 정적 자산 배분(ex : 올웨더)를 선호하는 것도 이와 같은 이유다.

퀀트 전략을 만들 때는 복잡한 factor를 최대한 단순하게 만들어야 한다.

전략이 단순한 factor를 활용하면서도 여러 상황, 조건 등에서 변함없이 잘 동작한다면 이 전략은 강건(robust)하다고 볼 수 있다.

이렇듯 전략이 다양한 요인과 상황에서도 잘 동작하는지 테스트하는 것을 강건성 테스트 (robustness test)라고 한다.

이를테면 A라는 투자 전략을 개발했는데 한국에서 잘 동작한다면?

흥분해서 바로 돈을 넣을 것이 아니라 아래의 것들도 함께 검증해봐야 할 것이다.

1. 미국, 일본 등 다른 나라에서도 통하는 전략인지?

2. 주식뿐 아니라 다른 자산 군 (금, 원자재 등)에서는 어떤지?

3. 전략의 factor에 변경이 가해졌을 때 전략의 성과가 얼마나 크게 달라지는지?

위는 이해를 돕기 위해 간단한 예시를 든 것이고, 전진분석(고정식, 회전식), out of sample test, 몬테카를로 시뮬레이션 등 정말 다양한 robustness test들이 있다.

그럼 이런 테스트를 전부 통과하면 그 전략은 완벽하다고 할 수 있을까?

안타깝지만 이번에도 답은 '아니오'이다.

백테스트의 과 최적화 위험성을 피하기 위해 위와 같은 추가적인 검증들을 거치지만, 엄밀히 따져보면 이런 테스트 또한 과거의 데이터에 기반을 두었기 때문에 미래에서 똑같이 동작할 거라는 보장은 하지 못한다.

즉, robustness test는 후진 전략을 걸러내는 일종의 검증 절차로 보면 되겠다.

결국 완전무오함을 검증할 수도 없으면 이런 검증이 의미가 있나 싶겠지만, 어차피 투자의 세계에서 완벽과 절대란 없다.

우리보다 절대적으로 똑똑한 시장에서 포트폴리오를 유지하는 것은 결국 개인의 깊은 사고와 신념에 달려있는데 이를 키우는 것에 robustness test가 도움이 될 거라 믿는다.

Money mind