연복리 21%인데 왜 탈락인가 — 국내 백테스트 판정의 세 관문

국내 백테스트 화면(/screener/backtest)의 판정 표를 보면 연복리 21%를 낸 전략이 '탈락'으로 적혀 있습니다. 코스피200이 같은 기간 18%인데도 그렇습니다. 오늘 두 가지 질문을 받았습니다. 탈락 기준이 무엇이냐, 그리고 그 전략은 왜 떨어졌느냐. 화면 설명만으로는 부족했던 것 같아 기록으로 남깁니다.

판정은 세 관문을 차례로 지납니다

화면의 '통과·탈락'은 사람이 고르는 것이 아니라 결과 파일을 만드는 코드가 매깁니다. 세 관문을 순서대로 검사하고, 처음 걸리는 관문이 탈락 사유로 적힙니다.

첫째, 벤치마크 전승입니다. 코스피200, 코스닥150, 코스피 시가총액 상위 10종목, 코스닥 시가총액 상위 10종목 네 가지에 대해, 전략과 겹치는 기간의 연복리 차이가 모두 0보다 커야 합니다. 하나라도 같거나 낮으면 '벤치마크 미달'입니다. 2016년부터 돌린 234개 변형 중 216개가 여기서 떨어집니다. 잠정실적 공시를 보고 사는 규칙 대부분은 코스피200 하나를 넘는 것조차 쉽지 않았습니다.

둘째, 비용 스트레스입니다. 편도 0.15%로 잡은 거래비용을 두 배인 0.30%로 올려 다시 돌린 연복리를 기록합니다. 솔직히 말하면 지금 이 관문은 값이 계산돼 있는지만 확인하는 느슨한 조건이라, 이 관문에서 떨어진 변형은 없습니다. 비용 두 배에서의 수치는 성적표 열에 그대로 있어 읽는 분이 직접 판단하실 수 있게 두었습니다.

셋째, 고원 검증입니다. 이것이 오늘 질문의 핵심입니다. 같은 가족(시즌형 또는 이벤트형), 같은 점수 기준에서 파라미터 하나만 다른 변형들을 '이웃'으로 모읍니다. 종목 수, 시장, 흑자 필터, 임계값, 보유일, 최대 보유 종목 수 중 하나만 바뀐 것들입니다. 그 이웃 가운데 절반 이상이 코스피200을 이겨야 통과이고, 못 미치면 '고립 봉우리'로 적습니다. 어떤 조합 하나만 유독 좋고 옆의 조합들은 다 나쁘다면, 그 조합의 성적은 규칙의 힘이 아니라 표본에 맞춘 우연일 가능성이 크다고 보는 것입니다. 벤치마크 네 곳을 다 이기고도 이 관문에서 떨어진 변형이 14개 있습니다.

세 관문을 모두 넘은 것은 234개 중 4개이고 전부 코스닥에서 공시 직후 시장반응이 컸던 종목을 사는 계열입니다. 통과한 것 중 샤프가 가장 높은 것을 대표로 세우고, 통과가 하나도 없으면 대표 자리를 비웁니다.

연복리 21%가 떨어진 이유

문제의 변형은 '시즌 매출 YoY Top10, 코스피, 흑자만'입니다. 분기말 45일 뒤에 그 분기 잠정실적 공시 가운데 매출 증가율이 높은 코스피 종목 열 개를 동일 비중으로 사고, 다음 시즌에 전부 교체하는 규칙입니다. 연복리 21.0%, 최대 낙폭 -48%, 샤프 0.88. 코스피200을 2.6%포인트, 코스닥150을 17.6%포인트 앞섰고 시가총액 상위 10종목 바스켓도 둘 다 이겼습니다. 비용을 두 배로 올려도 20.0%가 남습니다. 첫째와 둘째 관문은 통과했습니다.

셋째 관문에서 이웃 다섯 개를 보면 이렇습니다.

다섯 중 둘만 코스피200을 이겼습니다. 기준은 셋 이상이라 하나가 모자라 탈락입니다.

표를 읽으면 두 가지가 보입니다. 코스피 안에서는 규칙이 꽤 견고합니다. 종목 수를 바꾸거나 흑자 필터를 떼도 17~21% 사이에 머물고, Top5만 0.7%포인트 차이로 아슬아슬하게 못 이깁니다. 반면 시장을 바꾸면 무너집니다. 같은 규칙을 코스피와 코스닥 전체에 적용하면 13.7%, 코스닥만 대상으로 하면 7.9%입니다. 즉 이 변형의 성적은 '매출이 많이 늘어난 회사를 산다'는 규칙보다 '코스피 종목이었다'는 사실에 상당 부분 기대고 있습니다.

고원 검증은 시장 축을 다른 축과 똑같이 취급합니다. 그래서 코스피 한정 변형은 이웃 다섯 중 둘(전체, 코스닥)이 구조적으로 불리하고, 남은 셋 중 하나만 어긋나도 떨어지는 처지가 됩니다. 이 변형에게 다소 가혹한 기준인 것은 사실입니다.

그래도 탈락으로 둔 이유

기준을 결과에 맞춰 고치면 그것이 곧 사후 선택입니다. 234개를 같은 표본에서 돌려 놓고 마음에 드는 것이 떨어질 때마다 규칙을 손보면, 통과 목록은 검증이 아니라 취향이 됩니다.

내용으로 봐도 이 변형은 확신하기 어려운 자리에 있습니다. 코스피200 대비 초과분이 2.6%포인트로 얇고, 최대 낙폭은 -48%로 코스피200의 -41%보다 깊습니다. 기간을 반으로 나누면 2020년까지 14.6%, 2021년부터 26.3%로 후반에 쏠려 있습니다. 표본이 조금만 달라져도 코스피200 아래로 내려갈 수 있는 위치입니다. '코스피에서는 매출 증가율 상위가 코스피200을 살짝 웃돈다, 다만 확신할 만큼은 아니다'가 이 행이 말해 주는 전부이고, 그래서 지웠던 코스피 행들을 판정 표에 다시 올려 두었습니다. 떨어진 것도 왜 떨어졌는지 보여야 표가 정직해집니다.

한 가지 손본 것이 있습니다. 판정 표가 벤치마크 전승만 따로 계산해 이 변형을 '통과'로 보여주고 있었습니다. 성적표와 같은 세 관문을 쓰도록 고치고 탈락 사유를 판정 아래 작게 적었습니다. 같은 화면 안에서 판정이 둘이면 어느 쪽도 믿을 수 없기 때문입니다.

이 글의 수치는 2026년 9월 24일 산출 기준이며 잠정실적 공시 20,736건, 종목 1,125개, 시즌 42개를 대상으로 합니다. 특정 규칙을 권하는 투자 조언이 아니라, 왜 좋은 숫자가 통과하지 못하는지를 기록한 것입니다.