백테스트를 믿으려면 거래가 몇 번이나 필요할까

글쓴이 chwoo · 코인 매매 7년. 최근 4개월은 자동매매 봇 운용. · 2026-07-20

불편한 실험 하나: 공정한 동전을 열 번 던져 보세요. 앞면이 7번 나오는 일은 꽤 흔합니다. 비율로는 70%죠. 아무도 그 동전이 마법이라고 결론 내리지 않습니다. 그런데 트레이더들은 백테스트 거래 10번 중 7번 이긴 전략을 보고 "승률 70% 시스템을 찾았다"고 결론 내리곤 합니다. 표본 수는 백테스트에서 제일 안 화려한 개념이면서, 당신이 검증할 것들 대부분을 조용히 무효화하는 개념입니다.

작은 표본이 화려한 성적을 만드는 이유

거래가 적을수록 실력보다 운이 지배합니다. 거래 수가 적을수록 순수한 우연이 만들 수 있는 결과의 폭이 넓어지고, 게다가 우리는 우연히 잘 나온 세팅에만 주목하기 때문에, 작은 표본 + 많은 시도는 "순수 노이즈인데 대단해 보이는 발견"을 사실상 보장합니다. 대부분의 너무 좋은 백테스트 뒤에는 이 엔진이 있습니다: 틀린 수학이 아니라, 적은 거래와 많은 시도.

실전 기준

• ~30번 미만: 일화. 흥미롭지만 어느 쪽 증거로도 무가치.
• ~30–100번: 힌트. 다듬어서 재검증할 가치는 있지만 돈을 걸 가치는 아직 없음.
• 수백 번, 여러 해와 장세에 걸쳐: 추정치가 신뢰를 받기 시작합니다. 단, 그 데이터에 맞춰 튜닝하지 않았다는 전제에서.

최근 6개월이 아니라 7년 데이터로 검증하는 게 중요한 이유, 그리고 낮은 타임프레임이 자동으로 나쁜 게 아닌 이유가 이것입니다. 1시간봉 전략은 주봉 전략이 20번 거래할 동안 1,000번을 만들 수 있습니다. 주봉 전략이 검증 불가능하다는 게 아니라, 그 오차 막대가 얼마나 넓은지 인정하는 정직함이 필요하다는 뜻입니다.

표본 수는 다른 모든 것과 얽힌다

파라미터 조합을 수백 개 시도했다면 큰 표본도 과최적화에서 당신을 구하지 못합니다. 시도 하나하나가 우연에게 복권을 한 장씩 더 쥐여주니까요. 그리고 한 상승장에 몰려 있는 큰 표본은 사실 수백 개의 독립된 베팅이 아니라 하나의 길고 상관된 베팅입니다. 이 사이트의 기간 표가 정확히 이걸 위해 존재합니다: 7년/3년/1년 창으로 쪼갠 성과는 서로 다른 시대의 거래들이 서로 동의하는지 보여줍니다.