バックテストを信頼するには何回の取引が必要か
執筆 chwoo · 仮想通貨トレード7年。直近4か月は自動売買ボットを運用。 ·
居心地の悪い実験をひとつ:公正なコインを10回投げてみてください。表が7回出ることはそう珍しくありません。割合でいえば70%です。誰も そのコインが魔法だとは結論しません。ところがトレーダーは、バックテストの取引10回中7回勝った戦略を見て「勝率70%の システムを見つけた」と結論しがちです。サンプル数はバックテストで最も地味な概念でありながら、あなたが検証するものの 大半を静かに無効化する概念です。
小さなサンプルが華々しい成績を生む理由
取引が少ないほど、実力より運が支配します。取引数が少ないほど、純粋な偶然が生み出せる結果の幅は広がり、しかも私たちは たまたま良かった設定にだけ注目するため、小さなサンプル+多くの試行は「純粋なノイズなのに素晴らしく見える発見」を事実上 保証します。出来すぎたバックテストの大半の裏にはこのエンジンがあります:間違った数学ではなく、少ない取引と多くの試行。
実践の目安
- 約30回未満: 逸話。面白いが、どちらの証拠としても無価値。
- 約30〜100回: ヒント。磨いて再検証する価値はあるが、資金を入れる価値はまだない。
- 数百回、複数の年と相場にまたがる: 推定値が信頼に値し始めます。ただし、その同じデータに合わせて チューニングしていないという前提で。
直近6ヶ月ではなく7年分のデータで検証することが重要な理由、そして下位時間足が自動的に劣るわけではない理由がこれです。 1時間足の戦略は、週足の戦略が20回取引する間に1,000回を生み出せます。週足戦略が検証不能なのではなく、その誤差棒が どれほど広いかを認める誠実さが要る、ということです。
サンプル数は他のすべてと絡み合う
パラメータの組み合わせを何百も試したなら、大きなサンプルでも過剰最適化からは救われません。試行のひとつひとつが偶然に 宝くじを一枚ずつ渡すからです。そして、ひとつの強気相場に集中した大きなサンプルは、実際には数百の独立した賭けではなく、 一本の長い相関した賭けです。このサイトの期間テーブルはまさにそのためにあります:7年/3年/1年の窓に分けた成績は、異なる 時代の取引が互いに一致するかを見せてくれます。
参考資料
- Sample size determination — How wide an estimate stays when the sample is small.
- Overfitting