バックテストを信頼するには何回の取引が必要か

執筆 chwoo · 仮想通貨トレード7年。直近4か月は自動売買ボットを運用。 ·

居心地の悪い実験をひとつ:公正なコインを10回投げてみてください。表が7回出ることはそう珍しくありません。割合でいえば70%です。誰も そのコインが魔法だとは結論しません。ところがトレーダーは、バックテストの取引10回中7回勝った戦略を見て「勝率70%の システムを見つけた」と結論しがちです。サンプル数はバックテストで最も地味な概念でありながら、あなたが検証するものの 大半を静かに無効化する概念です。

小さなサンプルが華々しい成績を生む理由

取引が少ないほど、実力より運が支配します。取引数が少ないほど、純粋な偶然が生み出せる結果の幅は広がり、しかも私たちは たまたま良かった設定にだけ注目するため、小さなサンプル+多くの試行は「純粋なノイズなのに素晴らしく見える発見」を事実上 保証します。出来すぎたバックテストの大半の裏にはこのエンジンがあります:間違った数学ではなく、少ない取引と多くの試行。

勝率推定の誤差のおおまかな感覚:誤差は取引数の平方根に反比例して縮みます。取引10回なら測定勝率の周りに約±15%ポイントの 霧がかかり、100回でも約±5%が残り、数百回になってようやく絵がそれなりに鮮明になります。正確な数値は真の勝率に依存します が、大事なのはルールの形です:ノイズを半分にするには取引が4倍必要

実践の目安

  • 約30回未満: 逸話。面白いが、どちらの証拠としても無価値。
  • 約30〜100回: ヒント。磨いて再検証する価値はあるが、資金を入れる価値はまだない。
  • 数百回、複数の年と相場にまたがる: 推定値が信頼に値し始めます。ただし、その同じデータに合わせて チューニングしていないという前提で。

直近6ヶ月ではなく7年分のデータで検証することが重要な理由、そして下位時間足が自動的に劣るわけではない理由がこれです。 1時間足の戦略は、週足の戦略が20回取引する間に1,000回を生み出せます。週足戦略が検証不能なのではなく、その誤差棒が どれほど広いかを認める誠実さが要る、ということです。

サンプル数は他のすべてと絡み合う

パラメータの組み合わせを何百も試したなら、大きなサンプルでも過剰最適化からは救われません。試行のひとつひとつが偶然に 宝くじを一枚ずつ渡すからです。そして、ひとつの強気相場に集中した大きなサンプルは、実際には数百の独立した賭けではなく、 一本の長い相関した賭けです。このサイトの期間テーブルはまさにそのためにあります:7年/3年/1年の窓に分けた成績は、異なる 時代の取引が互いに一致するかを見せてくれます。

どんなバックテストでも、自分のものでも他人のものでも、信じる前に2つ問うてください:取引は何回か、いくつの異なる相場に またがっているか?答えが「40回、すべて2024年」なら、あなたが見ているのは統計ではなく物語です。アイデアを全期間で走らせ、 取引数にどこまで信じてよいかを教えてもらいましょう。

参考資料

読むのも良いですが、試すのが一番。バイナンス7年分のデータで本物のバックテストを無料で。

バックテスターを試す