過剰最適化の9つの型：
症状と見抜き方

9つの型の一覧

9つの型は、「どこで結果を見て、何を過去に合わせたか」で分けています。型1〜4は結果を見て選んだもの、型5・6は計算の前提が未来や現実とずれているもの、型7・8は見る側・作る側の目が偏るもの、型9は運用を始めた後に起きるものです。 表の「症状」は、その型を疑うきっかけになる見え方です。症状に当てはまったら、同じ行の「見抜く検査」を行い、詳しいやり方は右端の回で確認してください。

以前「検証とトレード日誌」コースで紹介した過剰最適化の4つの兆候も、この表の中に入ります。

• ルールの条件が多い：型2（条件の後付け）の症状です。
• 特定の期間だけ勝っている：型3（期間の選り好み）の症状です。相場の流れに乗っただけの場合もあり、比較対象で確かめます。
• パラメータを少し変えると成績が崩れる：型1（パラメータの最適化）の症状です。ただし、少し変えても崩れない「台地」でも安心はできません（後述）。
• 成績が出来すぎている：特定の型ではなく、すべての型の入口です。特に型1・5・6・7を先に疑います。

2人を9つの型で並べる（＋高頻度スキャルEAの例）

このコースの2人（および比較検証用の高頻度スキャルEA）が、どの型に当てはまり、どうなったかを並べます。

なお、このスキャルEAの実験（単発記事参照）は、検証者がその時点で2023年以降の相場を見ていたため、ルールを買いと売りで対称にし、39回のうちの割合を客観的な指標とし、本文で取り上げる回を結果の前に固定しています（第9回）。

型1・2：パラメータの最適化と条件の後付け

型1：パラメータの最適化

最も知られている型です。移動平均の本数、損切りの幅、時間帯などの組み合わせをたくさん試し、成績が最も良いものを選びます。 問題は、最良の成績に「たくさん試した中の一番当たり」という偶然の上ぶれが乗ることです。第2回では、値動きに規則がまったくない相場でも、3,456通りから選んだ最良案が中央値で +3,866 pips になりました。

Aさんは57,600通りの中から、探索期間（2005〜2016年）の総pipsが最大の案を選びました。上ぶれの大きさは、Aさんのデータでも確かめられます。 「買いのみ」の19,200案を探索期間の1取引の平均で並べると、1位の案は最終テストで1取引 −1.01 pipsで、19,200案の中で下から1.6%の位置に落ちました（Aさんが見ていたのと同じ、シグナル足の終値で約定・コスト0の条件）。 一方、上位1,000案をまとめると +4.11 pipsで、全体の +3.16 pipsを上回りました。広い上位には持続する差がありましたが、頂上を1つ選ぶほど偶然をつかむということです。

型1を見抜く検査は3つあります。

• 近傍の成績：最良の点の周り（パラメータを1段ずらした案）も良いかを見る。1点だけ突き出た「針」なら捨てる（第11回）。ただし、規則のない相場でも周りがそこそこ良い「台地」はできるので、台地であることは必要条件にすぎない。
• 置換検定：値動きの順番を並べ替えた相場で、同じ最適化を最初からやり直し、本物の最良がその中に埋もれるかを見る（第12回）。Aさんの手順では p＝0.155 で、偶然と区別できなかった。
• DSR：試した数を考えに入れて Sharpe を割り引く（第14回）。Aさんが報告した探索期間の成績は、N＝57,662 で DSR 0.42（合格は0.95以上）。

型2：条件の後付け

最適化の後で、負けた日を眺めて「この曜日は外す」「この指標が高いときだけ入る」と条件を足していく型です。1つ足すたびに、探索期間の特定の日に合わせる自由が増えます。 Aさんは、グリッドの最良案に曜日・月・EMA・RSIのフィルタを試し、総pipsでは1つも採用にならなかったのを見て、物差しを PF に替えました。その結果、金曜除外・5月除外・RSI14＞55 の3つが採用され、探索期間の取引は1,115件から297件に減り、PF は 1.36 から 2.02 に上がりました（詳しくは第3回）。

この型の症状は、例外の多さと1条件あたりの件数の少なさです。Aさんの取引を月×曜日の60マスに分けると、1マスは中央値19件しかありませんでした。20件前後の平均の差は、偶然でも簡単に出ます。

型2には、条件を通った日から無作為に選ぶ比較が効きます。同じ時刻・同じ決済ルールで、無作為に選んだ日に買うだけの比較対象を作り、Aさんの報告と同じ条件で比べました。

• 全部の日から無作為に選んで買う：探索期間 +1.63 pips、検証期間（2017〜2022年）+0.75 pips。
• フィルタを通った日だけから無作為に選んで買う：探索期間 +2.57 pips、検証期間 +0.79 pips。

探索期間では、フィルタを通った日を選ぶだけで成績が良く見えます。ところが検証期間では、フィルタを通った日を選んでも、全部の日から選んだときとほとんど変わりませんでした。 フィルタが捉えていたのは、探索期間の中だけの偶然だったと読めます。比較対象の作り方は第10回で扱います。

型3：期間・通貨ペア・方向の選り好み

どの期間で試すか、どの通貨ペアを使うか、買いと売りのどちらを取るか。これらを結果を見て選ぶ型です。最適化ツールの設定画面には出てこないので、試行として数え忘れやすいつまみです（第3回）。

Aさんの探索期間の上位の案は、すべて「買いのみ」でした。フィルタ込みの最終案で方向だけを変えると、買いのみは1取引 +8.65 pips、売りのみは −0.09 pips、両方向は +4.30 pipsです。 東京レンジの時間帯、損切り、利確、決済時刻などの他のつまみを1段ずつ変えても、1取引の平均は +4.1〜+10.0 pipsのプラスのままで、方向だけが決定的でした。Aさんの戦略の利益の多くは、ブレイクの工夫ではなく「円安の時期にドル円を買ったこと」から来ていたわけです。 最終テストでも、同じ時刻に無作為な日を選んで買うだけの比較対象との差は、偶然と区別できませんでした（p＝0.174）。

Bさんは、買いと売りを対称に扱うルールを事前に決め、通貨ペアもドル円に固定していました。そのうえで、ルールを変えずにユーロ円・ポンド円へ当てはめた結果を、参考として記録しています。その数字が、この型の怖さをよく示しています。

• 探索期間（2005〜2016年）：ポンド円は1取引 +5.34 pipsで、方向を無作為にした比較対象との差は p＝0.006。3通貨の中で飛び抜けて良く見えた。
• 検証期間（2017〜2022年）：ポンド円は +2.38 pipsで p＝0.33。差は偶然と区別できなくなった。
• 最終テスト期間（2023年〜）：ポンド円は +0.11 pips。

もしBさんが探索期間の結果を見て「このルールはポンド円のほうが効く」と通貨ペアを乗り換えていたら、その後の期間で成績は消えていました。通貨ペアを結果で選ぶことは、パラメータを選ぶのと同じ試行です。 型3には、ルールなしで同じ方向に持つ比較対象（第10回）と、ルールを固定したまま期間や通貨ペアをずらす検査（第16回）が効きます。

型4：検証用データの使い回し

探索に使わなかった検証用のデータで確かめたのに、その結果を見て候補を入れ替え、また確かめる。これを繰り返す型です。 トレードシステム検証の専門家 Timothy Masters は、インタビュー（Better System Trader の動画、02:05〜11:45。英語の自動字幕から要約）で、次のたとえを使っています。

JohnとMaryがそれぞれシステムを作り、2人とも使っていない1年分のデータで試します。この時点では、どちらの成績も将来の偏りのない見積もりです。 ところが「成績が良かったほうを使う」と決めた瞬間に、選ばれたほうの成績は楽観的に偏ります。検証の成績は「実力」と「その期間の運」の足し算なので、良いほうを選ぶと運の良いほうを選ぶことになり、運は続かないからです。 1人で何度も手直しして同じ検証データで試し直すのも、同じことです。Masters は、使い始めた途端に崩れたシステムを「相場が変わった」と説明する人が多いが、本人の経験では相場は思われているより変わらず、多くはこの選び方で説明できる、と述べています。

Aさんは、探索期間の上位12案（同じフィルタ付き）を検証期間で見比べました。Aさんが見ていた条件（シグナル足の終値で約定・コスト0）で、検証期間の成績は +589〜+749 pipsで、最も良かった3位の案に乗り換えています。 12回見て選んだ後の検証期間の成績は、1取引 +3.55 pips（次の足の始値で約定・往復0.4pips）ですが、DSR は 0.002 まで下がりました。検証期間の成績が、もう「未使用のデータでの成績」ではなくなったからです。

公平のために書いておくと、この乗り換えは結果的に悪くありませんでした。同じ条件（シグナル足の終値で約定・コスト0）で最終テストを見ると、乗り換えた案は +982 pipsで、12案の中で1位でした（12案の平均は +501 pips）。 使い回しは、必ず悪い案を選ばせるわけではありません。問題は、選んだ時点では、それが実力か運かを見分ける手段がもう残っていないことです。Aさんがこの結果を知ることができたのは、手を付けていない最終テスト期間が別に残っていたからです。

型4の検査は、検証データを何回見て、何を選んだかを記録すること（第8回）と、最後まで一度も見ない最終テスト期間を最初に分けておくこと（第7回・第17回）です。 Bさんは最終テスト期間を1回だけ開け、その結果で判定しました。

型5：先読みとデータ漏洩

判断した時点ではまだ知り得なかった情報が、バックテストの計算に紛れ込む型です。先読み（ルックアヘッド）やデータ漏洩（リーク）と呼ばれます。 本人に合わせ込んだ自覚がないまま、未来の答えを少しだけ見て判断していることになります。よくある入り口は次の4つです。

• 確定前の足を使う：足が確定して初めて分かる終値・高値・安値で判断し、同じ足の中で約定させる。シグナル足の終値で約定させるのも、判断に使った価格そのもので売買したことになるので、この仲間。
• 全期間の統計で決めた閾値：「値幅が全期間の上位に入る日だけ取引する」のように、全期間のデータから計算した基準を、その期間の最初の年から使う。2005年の時点では、2016年までの値動きは分からない。
• 夏時間の後付け補正：データの時刻が夏時間でずれていることに後から気づき、補正を当て直す。補正を誤ると、足の時刻が1時間ずれて、まだ確定していない足をシグナルに使ってしまう。
• 学習と検証の境界：学習期間の最後に入った取引が検証期間まで続いているなど、境界をまたいだ情報が学習側に混ざる（第15回、上級はパージングとエンバーゴ）。

第9回で扱う高頻度スキャルEAの例で、1つ目の影響の大きさを見ます。このテスターは、RSI が閾値を超えて確定したシグナル足の終値で約定させていました。取り上げる回（学習2025年）で、コストは入れずに約定だけを次の足の始値に直すと、学習期間の1取引の平均は +0.140 pipsから +0.123 pipsに下がりました。 1回の優位が小さい戦略ほど、このずれは効きます（第9回）。

症状は、勝率が不自然に高いこと、1取引の平均が、その時間の値動きに比べて大きすぎること、そして約定を1本遅らせただけで成績が大きく落ちることです。検査もこれに対応します。

1. 約定を次の足の始値にして計算し直す。
2. 閾値や平均などの基準を、その時点までの過去のデータだけで計算し直す。
3. 時刻の規約を目で確かめる。このコースのデータでは、24時間を超える欠損の直前の足が土曜 05:45（夏時間）と 06:45（冬時間）にあり、週末の休みが日本時間の土曜早朝に来ることを確認してから計算を始めた。
4. データの欠損の扱いを、結果を見る前に決める。Bさんは「保有中や決済の足に欠損がある日は見送る」を結果の前に決めた。

型6：コストと約定の楽観

スプレッド0、手数料なし、損切りは指定した価格ちょうどで約定、という口座では起きない前提で成績を計算し、その成績でルールを選ぶ型です。 型5と違って未来の情報は使っていませんが、現実には取れない利益に合わせ込んでいる点で、同じくらい危険です。

代表例が、第9回で扱う高頻度スキャルEAです。5分足の逆張りスキャルを、直近1年で3,456通り最適化し、スプレッド0・シグナル足の終値で約定という条件で最良の案を選びました。 取り上げる回では、テスターの上で学習期間 +1,402 pips、運用期間（2026年1〜6月）も +1,397 pipsと勝ち続けました。ところが次の足の始値で約定し往復0.4 pipsのコストを払う条件では、運用期間は −165 pips、往復1.0 pipsでは −2,434 pipsでした。 テスター上の1取引の平均は +0.14 pipsしかなく、往復0.4 pipsのコストより小さかったのです。

同じ手順を2006年から39回繰り返すと、テスター上では36回が運用期間もプラスでしたが、往復0.4 pipsの条件では31回、往復1.0 pipsでは39回すべてがマイナスでした。 テスターの上だけで「未使用の期間でも勝った」と確かめても、この型は見抜けません。

損切りの約定の楽観は、規則のない相場で見えます。第2回のランダムウォークでは、どのルールも期待値ゼロのはずなのに、全候補の平均が +376 pipsになりました。損切りを指定価格ちょうどで約定させた仮定による、1取引あたり約0.19 pipsの楽観です。

Aさんの報告も、シグナル足の終値で約定・コスト0の条件でした。ただしAさんの戦略は1日1回まで・1取引で数pips以上を狙うものなので、次の足の始値と往復0.4 pipsに直しても、探索期間の1取引の平均は +8.65 から +8.24 pipsへの低下にとどまりました。 型6の効き方は、1取引の平均とコストの大小で決まります。同じ前提の甘さでも、1取引の値幅が小さいスキャルEAには致命的で、1日1回・数十pipsのAさんには小さな差でした。

型6を見抜く検査は次のとおりです（詳しくは第9回、MT5・TradingView・Python での違いは道具箱コース第10回）。

• 1取引の平均と往復コストを並べる：平均がコストと同じくらいなら、コストに耐えない。
• 次の足の始値で約定させ、コストを最初から入れて選ぶ：後から引くのではなく、最適化で比べる成績に入れる。
• 通常・悪化・ストレスの3段階で計算する：このコースではドル円の往復0.4・1.0・2.0 pips。

ただし、コストを入れて選び直しても、型1は残ります。このスキャルEAと同じ39回をコスト込みで選び直すと、39回の運用期間の合計は −23,637 pipsから −931 pipsになり大損は防げましたが、運用期間は21回がマイナスでした。型は重なるので、1つの型を直しても、別の型の検査は別に必要です。

型7：公開成績の生存者バイアス

EA の販売ページ、SNS の成績報告、書籍で紹介される手法。そこに並ぶのは、うまくいったものだけです。 同じように作られて負けたEA、成績が悪くて投稿されなかった手法、途中で消えたアカウントは、表に出てきません。表に出たものだけを見て判断することを生存者バイアスと呼びます（心理の面は認知バイアスで扱いました）。

第2回の実験に当てはめると、この型の大きさが分かります。規則のない相場200本それぞれで3,456通りを試すと、最良案の総pipsは中央値 +3,866 pipsで、一番良かった世界では +8,803 pipsでした。 200人が規則のない相場でそれぞれ最適化し、一番成績の良かった1人だけが販売ページを作ったとしたら、買い手が目にするのは +8,803 pipsの損益曲線です。その裏の199人と、各自が捨てた3,455通りは見えません。

公開された成績は、作った人の試行（第3回で扱った「他人のルールの N」）に加えて、公開するかどうかの選択をもう一段くぐっています。見抜くには、次のことを確かめます。

• 公開後の成績があるか：作った人がまだ見ていなかった期間、つまり公開や販売を始めた後の成績だけが、選択の影響を受けていない。
• 成績の記録が、いつから始まっているか：バックテストや、後から選んだ口座の記録ではなく、公開前から続く1つの記録か。
• 何通り・何人の中から選ばれたか：同じ作者の他のEAや、やめた手法の数を確認する。分からなければ、N は大きいものとして扱う。
• 成績の条件：コスト・約定・期間が書かれているか。書かれていなければ、型5・6も疑う。

型8：裁量の後付け

チャートを見ながら「この形のときは勝てる」とルールを作る型です。自動売買の最適化と違って数字の試行はありませんが、頭の中で何百枚ものチャートを見比べ、印象に残った勝ち場面に合う形を選んでいるので、やっていることは型1・2と同じです。 さらに、結果を知っているチャートでは、「ここで入るのは当然だった」と感じる後知恵バイアスが働きます。

Aさんの開発も、ここから始まっていました。最初にやったのは、2005〜2016年の全期間のチャートを眺め、東京時間の高値を抜けてよく伸びた日を集めることです。 この時点で、ルールの形はすでに「探索期間でよく伸びた日」に寄せられています。その後の57,600通りの探索は、この目で選んだ出発点の上に積み上がっています。 教材や解説のチャートに並ぶ「きれいな勝ち例」も同じで、選ばれた場面だけが載っています（手法を観測できる条件に直す方法はICTの検証で扱いました）。

見抜く検査は、条件に合った場面を、勝ちも負けもすべて数えることと、未来を隠して判断することです。先にルールを書き、バーリプレイで右側を隠して1本ずつ進めながら判断します（バーリプレイ）。 詳しい手順は第5回で扱います。

型9：運用中の再最適化

運用を始めた後、負けが続いたときに「最近の相場に合わせて」パラメータや条件を直す型です。 直した時点で、運用中のデータは新しい学習データに変わります。負けた期間に合うように直したルールは、その期間では良く見えますが、それは型1・2を運用中にもう一度やっているのと同じです。 しかも、直すたびに記録がリセットされるので、ルールが本当に壊れたのか、ただの負けの続きだったのかを、いつまでも判断できなくなります。

Arnott、Harvey、Markowitz の論文「A Backtesting Protocol in the Era of Machine Learning」（Journal of Financial Data Science, 2019）は、バックテストの手順を7つの分類で点検する一覧を示しています。 その第5分類「モデルの動き」には、運用中にモデルをいじらないことが含まれています。

ここで区別したいのは、決めた手順どおりの再最適化と、負けを見てからの手直しです。 第9回の高頻度スキャルEAの実験では「学習1年で最適化し、次の6か月に使う」という手順を最初に固定し、それを39回繰り返しました。手順が固定されていれば、その手順自体をウォークフォワードで検証できます（第15回）。このスキャルEAの場合、その検証が「口座の条件では崩れる」という答えを出しました。 負けを見て、いつ・何を・どう直すかをその場で決める手直しは、そもそも検証のしようがありません。

型9を防ぐには、運用を始める前に停止基準を書くことです。どれだけ負けたら止めるか、何が起きたらルールが壊れたと判断するか、テスターと口座の成績の差をどこまで許すかを決めておきます。 止めた後に直すなら、それは新しい仮説として、新しい試行回数で最初から検証します。Bさんは「保留」の判定のまま、この手順でフォワードテストに進みます（第18回、上級は劣化の監視）。

よくある間違い

「過剰最適化とは、パラメータを最適化しすぎることだ」

パラメータの最適化は型1にすぎません。Aさんの最終案の形を決めたのは、物差しを替えた後の条件の後付け（型2）と、買いのみへの絞り込み（型3）でした。スキャルEAを崩したのは、スプレッド0で選んだこと（型6）です。 最適化ツールを使っていなくても、型3・4・8・9は起きます。

「1つの検査に合格すれば安全」

検査は型ごとに効く範囲が決まっています。近傍が台地でも、規則のない相場でも台地はできます。置換検定に合格しても、コストが入っていなければ型6は残ります。検証データでの成績が良くても、何度も見て選んでいれば型4です。 表の9行それぞれについて、効く検査を1つずつ当てます。

「型を1つ見つけて直せば終わり」

型は重なります。スキャルEAと同じ手順をコスト込みで選び直すと大損は防げましたが、運用期間は39回中21回がマイナスで、型1は残りました。 1つ直したら、残りの型をもう一度点検します。そして、直したこと自体も試行として数えます。

実戦課題：9つの型で自分の検証を点検する

最近検証したルール、または検討中の市販EAを1つ選び、次の順に作業してください。

1. 9行の点検表を作る：この回の一覧表の「型」と「症状」を写し、横に「当てはまる／当てはまらない／分からない」の欄を作ります。
2. 1行ずつ印を付ける：迷ったら「分からない」にします。「分からない」は、当てはまるものとして扱います。
3. 検査を割り当てる：「当てはまる」「分からない」の行ごとに、一覧表の「見抜く検査」から1つ選び、いつ行うかを書きます。
4. 重なりを書く：本レッスンの表のように、自分の戦略が当てはまる型の組み合わせを1行でまとめます。
5. 研究ログに残す：点検表を日付入りで保存し、検査を終えるたびに結果を追記します（トレード日誌の研究ログの形式を使えます）。

やるべきこと／やるべきでないこと

チェックリスト

次の回に進む前に、以下が自分の言葉で説明できるか確認してください。

• 9つの型の名前と、それぞれの症状
• 型1〜4（結果を見て選ぶ）、型5・6（計算の前提のずれ）、型7・8（見る側・作る側の目の偏り）、型9（運用後）の分け方
• Aさん・Bさん、そして高頻度スキャルEAが、それぞれどの型に当てはまり、どうなったか
• 通貨ペアを結果で選ぶと危ない理由（Bさんのポンド円の例）
• 検証データの使い回しが、結果的にうまくいっても問題になる理由
• 先読みの4つの入り口と、約定を1本遅らせる検査の意味
• 型は重なるので、1つの型を直しても他の型の検査が必要なこと

ミニテスト

症状の説明を読んで、当てはまる型を選んでください。不正解なら別の選択肢を選び直せます。正解すると解説が表示されます。