اورفیتینگ در بکتست اکسپرت: وقتی نمودار عالی، ریسک پنهان دارد
اورفیتینگ در بکتست زمانی رخ می‌دهد که اکسپرت به‌جای یادگیری یک الگوی قابل‌تکرار، بیش از حد با نویز و جزئیات داده‌های گذشته هماهنگ شود. نتیجه میتواند یک منحنی سرمایه بسیار صاف، سودآوری ظاهراً عالی و افت سرمایه کم باشد که در داده‌های جدید یا اجرای واقعی دوام ندارد. بکتست اکسپرت باید فرضیه‌ای برای آزمون فشار، آزمون خارج از نمونه و بررسی حساسیت پارامترها باشد، نه مدرک قطعی عملکرد آینده.
اورفیتینگ در بکتست چیست و چرا برای اکسپرت مهم است؟
اورفیتینگ در بکتست یعنی تنظیم بیش از حد منطق یا پارامترهای اکسپرت روی همان دوره تاریخی که برای ارزیابی استفاده شده است. هرچه تعداد تلاش‌ها، فیلترها و ترکیب‌های پارامتری بیشتر شود، احتمال پیدا شدن یک نتیجه زیبا اما تصادفی هم بیشتر میشود.
در عمل، ریسک اصلی این نیست که بکتست «بد» باشد؛ ریسک این است که بکتست بیش از حد خوب به نظر برسد. منحنی بی‌نوسان، افت سرمایه غیرعادی کم یا سود یکنواخت در همه ماه‌ها باید به‌عنوان علامت نیاز به بررسی بیشتر دیده شود.
بهینهسازی اکسپرت در MT5 چگونه میتواند منحنی شکننده بسازد؟
Strategy Tester در متاتریدر 5 اجازه می‌دهد یک اکسپرت بارها با ترکیب‌های مختلف پارامتر اجرا شود و بهترین ترکیب‌ها انتخاب شوند؛ همین قابلیت برای پژوهش مفید است، اما اگر بدون آزمون خارج از نمونه استفاده شود، میتواند نتیجه‌ای بیش از حد منطبق با گذشته بسازد. راهنمای رسمی متاتریدر توضیح می‌دهد که در بهینهسازی، استراتژی با مجموعه‌های مختلف پارامتر چندین بار اجرا میشود.
مسئله زمانی شدیدتر میشود که کاربر فقط «بهترین پاس» را انتخاب کند. در یک مقاله MQL5 درباره سطح بهینهسازی توضیح داده شده که تمرکز روی یک قله منفرد میتواند توهم ایجاد کند، زیرا یک تغییر کوچک در پارامتر یا وضعیت بازار ممکن است نتیجه را تخریب کند؛ بنابراین باید سطح اطراف پارامترها هم بررسی شود، نه فقط عدد نهایی بهترین پاس.
چک‌لیست عملی تشخیص بکتست اکسپرت بیش‌برازش‌شده
این چک‌لیست برای کاربر اکسپرت MT5 طراحی شده است؛ هدف آن رد یا تأیید سریع یک سیستم نیست، بلکه جدا کردن نتایج قابل‌بررسی از نتایج شکننده است.
- دوره بکتست را به بخش درون‌نمونه و خارج از نمونه تقسیم کنید؛ پارامترها فقط روی بخش اول انتخاب شوند و بخش دوم دست‌نخورده بماند.
- اگر یک تغییر کوچک در پارامترها سود، افت سرمایه یا تعداد معاملات را به‌شدت تغییر می‌دهد، نتیجه را شکننده فرض کنید.
- هزینههای واقعیتر را وارد کنید: اسپرد، کمیسیون، اسلیپیج، سواپ و تأخیر اجرا را نزدیک به شرایط بروکر بررسی کنید.
- فقط به سود خالص نگاه نکنید؛ افت سرمایه، دوره زیر آب، تعداد معاملات، ماههای منفی و توزیع سود و زیان ماهانه را کنار هم بخوانید.
- اگر نتیجه فقط روی یک نماد، یک تایم‌فریم یا یک دوره کوتاه خوب است، آن را فرضیه بدانید، نه شواهد کافی.
- به‌جای انتخاب زیباترین منحنی، ببینید آیا چند محدوده پارامتری نزدیک هم رفتار مشابه و قابل‌قبول دارند یا نه.
وقتی منحنی سرمایه عالی است، کدام ریسک‌ها پنهان می‌مانند؟
منحنی سرمایه صاف میتواند مفید باشد، اما به‌تنهایی کیفیت سیستم را ثابت نمی‌کند. در بکتست اکسپرت باید پرسید این صافی از منطق پایدار آمده یا از انتخاب بیش از حد دقیق گذشته.
| نشانه در بکتست | ریسک پنهان | سؤال کنترلی |
|---|---|---|
| سود بسیار یکنواخت | حذف مصنوعی سناریوهای بد گذشته | آیا در دوره خارج از نمونه هم توزیع سود مشابه است؟ |
| افت سرمایه بسیار کم | تنظیم بیش از حد حد ضرر، فیلتر یا زمان ورود | با هزینه اجرای بدتر چه اتفاقی می‌افتد؟ |
| بهترین نتیجه در یک نقطه پارامتری | قله تصادفی در سطح بهینهسازی | آیا پارامترهای نزدیک هم نتیجه قابل‌قبول دارند؟ |
| تعداد معاملات کم | اتکای زیاد به چند معامله تاریخی | اگر چند معامله بزرگ حذف شود، نتیجه هنوز قابل‌دفاع است؟ |
| بهبود شدید پس از فیلترهای زیاد | افزایش آزادی مدل و خطر انطباق با نویز | هر فیلتر واقعاً فرضیه اقتصادی یا رفتاری دارد؟ |
آزمون خارج از نمونه و واکفوروارد چه چیزی را نشان می‌دهد؟
آزمون خارج از نمونه بررسی میکند اکسپرت پس از انتخاب پارامترها، روی داده‌ای که در فرآیند انتخاب دیده نشده چگونه رفتار میکند. واکفوروارد همین ایده را در چند پنجره زمانی تکرار میکند تا مشخص شود سیستم فقط برای یک بازه تاریخی تنظیم نشده است.
یک مطالعه روی 888 الگوریتم معاملاتی نشان داد که معیارهای رایج بکتست، از جمله شارپ، برای پیش‌بینی عملکرد خارج از نمونه ارزش محدودی داشتند و با افزایش میزان بکتست، شکاف بین عملکرد درون‌نمونه و خارج از نمونه بزرگ‌تر می‌شد؛ این یافته با خطر اورفیتینگ در بکتست سازگار است مطالعه عملکرد خارج از نمونه.
چگونه LFP بکتست را مثل یک فرضیه آماری می‌خواند؟
رویکرد شفاف این است که بکتست نه به‌عنوان وعده سود، بلکه به‌عنوان گزارشی از رفتار تاریخی خوانده شود. در این نگاه، منحنی سرمایه، افت سرمایه، تعداد معاملات، بازارهای مختلف و دورههای زیر آب همگی قطعات یک تصویر ریسک هستند.
برای یک اکسپرت چندبازاری، پایداری فقط از یک نمودار زیبا به دست نمی‌آید؛ باید دید آیا نتیجه در چند بازار، در دورههای مختلف و با هزینههای معاملاتی واقع‌بینانه هنوز قابل توضیح است یا نه. همین نگاه باعث میشود بهینهسازی اکسپرت به فرایند کنترل ریسک تبدیل شود، نه شکار بهترین عدد.
پرسش‌های متداول
- آیا بکتست خیلی خوب همیشه نشانه اورفیتینگ است؟
- نه، اما بکتست خیلی صاف یا بسیار بهینهشده باید با شک بیشتری بررسی شود. اگر نتیجه در آزمون خارج از نمونه، هزینه اجرای بدتر و تغییرات کوچک پارامترها پایدار بماند، اعتماد آماری آن بیشتر میشود.
- بهترین روش کاهش اورفیتینگ در بکتست اکسپرت چیست؟
- ترکیب آزمون خارج از نمونه، واکفوروارد، تحلیل حساسیت پارامترها و وارد کردن هزینههای واقعیتر اجرای معامله معمولاً از تکیه بر یک معیار بهینهسازی بهتر است. خود MT5 هم گزینه Forward را برای بررسی نتایج بهینهسازی روی دوره بعدی ارائه میکند.
- آیا فاکتور سود بالا برای اعتماد به اکسپرت کافی است؟
- خیر. فاکتور سود باید کنار افت سرمایه، تعداد معاملات، ماههای منفی، دورههای زیر آب و پایداری در بازارهای مختلف خوانده شود.
- فرق واکفوروارد با بکتست معمولی چیست؟
- در بکتست معمولی معمولاً یک دوره تاریخی بررسی میشود؛ در واکفوروارد، پارامترها روی یک پنجره انتخاب و روی پنجره بعدی آزمایش میشوند. این کار چند بار تکرار میشود تا وابستگی نتیجه به یک دوره خاص کمتر شود.
- اگر اکسپرت فقط روی یک نماد عالی باشد، مشکل دارد؟
- نه لزوماً، اما تمرکز روی یک نماد میتواند ریسک وابستگی به شرایط خاص همان بازار را بالا ببرد. بهتر است رفتار سیستم در دورههای متفاوت همان نماد و در صورت امکان روی بازارهای مرتبط هم بررسی شود.
این مطلب آموزشی است و مشاوره‌ی سرمایه‌گذاری نیست. همه‌ی عددهای عملکرد حاصل بک‌تست‌اند، نه معامله‌ی واقعی، و تضمینی برای آینده نیستند.