چگونه بک تست واقعی در صنعت مالی انجام می شود و چرا شما آن را اشتباه انجام می دهید! – سیستم های معاملاتی – 29 سپتامبر 2022

قبل از استفاده از هر EA، خواندن این مطلب برای هر معامله گر جدی ضروری است. شما مجبور نیستید محاسبات زیر را انجام دهید، اما مطمئن شوید که مفاهیم زیربنایی را درک می‌کنید زیرا به این ترتیب می‌دانید چه چیزی باید در هر گزارش بک‌آزمایی گنجانده شود، چگونه آنها را به درستی بخوانید و به چه پرچم‌های قرمز توجه کنید. من بسیاری از معامله‌گران را می‌بینم که بر اساس توانایی‌های محدود و حاشیه‌ای ابزار بک‌آزمایش متاتریدر، EAهای گران‌قیمت می‌خرند، اما برای اینکه معامله‌گر موفقی باشید، باید بازی خود را تقویت کنید و از همان روش‌های ارزیابی استفاده کنید که معامله‌گران حرفه‌ای در صنعت بانکداری و صندوق‌های تامینی. انجام دادن.

بیایید با آنچه به نظر من مهم‌ترین عاملی است که باید قبل از بررسی هر معیار دیگری در نظر بگیریم شروع کنیم:

1. تست درون نمونه/خارج از نمونه

مهم است که این مورد را به درستی دریافت کنید، زیرا اینجا جایی است که اکثر معامله گران خود را فریب می دهند. داده های درون نمونه به دو صورت وجود دارند: تیک های مصنوعی ایجاد شده توسط متاتریدر بر اساس عمل قیمت فرضی، و داده های تاریخی ارائه شده توسط کارگزار شما به شما. این رویکرد In-Sample فرض می‌کند که بازارها کاملاً قطعی هستند و ساده‌لوحانه برای مطابقت با مدل شما استفاده می‌شود. اما در واقع این در دراز مدت کار نخواهد کرد. کل این موضوع با این واقعیت پیچیده می شود که داده های تاریخی از کارگزاری به کارگزاری دیگر متفاوت است، زیرا میزان نقدینگی که آنها به آن دسترسی دارند متفاوت است، که به نوبه خود بر عملکرد کلی قیمت تأثیر می گذارد و می تواند نتایج آزمایش بسیار متفاوتی را به شما بدهد. برای پیچیده‌تر کردن اوضاع، اکثر کارگزاری‌های غیر اصلی به تیک‌های قبل از ۲۰۱۷ دسترسی ندارند و بنابراین تیک‌های مصنوعی را در اختیار شما قرار می‌دهند. متأسفانه بک تستر داخلی MT هیچ یک از این عوامل را در نظر نمی گیرد، که اغلب دلیل این است که بسیاری از معامله گران سرمایه خود را در درازمدت از دست می دهند، حتی اگر نتایج بک تست MT امیدوارکننده به نظر می رسید، یا آنها یک احتمال بالقوه را از دست می دهند. EA سودآور صرفاً به این دلیل که بک تستر نتیجه ظاهراً بدی را ارائه داد.

وقتی نمودارهایی از این قبیل را از MT backtesting می بینید، به ویژه محتاط باشید:

چنین خطوط تعادل تقریباً مستقیم بسیار فریبنده هستند زیرا پارامترهای ورودی یک EA را می توان به طور عمدی برنامه ریزی کرد تا چنین نتیجه ای را به نمایش بگذارد، اما به محض اینکه EA برای مدتی خوب در محیط واقعی بازار اجرا شود، با یک وضعیت بد مواجه خواهید شد. بیداری یک برنامه نویس ناصادق می تواند به راحتی یک EA با چنین خروجی های خارق العاده ای ایجاد کند، به سادگی با استخراج تیک ها از فایل های csv، آنها را در چندین “دسته های عمل قیمت” سازماندهی کند، مقادیر متوسط ​​آن دسته ها را محاسبه کند و EA خود را به گونه ای کدگذاری کنید که معاملات را بر اساس آن خروجی ها اجرا و بسته کند. چنین خطوط تعادل کامل و بدون واریسی به معنای واقعی کلمه در بازارهای واقعی غیرممکن است زیرا این فرض را بر این می‌گذارد که الگوی بازار فعلی با الگوهای آینده یکسان می‌ماند و بنابراین ورودی هرگز تغییر نمی‌کند.

در مورد آن به این صورت فکر کنید: کجا تا به حال خطوط تراز زنده مانند اینها را در سبد هر معامله گر دیده اید، چه خرده فروشی و چه نهادی؟ در تمام سال‌هایی که در صنعت بانکداری سرمایه‌گذاری و صندوق‌های تامینی کار می‌کنم، حتی یک مورد را ندیده‌ام که هیچ معامله‌گری، هر چقدر هم حرفه‌ای و بصیر باشد، بتواند چنین نتایجی را به مشتریان خود یا خودش ارائه دهد. . من شما را به چالش می‌کشم که فقط یک نمونه کار زنده با چنین خط کاملی برای من پیدا کنید و به شما قول می‌دهم تمام سرمایه‌ام را در آن بگذارم و روزی با آن تماس بگیرم. این شیرینی چشم است، اما ربطی به واقعیت ندارد.

خطوط موجودی/حقوقی در دنیای واقعی بیشتر شبیه این هستند:

همانطور که در مثال بالا می بینید، سرمایه سرمایه گذاری شده فراز و نشیب هایی را تجربه می کند، اما به طور کلی در حال افزایش است. بسیار ارگانیک‌تر و طبیعی‌تر به نظر می‌رسد و به عملکرد معاملاتی واقعی صندوق‌های نهادی نزدیک‌تر است. چرا اینطور است، تو پرسیدی؟ خوب، این اتفاق می افتد زیرا حتی استراتژی ای که معامله گران (حرفه ای) استفاده می کنند، باید با شرایط متغیر بازار سازگار شود مهم نیست که استراتژی چقدر قابل اعتماد است (و انطباق با آن زمان می برد)، اما تا آن زمان ممکن است خط تعادل با برخی سکته ها مواجه شود.

احتمالاً در این مرحله از خود می‌پرسید که استفاده واقعی از بک تستر MT چیست، اگر بتوان نتایج را به این راحتی دستکاری کرد؟

برای پاسخ به این سوال به ساده‌ترین روش: تیک‌های متاتریدر و همه بروکرهای غیر اصلی که استفاده می‌کنید، مجموعه داده‌های In-Sample را در اختیار شما قرار می‌دهند تا بتوانید 1) آزمایش کنید آیا EA اشکالات احتمالی در تجارت را نشان می‌دهد یا خیر. اجرا شده است یا ناسازگاری با خود برنامه دارد (لاگ های خطا را بررسی کنید) و 2) آزمایش کنید که آیا EA واقعاً معاملات را بر اساس ورودی های نشانگر و استراتژی کلی EA انجام می دهد (حالت تصویری را روشن کنید). از این نظر در واقع ابزار مفیدی است که MetaQuotes ارائه می‌کند و قدرت آن در اینجاست.

اما اگر می‌خواهید سودآوری واقعی EA را آزمایش کنید، نمی‌توانید دور بزنید خارج از نمونه تست (OOS). زمانی که در بخش بازرگانی یک بانک سرمایه‌گذاری کار می‌کردم، مدیران ناظر من تا زمانی که نتایج آزمایش OOS را نبینند، هرگز یک ربات معاملاتی جدید و آینده را تأیید نکردند، و دلیل خوبی هم داشت: مبالغ هنگفتی از وجوه مشتری در خطر بود و هنوز هم وجود دارد. اگر می خواهید مانند پول هوشمند باشید، باید مانند آنها فکر کنید و رفتار کنید.

این ما را به این سؤال سوق می دهد که OOS در واقع چگونه کار می کند و چه چیزی باعث می شود آن را در بک تست بسیار قابل اعتمادتر کند. همانطور که قبلاً آموختید، In-Sample به داده های مصنوعی/تاریخی قطعی اشاره دارد که قبلاً دارید، اما مشکل تکیه بر آن این است که عملکرد گذشته، به هیچ شکل یا شکلی، عملکرد آینده را نشان نمی دهد، به خصوص زمانی که داده های مصنوعی باشد. . بنابراین، چگونه این مشکل را به صورت ریاضی حل کنیم؟ ساده، با استفاده از آمار محاسباتی تصادفی. به همان شیوه ای که بازارها بر اساس عدم قطعیت قیمت در آینده هستند، در حالی که بر مجموعه ای از الگوهای تکراری تکیه می کنند، ما آن عدم قطعیت را در روش بک تست، با گرفتن بخشی از داده های آن الگوهای گذشته اجرا می کنیم و اجازه می دهیم از طریق الگوریتمی اجرا شود که تصادفی می کند. آن نمونه ها به منظور به دست آوردن نتایجی که به واقعیت واقعی بسیار نزدیک تر است نسبت به مجموعه داده های درون نمونه. سپس EA معاملات را بر اساس آن نمونه تصادفی انجام می دهد که در آن شما می توانید عملکرد واقعی آن را در بازارها مشاهده کنید. بنابراین، بک‌آزمایش به نمایش بسیار دقیق‌تری از عملکرد زنده EA مورد بحث تبدیل می‌شود.

به نظر من، هر فرد عاقل مالی که تجارت را به عنوان یک حرفه جدی می‌پذیرد، باید قبل از قضاوت نهایی درباره سودآوری فرضی خود EA، ابتدا به نتایج OOS نگاه کند.

2. شبیه سازی مونت کارلو (MCS)

MCS مستقیماً با OOS ارتباط دارد. این توسط جان فون نویمان و استانیسلاو اولام در طول جنگ جهانی دوم برای بهبود تصمیم گیری در شرایط نامشخص اختراع شد. این نام از یک شهر کازینویی معروف به نام موناکو گرفته شد، زیرا عنصر شانس هسته اصلی رویکرد مدل‌سازی است، شبیه به بازی رولت. امروزه به طور گسترده توسط بسیاری از کازینوها برای بهبود شانس برنده شدن خود در برابر بازیکنان استفاده می شود.

MCS نتایج یک تست OOS را در یک نمودار اعمال می کند، که در آن هر افزایش تصادفی به صورت “اطمینان” در درصد بیان می شود (که در آن اطمینان 100% بازاری را منعکس می کند که بیشترین انحراف را با استراتژی شما دارد). هر سطح اطمینان با یک خط رنگی متفاوت تجسم می شود. هرچه شکاف بین هر یک از این خطوط بیشتر باشد، سیستم پیشنهادی در شرایط دنیای واقعی بدتر عمل خواهد کرد.

مثال بالا یک MCS را با نتایجی نشان می دهد که می تواند فاجعه بار در نظر گرفته شود. بالاترین خطوط در حال افزایش هستند و یک بک تست معمولی بدون MCS نتیجه آزمایشی را به شما نشان می دهد که به شما احساس امنیت کاذب می دهد، اما به محض اینکه معامله را از طریق MCS انجام دهید، به صورت بصری خواهید دید که در صورت انحراف بازارها چه اتفاقی می افتد. از استراتژی شما به روشی کم و بیش شدید (که با سطوح اطمینان همانطور که در زیر نشان خواهم داد نشان داده شده است). در مثال بالا، اطمینان تقریباً 50% به ما نتایج ثابتی می دهد (بدون سود قابل توجه) و هر چیزی بالاتر از آن در واقع سرمایه سرمایه گذاری شده شما را از بین می برد و در نهایت حساب شما را منفجر می کند!

شبیه سازی مونت کارلو خوب به این صورت است:

سطح اطمینان “Original” مخفف 0٪ است و همانطور که می بینید، حتی اطمینان 100٪ همچنان نتایج بسیار سودآوری را به شما می دهد. تفاوت در کل سود خالص تنها 12.61٪ در یک محیط بازار است که با غیرقابل پیش بینی کامل مشخص شده است، که استحکام EA را ثابت می کند. یک سیستم مستحکم با درجه سازمانی قرار است اینگونه باشد.

3. شماره کیفیت سیستم

قبل از درک SQN، باید مطمئن شوید که اصول اساسی آن را که نسبت به دست آمده را هدایت می کند، درک کرده اید. به عبارت دیگر شما باید R-expectancy و R-multiple را درک کنید.

را R مخفف ریسک تجاری اولیه شما است و تمام سود و زیان شما باید به آن مربوط باشد. برای مثال، اگر تصمیم دارید 100 دلار ریسک کنید، اما در نهایت 200 دلار از دست بدهید، R-multiple معامله شما -2R است. اگر همان مقدار را در معرض خطر قرار می دهید اما در عوض 500 دلار سود خوبی کسب می کنید، R-multiple شما +5R است. در حالت ایده آل، تلفات شما نباید بیشتر از -1R باشد. اگر بازاری غیر نقدشونده معامله می کنید، لغزش اغلب می تواند بیش از حد انتظار ضرر کنید.

با محاسبه R-ضریب هر معامله، می‌توانید R-expectancy سیستم خود را محاسبه کنید. این میانگین ضربدر R در تمام معاملات در بک‌آست شما است. در زیر یک سیستم فرضی با 5 معامله برای محاسبه انتظار R آورده شده است:

و اکنون شما آماده محاسبه SQN واقعی هستید:

این به شما نسبت بین انتظار R و انحراف استاندارد آن را در جذر تعداد معاملات ضرب می کند. را انتظار سودآوری سیستم شما را اندازه گیری می کند، در حالی که انحراف استاندارد ثبات را اندازه گیری می کند.

اگر R-multiple های منفرد شما به طور نزدیک در اطراف انتظار جمع شده باشند، انحراف معیار شما کم خواهد بود و SQN شما را بهبود می بخشد. به طور مشابه، یک اندازه نمونه بزرگ از بک‌آست، اهمیت آماری معیارهای شما را بهبود می‌بخشد و SQN بالاتری می‌دهد. دکتر تارپ معیارهای زیر را بر اساس حجم نمونه 100 معامله ارائه می دهد:

در اینجا نکته ای وجود دارد که باید به آن توجه کرد: اگرچه دکتر تارپ هر چیزی بالاتر از 7.00 را به عنوان یک سیستم جام مقدس طبقه بندی می کند، این فقط به معنای بالقوه درست است. مهم است که معیارهای دیگر را قبل از قضاوت در مورد سیستم در نظر بگیرید، مانند بازده/کاهش، نسبت شارپ، سود موقعیت بر اساس زمان نگهداری موقعیت و غیره.

4. سود موقعیت بر اساس زمان برگزاری موقعیت

این یکی برای ارزیابی سودآوری یک EA یک الزام مطلق نیست، اما با این وجود بینش منحصربه‌فردی را در مورد زمان تحقق بیشترین سود به شما می‌دهد.

همانطور که از اسکرین شات بالا مشاهده می شود، سودآورترین معاملات با این EA خاص با زمان نگهداری موقعیت بیش از 60 دقیقه اتفاق می افتد. با گذشت زمان، مقدار و دفعات معاملات سودآور کاهش می‌یابد در حالی که زیان‌های احتمالی افزایش می‌یابد، و بیشتر ضررها در مدت زمان نگهداری 300 دقیقه یا 5 ساعت رخ می‌دهند. به عنوان مثال، EA MarketMaster® من این را به عنوان بخشی از نمایه پذیرش خود قبل از ورود به معامله دارد و بنابراین موقعیت خود را به طور متوسط ​​2 ساعت حفظ می کند تا زیان را کاهش دهد. هر EA آینده ای که قرار است منتشر کنم، این ویژگی را به عنوان بخشی از نمایه پذیرش خود خواهد داشت تا خطر را تا حد امکان کاهش دهد و در عین حال بازده احتمالی را به حداکثر برساند. همیشه ثابت شده است که دیدن این نوع اطلاعات قبل از استفاده از EA مفید است، زیرا تصویر کامل و شفاف تری از سودآوری و ریسک EA به شما می دهد.

امیدوارم پست وبلاگ من برای شما مفید و مفید بوده باشد. لطفا نظر بدهید و به من اطلاع دهید که آیا چیزی نیاز به توضیح دارد یا خیر. هر گونه مشارکت نیز استقبال می شود! تجارت مبارک!