Backtest VS реала

Давно уже хотел начать эту тему по нескольким причинам.

Во-первых, надоела упертость продавцов "охренительных" по прибыльности экспертов, ссылающиеся на результаты бектестов, пытающихся выдать результаты прогона тестера в каком-то периоде за реальную торговлю советника за этот же период.
Во-вторых, определить для себя и для тех, кому эта тема интересна: что есть бектест, можно ли ему верить, если можно верить, то в каких случаях.

Итак, что имется для данного тестирования:
1) Неплохой ВПС с высоким аптаймом;
2) Несколько экспертов, которые будут протестированы в течение определенного периода, с последующим опубликованием результатов, промежуточных или нарастающим итогом (думаю, что это будет каждая суббота или воскресенье)

На данный момент, это:
1) Советник ForexHacked (Ознакомиться c информацией об этом советнике можно здесь)
2) Советник ForexGrowthBot (Ознакомиться c информацией об этом советнике здесь)
3) Советник Ilan_RSI модифицированный (с прописанными стоп-лосс приказами)

Начало тестирования: понедельник 30 мая, 00:00.

Пожелания, замечания, вопросы приветствуются

З.Ы. Эта тема уже частично подымалась BVN "Сомневаюсь, начать ли публичное тестирование", но завершилась, почти не начавшись

Unisoldier какой депо будет на счёте? в каких дц планируете запускать советников?

Я полагаю, 3000 или 5000 демо USD.
Почему? Элементарно просто
Реальный счет, естественно, на основании этих исследований может быть открыт для пробы в центах (для экстремалов можно сразу в USD). От суммы 10 USD (1000 cents) я отказываюсь по причине малой просадочной способной (все эти "совы" имеют минимальный для открытия лот - 0.1).
Доводы за 3000 USD (3000 cents): 30 USD - довольно таки небольшой депозит
Доводы за 5000 USD (5000 cents): 50 USD - выше "просадочная" способность

Вопрос к уважаемому Unisoldier
На данный момент, это:
1) Советник ForexHacked (Ознакомиться c информацией об этом советнике можно здесь)
2) Советник ForexGrowBoth (Ознакомиться c информацией об этом советнике здесь)
3) Советник Ilan_RSI модифицированный (с прописанными стоп-лосс приказами)

1 и 2 сову Вы в тестере гоняли, за последние 3-5 мес 2011?
почему спрашиваю: на данных сов я натыкался еще 2 недели назад, в тестере стратегий получил не стабильные результаты(то бишь слив депо, через 1-3 мес, правда и сет у меня стоял агрессивный, лот=5 % от депо)

Может у Вас более обнадеживающие результаты?

П.С. надеюсь тест сов на демо счете будете Вы проводить?
загляните и ко мне в тему там тест сов я начал с мая 2011

Да, гонял (этому будет посвящен отдельный пост).
Ессесено, демо

Подождем 30 мая

Unisoldier, какие-либо результаты озвучить можете?

По нетехническим причинам полноценно запустить прогон 30.05 не удалось. Но кое-что все-таки получилось…
Начну по порядку с самого начала. Наверно, каждый трейдер ищет советник (или стратегию), которые работали идеально всегда и везде, или просто "грааль". Могу сказать (по большому секрету) - такой грааль очень, очень трудно найти (на всякий случай, не буду это утверждать, что это невозможно на 100%). Но подобрать советник, которые при сочетании определенных рыночных условий и настроек параметров самого советника, который будет приносить некоторую прибыль (естественно с некоторыми просадками - куда же без них), думаю, что возможно. Итак,к потенциальному инвестору, начитавшиемуся охренительную гору форумов о заоблачной прибыльности "экса", попадает в руки тот самый "грааль". Может где-нибудь скачал (и наверно крякнутый), а может не пожалел и несколько десятков или сотен долларов. Конечно, руки ну прямо уж чешутся прикрутить "сову" к счету и готовить рюкзак для обещанной прибыли, но некотрая доля скептицизма все-таки присутствует: а что, если это все брехня, а вдруг это не "грааль", а очередной сливатор? И вот этот момент он вспоминает, что в торговом терминале МТ4 есть чудесная опция "Тестер стратегий". И начинаются долгие минуты, часы, а, может быть, и дни подбора оптимальных параметров для совы. Будущий трейдер узнает или вспоминает много интересных новых слов, как "оптимизация", "бектест", "форвардтест", изучает кривые потенциальной прибыльности советника, копается в сводной таблице результатов прогона. Итак, советник работает, параметры найдены (или как часто бывает, просто подогнаны под определенные условия). Прикручивает МТС к счету и ждет в предвкушение. А что затем, нетрудно догадаться. Кривая баланса почему-то вверх не стремится, а скорее начианает двигаться в противоположенном направлении. И тут начинают всплывать в голове мысли:"Опять дер..о подсунули", нужен уже не рюкзак, а валидол. Наверно, это картина, знакомая всем. Почему же так происходит? Самое главное, здесь я ничего нового не скажу.
Положительные результаты работы в советника в прошлом не гарантируют аналогичную результативность в дальнейнешем
Но, не все так плохо. Если советник был написан людьми, которые знают Форекс не понаслышке, то он МОЖЕТ БЫТЬ не так уж плох и может давать прибыль. Здесь главное совпадение 2-х параметров: удобные для эксперта паттерны графиков (проще говоря, рисунки) котировок данной валютной пары на выбранном ТФ и собственно входные параметры советника. Ну, первый параметр от трейдера не зависит, а второй параметр берется по результам оптимизации тестера стратегий.
Здесь небольшое отступление для начинающих трейдеров. Чтобы получить 90% качество прогона достаточно перед запуском тестера в МТ4 зайти в меню «Сервис» и «Архив котировок», выбрать необходимую пару и нажать загрузить «Загрузить». После загрузки еще раз выбрать эту пару, нажать «Загрузить». Должно появится окошко с надписью «Нет новых данных для символа <…>. Пересчитать все таймфреймы?». Нажимаем «да», и получаем приемлемое качество оптимизации. Для тех, кто хочет получить 99% качество моделирования, надо будет немного попотеть, но в любом случае, этот алгоритм хорошо описан здесь.
А теперь, самое интересное. Вот результаты прогона одного советника на демо счету в период 15.05 - 20.05 и соответвенно бектесты с 90% и 99% качеством моделирования.

Что можно сказать ПРЕДВАРИТЕЛЬНО по качеству бектестов? 90%-ный бектест ошибся с профитом на +19%, 99%-ный бектест ошибся с прибылью на +33%, не угадали количество открытых ордеров на +11 и +18 соотвественно. На первый взгляд, даже 90%-ный бектест выглядил точнее. Но если присмотреться на график точки просадок 1,2,3,4 угаданы более-менее нормально на 99%-ном бектесте, 3-я точка едва видна, а 4-я - отсутствует на 90%-ном бектесте. А вообще-то график изменения баланса и там, и там довольно-таки хорошо повторяет реальный тест.
А это означает на данный момент только одно: тестеру стратегий в МТ4 можно доверять, но с некоторыми оговорками. Насколько можно доверять? Я думаю, дальнейшие результаты тестов нам это покажут.

Илан для реала предлагать несерьёзно! А гроун бот в последнее время показывает отвратительные результаты торговли.
Очень много продаваемых советников тестируются на демо счетах. И очень много этих советников не будут так работать на реале. Одни будут показывать на порядок меньше профита, а другие просто сливать депозит. Про отчёты с тестера вообще нечего говорить. Это балалайка.

Пока ничего не скажу про все моды Илана, знаю только 1 (один) мод, который на демке слился в ноль, у остальных были большие просадки . Запускаю мегатест экспертов, он объективно покажет, на что Иланы способны, и не только они.

Unisoldier, спасибо вам за проведенное столь интересное исследование!
Да, ему можно доверять, но оговорок очень много...
Многие стратегии не могут полноценно выполняться в режиме тестирования, некоторые индикаторы показывают неверные данные (обычно, если это связано с данными с других ТФ).
Ну, и верно было замечено, что точность котировок сильно влияет на результаты.
Но, для оценки общей тенденции работы советника, теста может быть достаточно... т. е. проверив на тестере, можно решить для себя, стоит ли тратить время на форвард тесты данного советника.

PS: Перенес тему в более подходящий раздел.