- La prueba externa nos permite ver la realidad de nuestro sistema. Más allá de simples números teóricos, volcados por un sencillo back test, observaremos con más realismo lo que os esperará cuando opere con el mercado real.
- Artículo publicado en Hispatrading 18.
Imaginemos a un trader que después de elaborar un sistema, probarlo contra un determinado histórico de un mercado, y optimizar sus variables, decide ponerlo en real. Es decir, jugarse su dinero. Entre las muchas dudas que le invaden, hay una por encima de todas. ¿Funcionará mi sistema en las próximas semanas o meses? ¿Se parecerán los resultados a los obtenidos en la optimización?. Miedo al futuro. El trader teme, con razón, que todo su trabajo no haya servido para nada. Que haya jugado con números, para obtener una ilusión que nada tenga que ver con la realidad. Y el trader piensa, como el futuro no se puede probar, pues habrá que arriesgarse y ver qué pasa. Pues no, no tiene razón, hay una técnica para probar el futuro. Es la prueba externa.
Una prueba externa consiste en probar un sistema optimizado en unos datos históricos, sobre datos vírgenes. A la optimización le llamamos prueba interna. A la prueba posterior sobre datos vírgenes, prueba externa. Los americanos les llaman in-sample y out-of-sample respectivamente.
¿Qué resultados creéis que se obtendrán en la prueba externa respecto a la interna? ¿Mejores? ¿Peores? Evidentemente peores. ¿Por qué? Pues porque una optimización no es más que la adaptación de un sistema a unos datos. Se buscan las mejores variables para un determinado histórico. Dichas variables no serán, con seguridad, las mejores para los datos futuros. Te tendrás que conformar con ganar algo. No hay más. La prueba externa suele ofrecer resultados penosos y enfrenta al trader novato con la cruda realidad. Pero es mejor conocerla antes de arriesgar tu dinero. No lo dudes.
¿Para qué sirve la prueba externa? A mi entender, no para seleccionar los valores para las variables de un sistema. No es eso. Lo que consigues con una prueba externa bien hecha, es saber si lo que estás haciendo tiene algún sentido. Estás probando tu metodología. Es decir, si ese sistema que has programado, en ese mercado, con ese timeframe, y optimizando como lo haces tú, tiene alguna posibilidad de éxito o no.
¿Cómo se realiza una prueba externa? Se elige un periodo in-sample (interna) y otro out-of-sample (externa). La relación suele ser 2 a 1, pero no tiene porqué. Por ejemplo, puedes elegir 2 años in-sample contra 1 año out-of sample o 4 meses in-sample contra 1 mes out-of-sample como muestra la figura a continuación. Los resultados de cada optimización (prueba interna) se aplican al período posterior (prueba externa). Lo que es importante es realizar tantas pruebas externas como puedas, con el histórico de que dispones. Una sola prueba externa no vale para nada, se requieren muchas. Al final se promedian los resultados y se sacan las conclusiones.
Imaginemos que hemos realizado las 8 pruebas externas que muestra la figura. En cada una de las pruebas nos guardamos las estadísticas principales tanto de la prueba externa como de la interna. Y hacemos promedios. Me voy a inventar los resultados para poner un ejemplo sencillo que se entienda bien. Mido la ganancia/mes:
Promedio de ganancia/mes de las pruebas internas = 5000€
Promedio de ganancia/mes de las pruebas externas = 1000€
Podríamos, a continuación, medir el acople:
Acople = 1-PE/PI
En nuestro caso:
Acople = 1-1000€/5000€ = 0.8
Interpretación: el 80% de los resultados de nuestras optimizaciones con ese sistema, en ese mercado y con ese timeframe, son acople. Es decir, fantasía. Nos hemos adaptado a los datos, hemos jugado con los números para encontrar una combinación que se acopla al histórico usado. Solo podemos esperar un 20% de las ganancias obtenidas en la optimización.
Contra más optimizas, más te acoplas. Contra más te acoplas, más te engañas. La optimización de parámetros de un sistema es imprescindible, pero debe ser suave, contenida, usando un número de combinaciones bajo. De nada te sirve sobreoptimizar y obtener resultados espléndidos. Como dicen los americanos, estás haciendo un guante para la mano del pasado. Contra más ajustado sea ese guante, peor le irá a la mano del futuro, porque la mano del futuro, será otra.
La primera vez que un trader novato realiza con sus sistemas pruebas externas, le sucede como a los niños de otros tiempos. Descubren que los Reyes Magos no existen, que son sus padres. Pero seamos positivos. Es preferible saberlo antes de chocarse contra la realidad. De hecho….¿qué estamos haciendo cuando aplicamos un sistema a un mercado contra la cuenta que tenemos abierta en nuestro broker?. Exactamente, una prueba externa.