- ¿Cómo podemos saber si estamos ante una estrategia realmente interesante? ¿Todavía te sigues conformando con un backtest? En este artículo, te mostraremos algo que puede abrirte los ojos.
- Artículo publicado en Hispatrading Magazine 60.
El backtesting es un componente esencial en el desarrollo de una estrategia de trading algorítmico. Este proceso permite a los traders probar sus estrategias utilizando datos históricos para evaluar si la lógica que subyace en la estrategia es sólida. En teoría, si una estrategia ha funcionado bien en el pasado, debería funcionar bien en el futuro.
No obstante, un backtest con buenas métricas puede resultar engañoso. En ocasiones, una estrategia puede haber funcionado bien en el pasado simplemente por azar, y no necesariamente porque la estrategia sea efectiva.
Para abordar esta cuestión, se propone una metodología conocida como “Monkey Test”. Esta prueba consiste en comparar los resultados de una estrategia con los de miles de estrategias similares generadas de manera aleatoria. Si nuestra estrategia no logra superar a un simple mono lanzando dardos al azar, entonces es probable que nuestra estrategia esté rindiendo menos de lo que debería.
En este artículo, explicaremos cómo el “Monkey Test” puede ayudarnos a identificar estrategias que están rindiendo por debajo de lo esperado.
Si nuestra estrategia no logra superar a un simple mono lanzando dardos al azar, entonces es probable que nuestra estrategia esté rindiendo menos de lo que debería.
ESTRATEGIA DE LAS TORTUGAS: UN CLÁSICO RENTABLE
Uno de los ejemplos más famosos de trading algorítmico es la “Estrategia de las Tortugas”. Esta estrategia fue el resultado de un experimento realizado por Bill Eckhardt y Richard Dennis en 1984 que intentaba demostrar que cualquiera podía aprender a operar con éxito si se le daba un conjunto de reglas a seguir.
La estrategia original de las tortugas involucra varios componentes, incluyendo el uso del indicador del canal de Donchian, el seguimiento de tendencias a corto y largo plazo, y la gestión del riesgo a través del Average True Range (ATR).
Sin embargo, para nuestro propósito, vamos a utilizar una versión simplificada de la estrategia de las tortugas. En esta versión, se abrirá una operación alcista cuando el precio cruza al alza la banda superior de un canal de Donchian de 20 periodos y se cerrará cuando cruza a la baja la banda inferior.
El Canal de Donchian es un indicador técnico que se utiliza para identificar los niveles de ruptura de precios. Se calcula tomando el máximo más alto y el mínimo más bajo de los últimos n periodos. En nuestro caso, estamos utilizando un canal de Donchian de 20 periodos.
En la figura 1 se muestra un ejemplo del canal de Donchian.
Nuestra estrategia simplificada se puede resumir de la siguiente manera:
- Entrada: Abrimos una operación alcista cuando el precio cruza al alza la banda superior del canal de Donchian de 20 periodos.
- Salida: Cerramos la operación cuando el precio cruza a la baja la banda inferior del mismo canal.
Esta versión simplificada de la estrategia de las tortugas nos proporciona un marco básico para el trading algorítmico. Aunque es más simple que la estrategia original, todavía captura la esencia del enfoque de las tortugas: seguir las tendencias del mercado y cortar las pérdidas rápidamente.
RESULTADOS DE LA ESTRATEGIA: UN BACKTEST PROMETEDOR
En la figura 2 se muestran los resultados obtenidos por esta estrategia aplicada al SP500 en el periodo comprendido entre el 01-01-2015 y el 01-06-2024:
Estos resultados indican que la estrategia ha sido rentable durante el periodo mostrado, con un alto retorno, un nivel de riesgo aceptable, un nivel de riesgo aceptable, un gran porcentaje de acierto y un Profit Factor espectacular.
Sin más datos, podríamos considerar que esta estrategia es apta para ser operada en real.
¿MEJOR QUE EL BENCHMARK?
El siguiente paso en nuestro análisis es contrastar el desempeño de nuestra estrategia de trading algorítmico con el rendimiento que hubiéramos obtenido si hubiéramos seguido una estrategia de “Buy & Hold” con el índice SP500, que es nuestro benchmark.
En la figura 3 se muestran los resultados de nuestra estrategia comparados contra los que se hubieran haciendo “Buy & Hold” en el SP500 durante el mismo periodo.
A pesar de que nuestra estrategia ha generado ganancias durante el periodo estudiado, no ha conseguido superar al SP500. Esto tiene su importancia: si una estrategia no logra rendir más que el mercado, los inversores podrían obtener un rendimiento superior simplemente invirtiendo en un fondo indexado al SP500.
TÉ Y MONOS
El autor intelectual de la idea que subyace en el “Monkey Test” es mi colega Alan Tomillero, ganador de Robotrader en 2024, una competición internacional de trading algorítmico organizada por la Universidad Politécnica de Madrid.
En una de nuestras conversaciones, Alan me contó una historia llamada “The lady tasting tea” recogida en el libro The design of experiments de Ronald Fisher (1935), libro que sentó las bases de la estadística moderna.
Ronald Fisher tenía una amiga llamada Muriel Bristol que afirmaba ser capaz de distinguir si la leche había sido puesta en la taza antes o después del té. Cómo Fisher no la creía, le planteó una prueba: prepararía 4 tazas echando la leche antes y 4 tazas echando la leche después y ella tendría que acertar. Bristol acertó 7 de las 8 tazas y Fisher calculó la probabilidad de que hubiera acertado tanto por azar.
En la figura 4 se muestra la distribución de probabilidades en la que se observa que Bristol tenía menos de un 5% de probabilidades de acertar 7 tazas de 8 por azar.
Con esta historia lo que Alan planteaba era la posibilidad de testar nuestras estrategias contra el azar y entonces me acordé de “los monos tirando al azar” de Malkiel.
El “Monkey Test” es una metodología que nos permite evaluar si nuestra estrategia de trading está realmente superando al azar.
En el libro Un paseo aleatorio por Wall Street de Burton Gordon Malkiel (1973), el autor afirma que los gestores de Wall Street no pueden superar consistentemente al mercado. Para ilustrar este punto, Malkiel utiliza la metáfora de que un mono con los ojos vendados lanzando dardos seleccionaría una cartera de acciones que rendiría igual o mejor que una cartera seleccionada por un comité de expertos.
Más allá del hecho de que gestores como el mítico Jim Simons refutan con resultados la hipótesis de Malkiel, la idea de un “mono lanzando dardos al azar” junto a la idea calcular la probabilidad de que un resultado sea explicado por azar inspirada por la historia de “The lady tasting tea” constituyen el origen del “Monkey Test”.
¿MEJOR QUE EL AZAR?
El “Monkey Test” es una metodología que nos permite evaluar si nuestra estrategia de trading está realmente superando al azar.
En este test, generamos un gran número de estrategias aleatorias que están en el mercado el mismo número de días que la estrategia que queremos analizar. Cada una de estas estrategias aleatorias, o “monos tirando dardos al azar”, genera un rendimiento determinado y el conjunto de todos esos rendimientos genera una distribución de rendimientos generados por azar.
En la figura 5 se muestran las curvas de resultados obtenidas por mil estrategias aleatorias y se marca el resultado obtenido por nuestra estrategia.
Una vez tenemos esta distribución de rendimientos generados por azar, podemos comparar el rendimiento de nuestra estrategia. Si nuestra estrategia no supera a la inmensa mayoría de los “monos”, entonces podemos concluir que nuestra estrategia es mediocre y que su rendimiento se explica por simple azar.
En la figura 6 se muestra la distribución de resultados obtenidos por las estrategias aleatorias y se compara con el resultado de nuestra estrategia.
Así pues, este método nos proporciona una forma objetiva y cuantitativa de evaluar nuestra estrategia. Al comparar nuestra estrategia contra miles de estrategias generadas por azar, podemos tener una mejor idea de si nuestra estrategia está realmente superando al azar o si simplemente hemos tenido suerte.
En el caso que nos ocupa, podemos observar que nuestra estrategia obtiene unos resultados inferiores al promedio de los “monos”. Por lo tanto, podemos afirmar que nuestra estrategia no supera al azar.
Dicho de otra forma: la mayoría de estrategias que pudiéramos generar al azar obtendrían mejores resultados que nuestra estrategia.
En la figura 7 se muestran las curvas de resultados obtenidos por las estrategias aleatorias y la correspondiente distribución de resultados.
Según la posición que ocupe la estrategia en la distribución del “Monkey Test”, podemos descartar o validar una estrategia:
- Superior al promedio de los “monos” más 2 desviaciones estándar: estrategia a considerar (área verde).
- Inferior al promedio de los “monos” más 1 desviación estándar: estrategia a descartar (área roja).
- Zona intermedia: estrategia a mejorar (área naranja).
CONCLUSIONES
El “Monkey Test” se presenta como una herramienta valiosa para evaluar la efectividad de las estrategias de trading algorítmico. A través de la comparación con estrategias generadas aleatoriamente, podemos determinar si una estrategia realmente supera al azar o si su rendimiento se debe simplemente a la suerte.
En este artículo, hemos explorado cómo aplicar el “Monkey Test” y hemos demostrado su utilidad mediante la evaluación de una versión simplificada de la estrategia de las tortugas. A pesar de que esta estrategia ha demostrado resultados prometedores en el backtest, el “Monkey Test” ha revelado que no supera al azar.
En resumen, el “Monkey Test” nos proporciona una forma objetiva y cuantitativa de evaluar nuestras estrategias de trading.