Análisis dentro y fuera de la muestra (In-Sample vs. Out-Of-Sample) en las estrategias de trading por Quantpedia

• Los “papers” que hablan de técnicas de trading y estudios inundan el mercado. ¿Podemos confiar que los resultados publicados se replicarán en el futuro? Hagamos un test con un análisis fuera y dentro de la muestra (In-Sample vs. Out-Of-Sample).
• Artículo publicado en Hispatrading 55.

La ciencia ha estado en una «crisis de replicación» durante más de una década. Los investigadores han descubierto, una y otra vez, que muchos hallazgos en campos como la psicología, la sociología, la medicina y la economía no se sostienen cuando otros investigadores intentan replicarlos. Hay muchas preguntas interesantes, como por ejemplo: ¿El problema es solo que probamos la «significación estadística» (la probabilidad de que resultados igualmente fuertes podrían haber ocurrido por casualidad) sin matices? ¿Es que los resultados nulos (es decir, cuando un estudio no encuentra efectos detectables) se ignoran mientras que los positivos se publican en las revistas? Dicho simplemente: muchos estudios publicados no se pueden replicar.

Pero, ¿qué significa para nosotros, inversores y traders? Nosotros, tratamos de presentarle la investigación académica en una forma digerible para la persona que no está acostumbrada a leer rigurosamente miríadas de artículos escritos en “lenguaje académico» y, a menudo, difíciles de entender.

Entonces, ¿hay alguna «ventaja» en las estrategias de trading y los enfoques de inversión desarrollados puramente por académicos después de la publicación, o morirán poco después de hacerse públicos? Probemos entonces las estrategias out of Sample o fuera de la muestra. Pero esta vez, con datos duros.

Introducción

Cuando se descubre una anomalía y se comparte una estrategia construida a su alrededor, a menudo genera preocupaciones de que la anomalía podría ser arbitrada y potencialmente volverse no rentable en las carteras de los inversores. Sin embargo, las estrategias de inversión suelen seguir siendo rentables después de la publicación, aunque se produce una disminución de la rentabilidad. Sin embargo, los rendimientos no se debilitan instantáneamente; una parte significativa de la rentabilidad permanece incluso después de que la estrategia sea ampliamente conocida. Un estudio realizado por McLean y Pontiffencontró que los rendimientos de la cartera fueron un 26 % más bajos fuera de la muestra y un 58 % más bajos durante los cinco años posteriores a la publicación, lo que indica que los inversores están al tanto de las publicaciones académicas y aprenden sobre la manipulación de precios. Sin embargo, la disminución de los rendimientos se da gradualmente con el tiempo, e incluso después de cinco años, se conserva una parte notable del rendimiento de una anomalía. La anomalía conocida a menudo se transforma en un «factor beta inteligente» y aún puede utilizarse de manera rentable dentro de una cartera diversificada. También se observa que el proceso de publicación de artículos académicos puede demorar uno o dos años, y durante este tiempo, los profesionales pueden extraer ideas de los documentos de trabajo para obtener una ventaja.

Un artículo reciente de Jensen, Kelly y Pedersen: «Is There a Replication Crisis in Finance?» (“¿Existe una crisis de replicación en las finanzas?”) también analiza la replicación de las estrategias de trading descritas en la investigación académica. Los investigadores descubrieron que más del 80 % de los factores de renta variable de EE. UU. seguían siendo significativos incluso después de realizar ajustes para lograr una construcción de factores consistente y más implementable, al mismo tiempo que se conservaba la señal original. Además, se observó la misma calidad y cantidad de comportamiento en 153 factores en 93 países, lo que sugiere un alto grado de validez externa en la investigación de factores. Realmente no es un mal resultado.

No demasiado preocupantes son también los hallazgos de Heiko Jacobs y Sebastian Muller en sus “ Anomalies across the globe: Once public, no longer existent?» (“Anomalías en todo el mundo: una vez son públicas, ¿ya no existen?”) Motivados por McLean y Pontiff (2016) (que mencionaremos más adelante), estudiaron la previsibilidad de la rentabilidad previa y posterior a la publicación de 231 anomalías transversales en 39 mercados bursátiles. Basándose en más de dos millones de meses de países anómalos, su resultado es que Estados Unidos es el único país con una disminución fiable posterior a la publicación en los rendimientos largos/cortos. Esto podría proporcionar información valiosa sobre el modelado de la «longevidad» de las estrategias realizadas en estos mercados y la «esperanza de vida» hasta que la estrategia/anomalía «muere».

El último trabajo de investigación que nos gustaría mencionar es el de Falck, Rej y Thesmar (2021), que examina la hipótesis de las características ex-ante que predicen empíricamente el out-of-sample (ellos definen out-of-sample como el período posterior a la publicación) caída en el rendimiento ajustado al riesgo de las anomalías bursátiles publicadas. Su conclusión final es que cada año, el decaimiento de Sharpe de los factores recién publicados aumenta alrededor de un 5% (que no es tanto).

Datos y Metodología

Hemos recopilado todos los datos sobre estrategias de nuestros backtests que se realizaron en QuantConnect. A continuación, obtenemos información sobre cuándo finalizan los datos de los documentos de origen (fin del período de prueba del conjunto de datos en el documento académico de origen). Esto basa la intersección entre fuera de la muestra y dentro de la muestra para nuestras pruebas retrospectivas. A continuación, dividimos estos datos en esos dos conjuntos y los comparamos y analizamos.

Ahora le mostraremos nuestra metodología seleccionada para esta validación experimental de nuestros backtests en un ejemplo.

Usemos nuestra primera entrada enciclopédica, la siempre verde estrategia de seguimiento de tendencias de clases de activos, basada en el artículo de Mebane Faber «A Quantitative Approach to Tactical Asset Allocation«. Fin del período de backtesting desde desde el punto de intersección entre los conjuntos de datos (el año después de la publicación del estudio) (en la Figura 2 resaltado en verde)

Y este es el año que se muestra en el backtest de QUANTCONNECT. Hasta el último día de 2008, lo consideramos resultados de backtest in-sample , en adelante desde el primer día de negociación de 2009 resultados de backtest out-of-sample .

De las 868 estrategias en el momento del análisis (a principios de  mayo de 2023), hemos probado internamente 671 de ellas. De estas, 417 se mantuvieron y actualizaron mensualmente y, por lo tanto, se incluyeron en el análisis. Además, 62 de ellas fueron excluidas; no teníamos datos para volver al período que finaliza desde el documento (comenzamos a realizar pruebas retrospectivas desde una fecha posterior a la fecha de finalización de la muestra de datos indicada en el documento). Esto concluye la parte de pre-procesamiento de datos. De esta forma, nos quedan 355 estrategias para un análisis más detallado.

El principal interés central analizado es el ratio de Sharpe, que concluimos es la medida más adecuada para comparar los resultados dentro y fuera de la muestra en nuestra muestra de datos. Nuestra  base de datos cubre todas las principales clases de activos  (acciones, bonos, materias primas, criptos). Por lo tanto, no tendría sentido sacar conclusiones de las medidas de rendimiento anualizadas cuando nuestra muestra de datos contiene estrategias sobre criptodividas altamente volátiles y, al mismo tiempo, estrategias de renta fija de baja volatilidad. La medida del ratio de Sharpe es excelente en nuestro caso porque escalamos los rendimientos anualizados según la volatilidad anual, lo que ayuda a analizar los rendimientos ajustados al riesgo.

Así, ahora tenemos:

• conjunto de datos en la muestra (generalmente StartDate desde QP hasta el final del período de prueba retrospectiva del documento de origen),
• conjunto de datos fuera de la muestra (fin del período de prueba retrospectiva desde el documento de origen hasta el final de la prueba retrospectiva de QP; en el caso de un código único con datos limitados, es fijo, en el caso de un código recurrente y de actualización, siempre dinámico y ajustado a mes actual);

Calculamos el CAR p.a. y la volatilidad p.a., cuya división nos proporcionó los índices de Sharpe dentro y fuera de la muestra para cada estrategia.

Resultados y su Interpretación

Ahora, sigamos adelante. Como medida de promedio, hemos elegido la media aritmética. La mediana es el valor que separa la mitad superior de la mitad inferior de una muestra de datos y no está sesgada por una pequeña proporción de valores extremadamente grandes o pequeños, lo que proporciona una mejor representación del centro. Es la razón principal por la que también lo incluimos en nuestro análisis. La siguiente tabla muestra los ratios de Sharpe promedios y medianos entre los datos dentro y fuera de la muestra:

Tabla 1. Comparación de los ratios de Sharpe.

Según la Tabla 1 el ratio de Sharpe para resultados fuera de la muestra es peor y se deterioró en un  33 % (en promedio) o 44 % (estrategia mediana). Estos resultados están totalmente en línea y son consistentes con los hallazgos de los trabajos de investigación mencionados anteriormente.

En las Figuras 3 y 4, se muestra la figura que representa la distribución (histograma) de los ratios de Sharpe dentro y fuera de la muestra:

Como podemos ver, la distribución de resultados sigue una “distribución casi normal”, en la que principalmente puede esperar que su estrategia tenga un ratiode Sharpe en el intervalo (-1, 3) . Y es tanto para resultados fuera de la muestra como dentro de la muestra. Los resultados dentro de la muestra, por supuesto, están yendo un poco mejor.

Otra observación interesante es que tanto los resultados dentro de la muestra como fuera de la muestra parecen estar sesgados positivamente: cola ancha en el lado derecho (pero la cola derecha del histograma fuera de la muestra es un poco menos gruesa). Este es un hallazgo muy interesante y habla a favor de una gestión de riesgos estricta si empleamos una cartera de múltiples estrategias. Parece que las estrategias parecen deteriorarse fuera de la muestra, pero tenemos algunos valores atípicos positivos realmente fuertes; por lo tanto, tiene sentido reducir el presupuesto de riesgo a las estrategias que no funcionan bien fuera de la muestra y dejar que las ganancias fluyan en aquellas que sí lo hacen. Esos resultados pueden dar cierta validez a la idea de Factor Momentum: puede ser una buena idea aumentar el peso de las estrategias que recientemente funcionaron bien.

Pero sigamos adelante. Esta es la imagen que muestra cómo se comportaron todas las estrategias incluidas durante la ventana de 10 años, los últimos 5 años dentro de la muestra y los primeros 5 años fuera de la muestra:

En el eje X, de la Figura 6, tenemos un período dentro de la muestra (-5 a 0), el año cero es el año umbral y del año 0 al 5 es el desempeño en el período fuera de la muestra. El eje Y muestra una apreciación de 1 USD durante el tiempo mencionado anteriormente. Todas las estrategias en el año 0 comienzan en 1 USD. La línea negra representa el multiplicador promedio (aritmética simple) de los rendimientos cuando mezclamos todas las estrategias en una cartera con la misma ponderación. Nuestro punto aquí es mostrar que las estrategias realizadas tienen una expectativa positiva, pero la dispersión en el comportamiento (dentro y fuera de la muestra) es realmente significativa.

Suponiendo que construimos una cartera que incorpora todas las estrategias probadas con la misma ponderación (línea negra), también calculamos cuál sería la pérdida de señal en el rendimiento después de la publicación. Siguiendo nuestro enfoque indicado, si comienza a usar cada estrategia en la fecha en que finaliza la prueba retrospectiva en papel y pondera su cartera por igual, encontramos que la cartera fuera de la muestra produciría en promedio aproximadamente 4/5 del rendimiento de la muestra. Una vez más, la disminución del rendimiento individual entre las estrategias varía mucho.

La caída del rendimiento en el enfoque de cartera es menor que la caída del rendimiento en las estrategias individuales. La razón de esto es la baja correlación entre las estrategias (dentro y fuera de la muestra).

Conclusión

Indudablemente, los índices de Sharpe empeoran después de formar varias estrategias de trading basadas en anomalías de mercado desconocidas de antemano. Según nuestro análisis, es razonable esperar una degradación de la relación de Sharpe de 1/3 o 1/2 con respecto al período de la muestra. Esto no debería ser, de ninguna manera, desalentador, sino más bien un hallazgo positivo que uno debe aceptar y prepararse para dar cuenta de los aspectos menos agradables de la inversión y el trading, considerando los rendimientos informados y esperados y las desviaciones inesperadas de ellos.

Nuestros resultados están en línea con el consenso académico actual.

¿Cuál podría ser la solución parcial para la caída del rendimiento? Los hallazgos preliminares sugieren que el factor impulso o momentum podría ser la respuesta correcta. Se sabe que las distribuciones financieras de cola gruesa son buenos objetivos para explotar mediante reglas de impulso/seguimiento de tendencias. Por lo tanto, la superposición de impulso/tendencia en una cartera de estrategias puede ser una buena idea. Alternativamente, también se pueden considerar otras superposiciones de factores basadas en el precio (baja volatilidad, MIX, MAX, etc.)