Capítulo 8. Pruebas de retroceso y pruebas de estrés Código de R y Matlab Inicio Capítulo 8. Pruebas de retroceso y pruebas de estrés Copyright 2016 Jon Danielsson. Licenciado bajo la Licencia Apache, Versión 2.0 (la Licencia) no puede usar este archivo excepto en conformidad con la Licencia. Usted puede obtener una copia de la Licencia en. Apache. org/licenses/LICENSE-2.0. A menos que sea requerido por la ley aplicable o haya sido acordado por escrito, el software distribuido bajo la Licencia se distribuye de una manera tal y como está, sin garantías o condiciones de ninguna clase, expresa o implícita. Vea la Licencia para los permisos y limitaciones específicos del lenguaje que rigen bajo la Licencia. Listado 8.1: Cargar datos en R Última edición: Agosto 2016 Listado 8.2: Cargar datos en Matlab Última edición: Agosto 2016 Listado 8.3: Agosto de 2016 Listado 8.4: Establecer backtest en Matlab Última edición: Agosto de 2016 Listado 8.5: Correr backtest en R Última edición: Agosto 2016 Listado 8.6: Correr backtest en Matlab Última edición: Agosto 2016 Listado 8.7: Backtesting analysis in R Última edición: Agosto Listado 8.10: Prueba de cobertura de Bernoulli en Matlab Última edición: 2011 Listado 8.9: Prueba de cobertura de Bernoulli en R Última edición: Agosto de 2016 Listado 8.10: Prueba de cobertura de Bernoulli en Matlab Última edición: 8.12: Prueba de cobertura de independencia en Matlab Última edición: 2011 Listado 8.13: Backtesting SP-500 en R Última edición: Agosto de 2016 Listado 8.14: Backtesting SP-500 en Matlab Última edición: 201113. Backtesting y prueba de estrés Peter F. Christoffersen Disponible en línea 22 Noviembre de 2011. Resumen del editor Este capítulo considera los pronósticos de medición de riesgo ex ante del modelo y los compara con el retorno de la cartera realizada ex post. El pronóstico de la medida de riesgo toma la forma de un valor en riesgo (VaR), un déficit esperado (ES), la forma de toda la distribución de retorno o quizás la forma de la cola izquierda de la distribución. El backtesting de un modelo de riesgo es visto como un paso final en el procedimiento de construcción de modelos. El agrupamiento en el tiempo de las violaciones del VaR representa una seria amenaza para la salud financiera de la institución. Debido a las limitaciones prácticas de la gestión de grandes carteras, los gestores de riesgos a menudo trabajan con muestras de datos relativamente cortas. Esto puede ser un problema grave si los datos históricos disponibles no reflejan adecuadamente los riesgos potenciales en el futuro. Para compensar las insuficiencias de los datos disponibles, puede ser útil generar artificialmente escenarios extremos de los principales factores que impulsan los retornos de la cartera y luego evaluar la salida resultante del modelo de riesgo. Palabras clave VaR de la vida real Violación de VaR dependencia distribución evaluación de pronóstico evaluación coherente de estrés Resumen El objetivo de este capítulo es considerar las previsiones de riesgo ex ante del modelo y compararlas con el retorno de cartera realizado ex post. La previsión de la medición de riesgo podría tomar la forma de un valor en riesgo (VaR), un déficit esperado (ES), la forma de toda la distribución de retorno, o tal vez la forma de la cola izquierda de la distribución. Tenemos que ser capaces de backtest cualquiera de estas medidas de riesgo de interés. Los procedimientos de backtest desarrollados en este capítulo pueden ser vistos como una comprobación diagnóstica final del modelo de riesgo agregado, complementando así los diversos diagnósticos específicos cubiertos en capítulos anteriores. La discusión sobre el backtesting es seguida por una sección sobre las pruebas de estrés al final del capítulo. Figura 13.1. Figura 13.2. Figura 13.3. Figura 13.4. Figura 13.5. Copyright 2012 Elsevier Inc. Todos los derechos reservados. Artículos de referencia () Pruebas de estrés para la estrategia de negociación Robustez Por Michael R. Bryant En el artículo sobre las estrategias de comercio multi-mercado. Discutí el concepto de robustez, que describí como insensible a las variaciones en los datos en los que se basa la estrategia. La construcción de un sistema comercial en múltiples mercados es una forma de aumentar la robustez. Sin embargo, qué si usted ya tiene una estrategia y usted quiere ver cómo es robusto que está probando una estrategia de negociación para la robustez se refiere a menudo como análisis de sensibilidad, o más coloquially como prueba de tensión. La idea básica es ver qué sucede cuando se hacen pequeños cambios a los insumos de la estrategia, datos de precios u otros elementos de la estrategia o del entorno comercial. Una estrategia robusta exhibe una reacción proporcional y relativamente silenciosa ante tales cambios, mientras que una estrategia que no es robusta reaccionará de manera desproporcionada y en ocasiones fracasará de forma directa cuando se hagan pequeños cambios en sus insumos o en su entorno. Por qué es importante esto? Simplemente, la robustez es importante porque los mercados nunca se mantienen igual. Tomemos las entradas de la estrategia, por ejemplo. Entradas como la longitud de búsqueda para un promedio móvil podrían ser óptimas durante el período de prueba posterior, pero en el futuro, los valores diferentes podrían ser óptimos. Queremos saber qué tan bien la estrategia se llevará a cabo cuando las entradas ya no son óptimas. Una manera de abordar esto es ver cómo cambian los resultados cuando se cambian los valores de entrada. Como se explicó en el artículo anterior, la idea de robustez está relacionada con la superposición de la estrategia. Queremos asegurarnos de que la estrategia no ha sido tan ajustada al mercado durante el proceso de desarrollo que no puede soportar cualquier cambio en el mercado. En términos generales, podemos probar para que al cambiar el mercado, el cambio de la estrategia, o ambos. Una estrategia que no resista bien a cambios relativamente pequeños no es robusta y es probable que sea excesiva. Tal estrategia no debe esperarse que vaya bien en el futuro. Tipos de pruebas de estrés Hay muchas maneras diferentes que una estrategia puede ser sometida a prueba de estrés. Podemos realizar cambios en la propia estrategia o en los datos de precios en los que la probamos de nuevo. Podemos cambiar los costos de negociación, tales como la cantidad de deslizamiento, o cambiar el tamaño de la posición. En principio, todo lo que afecta a los resultados de las pruebas de retroceso de la estrategia puede variar. En este artículo, se discutirán los siguientes tres tipos de pruebas de estrés: Cambiar las entradas de la estrategia. Hacer pequeños cambios en los precios individuales. Cambio de la barra de inicio. La justificación para cambiar los insumos de la estrategia se discutió anteriormente. Para cambiarlos, se seleccionará un porcentaje aleatoriamente entre - Max y Max, donde Max podría estar en el orden de 1 o 5. Este porcentaje se aplicará al rango de valores para cada entrada. Por ejemplo, si elegimos la longitud de búsqueda para un indicador del rango de valores de 1 a 100, entonces el rango sería 100 y el porcentaje de cambio elegido al azar se aplicaría a 100. El monto de cambio, ya sea positivo o Negativo, se añadiría entonces al valor de entrada original para hacerlo más alto o más bajo por esa cantidad. El pozo también especifica una cantidad mínima posible del cambio, por ejemplo 1 para la cantidad para cambiar una longitud del look-back del indicador. De esta manera, si el porcentaje de cambio aleatorio es un número pequeño, la entrada seguirá siendo cambiada. Una forma en que una estrategia puede ser excesiva, y por lo tanto no robusta, es si su ajuste demasiado cerca de precios específicos en la prueba de nuevo. Por ejemplo, si la estrategia entra largo en una parada y varias operaciones grandes y rentables entran al precio alto del día, que debe levantar una bandera roja. Cómo se verían los resultados si la alta hubiera sido una marca más baja en esos días Si un cambio tan pequeño arruinaría los resultados, la estrategia no es claramente robusta. Una técnica de prueba de estrés para detectar ese tipo de ajuste excesivo es hacer cambios aleatorios en los precios individuales y evaluar los resultados. Para cambiar aleatoriamente los datos de precios, utilice dos ajustes. Una es la probabilidad de cambiar un precio. Por ejemplo, si la probabilidad es de 50, eso significa que hay una probabilidad de que cualquier precio - abierto, alto, bajo, cierre de cada barra - cambie. El segundo ajuste es el cambio de porcentaje máximo que se aplicará a un precio que se está cambiando. Al igual que con los valores de entrada, la cantidad real del cambio se elige aleatoriamente entre - Max y Max, donde Max es el cambio de precio máximo porcentual. El valor de Max se toma como un porcentaje del rango verdadero promedio en las últimas 100 barras. Por ejemplo, si el rango verdadero promedio es 10 puntos y el cambio máximo de porcentaje es 20, entonces la cantidad de cambio es un número elegido al azar entre -2 y 2 puntos. Digamos que el número real es -1.25 puntos, y el precio de cierre es 1250.50. El cierre modificado sería 1249.25. Por último, es posible que el cambio de un precio invalidará el precio normal de pedidos, como la reducción de la apertura de modo que su inferior a la baja. Para evitar que, los precios pueden tener que ser ajustados después de hacer el cambio para mantener el abierto y cerrar dentro de la gama alta / baja. El último método de prueba de esfuerzos que se discutirá implica el cambio de la barra de inicio. Es probablemente obvio que una buena estrategia no debe desmoronarse cuando se inicia la retro-prueba en una barra diferente. Puede ser menos obvio cómo esto puede suceder. Considere una estrategia hipotética que entra mucho tiempo en un crossover de media móvil. A continuación, mantiene el comercio exactamente cinco bares antes de salir en el mercado. Dejando a un lado la idoneidad de la lógica, imaginar lo que el historial comercial podría verse en una tabla de precios. Si la condición de ingreso promedio móvil usa un cruce promedio a corto plazo por encima de un promedio a largo plazo, es completamente posible que en una tendencia ascendente sostenida, la condición de entrada pudiera ser verdadera durante un largo período de tiempo, Ser superior al promedio a largo plazo de muchas barras seguidas. Si la prueba de retroceso se inició durante ese período, la primera operación entraría en la barra siguiente después de la barra de inicio, y cada comercio duraría cinco barras, seguido inmediatamente por la siguiente entrada, y así sucesivamente. Ahora considere lo que sucedería si se cambiaba la barra de inicio. Si la barra de salida era una barra más tarde, por ejemplo, toda la serie de operaciones se desplazaría una barra a la derecha. Es totalmente posible que algunas de esas series de operaciones de cinco barras serían mucho más rentables que otras, dependiendo de cómo los oficios se alinearan con cualquier ciclo subyacente de tendencia de cinco barras que existiera. Por lo tanto, dependiendo de la barra de partida, la estrategia podría ser muy rentable o no rentable debido a donde los oficios comenzó y terminó. Puede que no sea obvio durante el desarrollo que la lógica de la estrategia tuviera este tipo de dependencia en la barra de inicio, particularmente para los tipos más complejos de lógica. Para probar el efecto de la barra de arranque, la barra en la que se inicia la estrategia de retroceso se variará con un número aleatorio elegido entre 1 y N. En el ejemplo siguiente, se eligió N como 300. Por lo tanto, la barra de inicio Se varió añadiendo un número elegido aleatoriamente entre 1 y 300 al número de barras de partida original. Un enfoque de Monte Carlo Varía las entradas, los precios o la barra de inicio en una cantidad aleatoria sólo proporciona una alternativa para comparar con los resultados originales. Para obtener una imagen más completa de lo robusta que es una estrategia, podemos repetir el proceso muchas veces hasta que tengamos una distribución de resultados. En términos generales, la variación de las variables de entrada aleatoriamente sobre un gran número de iteraciones para generar una distribución estadística de resultados para la función que depende de esas entradas se denomina análisis de Monte Carlo. En este caso, la función es la estrategia de negociación y las entradas de función son las entradas de estrategia, los precios de mercado y / o la barra de inicio. Repitiendo la prueba de esfuerzo muchas veces, terminamos con múltiples conjuntos de resultados comerciales. Para entender cómo funciona el proceso Monte Carlo, considere el ejemplo mostrado en la Fig. 1. Figura 1. Curva de patrimonio original para una estrategia de comercio de divisas. La curva de equidad representada en la Fig. 1 es para una estrategia de negociación desarrollada para el mercado de divisas EURUSD en barras diarias, con un lote estándar (100.000) por comercio y 50 por lote para los costos de negociación. Esta es una de las estrategias de bonificación incluidas con Adaptrade Builder. Fue desarrollado en marzo de 2010. Los últimos 100 oficios o así han sido desde su lanzamiento, lo que demuestra que se ha mantenido bien en tiempo real fuera de la muestra de seguimiento. Para ilustrar cómo se pueden analizar los resultados de las pruebas de esfuerzo utilizando un enfoque de Monte Carlo, considere los resultados de la prueba de estrés de la estrategia de divisas en los datos de precios, como se muestra en la Fig. 2, que representa un total de 20 curvas de patrimonio, 19 de las cuales corresponden a un conjunto diferente de datos de precios aleatoriamente modificados. La serie de precios originales para el EUR / USD fue modificada 19 veces como se describió anteriormente, usando una probabilidad de cambio de precio de 50 con un cambio porcentual máximo de 20. Junto con la curva original, mostrada como la línea verde más gruesa, hay un total de 20 Conjuntos de resultados. El número total se mantuvo tan pequeño como sea posible con fines ilustrativos, más iteraciones se usarán más adelante en los ejemplos restantes. Figura 2. Estres probando la estrategia de divisas variando los datos de precios 19 veces. El beneficio neto total correspondiente a cada curva de patrimonio de la Fig. 2 es el siguiente: 147855.00 133286.00 87771.00 92707.00 132149.00 88384.00 126019.00 96581.00 105466.00 102946.00 86753.00 96127.00 116611.00 68459.00 109427.00 96242.00 111020.00 50201.00 130076.00 104181.00 El valor más alto, 147.855, corresponde al archivo original de datos de precios. El valor más bajo es 50,201. En un análisis de Monte Carlo, podemos preguntar cuál es el beneficio neto que es probable que sea con un determinado grado de confianza dada la variación en los resultados. Un nivel de confianza de 95 es típico, lo que significa que habría 5 posibilidades de que el beneficio neto sea menor que nuestro valor seleccionado. Para obtener el valor del beneficio neto en 95 confianza, la lista anterior se clasifica de mayor a menor y se selecciona el valor 95 de la lista de abajo. Puesto que tenemos 20 elementos en la lista, seleccionamos el elemento 19 en la lista ordenada, lo que sería un beneficio neto de 68.459, es decir, el segundo valor más bajo en la lista. Podemos interpretar este resultado de la siguiente manera: si la asignación al azar de los datos de precios es representativa del tipo de diferencias aleatorias que se esperaría en el mercado, entonces podemos esperar que 95 de las veces, el beneficio neto sea por lo menos 68.459. El mismo enfoque se puede aplicar a cualquier métrica de rendimiento que quisiéramos seguir. Si la métrica es aquella en la que un valor inferior es mejor, como la reducción máxima, la lista se ordenará en el orden opuesto antes de seleccionar el valor 95 de la lista. Ejemplos de pruebas de estrés Ahora considere un ejemplo más representativo, en el que se generaron un total de 100 muestras para el análisis de Monte Carlo. Higo. 3 muestra las diferentes curvas de patrimonio que resultan de la variación del archivo de precios 99 veces (más la curva original). Figura 3. Pruebas de estrés de la estrategia de divisas mediante la variación de los datos de precios 99 veces, para un total de 100 curvas de patrimonio. Aplicando el enfoque de Monte Carlo a los resultados de la prueba de estrés, los resultados en la Tabla 1 se generaron a 95 de confianza (se muestra al lado de los resultados de los datos originales para la comparación). Tabla 1. Estres probando la estrategia de divisas variando los datos de precios. Como se esperaba, los resultados de Monte Carlo de modificar los datos de precios muestran una reducción en el rendimiento en comparación con los resultados de los datos de precios originales. Sin embargo, los resultados de las pruebas de esfuerzo siguen siendo positivos, lo que indica que la estrategia es al menos moderadamente robusta. En la Fig. 4, a continuación, se ha aplicado el mismo enfoque a los valores de entrada de la estrategia. El porcentaje de modificación se estableció en 1, lo que, para muchas entradas, significó que se aplicó la cantidad mínima de cambio. Todos los insumos fueron modificados por al menos la cantidad mínima para cada evaluación. La curva de equidad original se muestra cerca de la parte superior de la tabla como la línea más gruesa, verde. En comparación con los resultados de las modificaciones de precios, la modificación de los insumos de la estrategia tuvo un efecto más fuerte en el rendimiento. Figura 4. Pruebas de estrés de la estrategia de divisas mediante la variación de los insumos de la estrategia 99 veces, para un total de 100 curvas de patrimonio. Los resultados de Monte Carlo para la misma muestra de métricas de rendimiento como se muestra más arriba se muestran en la Tabla 2 a continuación, que incluye los resultados para los valores de entrada originales. Tabla 2. Pruebas de estrés de la estrategia de divisas mediante la variación de los insumos de la estrategia. Resultados de Monte Carlo, 95 Los resultados de variar la barra de partida para la misma estrategia de divisas se muestran a continuación en la Fig. 5. En comparación con los resultados de las otras dos pruebas, se observa relativamente poco efecto al variar la barra de inicio, lo que sugiere que la estrategia es mayormente insensible a esta variable. Figura 5. Pruebas de estrés de la estrategia de divisas al variar la barra de inicio 99 veces, para un total de 100 curvas de patrimonio. Los resultados de Monte Carlo de esta prueba se muestran en la Tabla 3 a continuación, donde se comparan con los resultados para la barra de partida original. Tabla 3. Pruebas de estrés de la estrategia de divisas mediante la variación de la barra de inicio. Resultados Monte Carlo, 95 Resultados, Datos Originales También es posible modificar todo juntos o modificar combinaciones de variables, como modificar las entradas de estrategia al mismo tiempo que los datos de precios. En la Fig. 6, a continuación, se realizaron las tres pruebas de esfuerzo conjuntamente. Esto significa que las entradas de la estrategia, los datos de precios y la barra de inicio se modificaron al azar al mismo tiempo antes de evaluar la estrategia. Figura 6. Prueba de estrés de la estrategia de divisas mediante la variación de la barra de inicio de 99 veces, para un total de 100 curvas de patrimonio. Claramente, esta combinación de pruebas de esfuerzo es una prueba severa de la robustez de la estrategia. Una o dos de las curvas de equidad mostradas en la Fig. 6 parecen mostrar una ganancia neta neta negativa (o casi). Sólo una curva de equidad se aproxima a la original. Los resultados de Monte Carlo basados en esta prueba se muestran a continuación en la Tabla 4. Tabla 4. Pruebas de estrés de la estrategia de divisas mediante la variación de los datos de precios, las entradas de la estrategia y la barra de inicio. Resultados Monte Carlo, 95 Resultados, Resumen Original de los Datos y Conclusiones El ajuste excesivo es siempre una preocupación al desarrollar una estrategia comercial. Las llamadas pruebas de estrés miden cuán sólida es una estrategia de negociación, lo cual es una indicación de si la estrategia es excesiva o no. Mientras que cualquier variable que afecta a los resultados de una estrategia de negociación puede potencialmente ser objeto de una prueba de estrés, este artículo se centró en tres factores importantes en la determinación de los resultados de la prueba de retroceso: los datos de precios, prueba. La estrategia utilizada para ilustrar cada prueba de estrés demostró una robustez moderada con respecto a los datos de precios y valores de entrada y buena robustez con respecto a la barra de arranque. Vale la pena señalar que la estrategia de ejemplo tenía un récord de tres años de resultados positivos de seguimiento en tiempo real, sin embargo, en algunos casos, los resultados de las pruebas de estrés fueron peores que los resultados reales fuera de muestra obtenidos por la estrategia. Esto sugiere que las pruebas de estrés pueden haber sido demasiado severas en esos casos. Esto fue particularmente evidente cuando se combinaron las tres pruebas, como se muestra en la Fig. 6 y la Tabla 4. La prueba de estrés para los insumos de la estrategia puede haber sido poco realista en cuanto que modificó todas las entradas para cada iteración de prueba. Un mejor enfoque puede ser aplicar el mismo método utilizado para modificar los datos de precios, en los que se modificó un precio con una probabilidad específica. En lugar de modificar todas las entradas cada vez, se podría aplicar una probabilidad para determinar si una entrada dada debería ser modificada. Si es así, se modificará de la manera descrita anteriormente de otro modo, la entrada sería sin modificar. Se demostró cómo los resultados de la prueba de esfuerzo se pudieron analizar utilizando el análisis de Monte Carlo. Esto nos permitió cuantificar los resultados y proporcionar una estimación del rendimiento que fue generalmente más conservador que los resultados de la prueba de retroceso sobre la base de los datos originales. El foco del artículo estaba en probar una estrategia comercial después de que se había desarrollado. En principio, sin embargo, el mismo enfoque podría utilizarse como parte del proceso de desarrollo de la estrategia. En Adaptrade Builder, las estrategias se desarrollan en función del desempeño probado en el período de la muestra. En lugar de utilizar el rendimiento obtenido de back-testing de la estrategia en los datos originales, los resultados de Monte Carlo a 95 la confianza de la prueba de esfuerzo podría ser utilizado. Las principales estrategias de la población serían las que presenten los mejores resultados de Monte Carlo, lo que tendería a impulsar a la población hacia estrategias robustas. Desafortunadamente, si cada análisis de Monte Carlo estuviera basado en simulaciones de N, el proceso de construcción tomaría N veces más tiempo usando este enfoque. Junto con pruebas fuera de la muestra y otros métodos discutidos en esta serie de artículos, la prueba de estrés proporciona otra herramienta para ayudar a identificar estrategias comerciales sólidas y evitar el exceso de ajuste. Si se aplica como parte del proceso de evaluación de la estrategia, las pruebas de estrés pueden ayudar a eliminar estrategias que son demasiado sensibles a los cambios en el entorno comercial, lo que podría ayudar a evitar pérdidas y aumentar sus posibilidades de éxito en los mercados. Todas las pruebas de estrés se realizaron utilizando Adaptrade Builder. Este artículo apareció en la edición de marzo de 2013 del boletín informativo Adaptrade Software. LOS RESULTADOS DE RENDIMIENTO HIPOTÉTICOS O SIMULADOS TIENEN DETERMINADAS LIMITACIONES INHERENTES. DESCONOCIDO UN REGISTRO DE RENDIMIENTO REAL, LOS RESULTADOS SIMULADOS NO REPRESENTAN COMERCIO REAL. TAMBIÉN, DADO QUE LOS COMERCIOS NO SE HAN ACTUALMENTE EJECUTADO, LOS RESULTADOS PUEDEN TENER UNA COMPENSACIÓN INTEGRADA O POR COMPENSACIÓN POR EL IMPACTO, EN CASO DE CUALQUIERA, DE CIERTOS FACTORES DE MERCADO, COMO FALTA DE LIQUIDEZ. LOS PROGRAMAS DE COMERCIO SIMULADOS EN GENERAL ESTÁN SUJETOS AL FACTOR DE QUE SEAN DISEÑADOS CON EL BENEFICIO DE HINDSIGHT. NO SE HACE NINGUNA REPRESENTACIÓN QUE CUALQUIER CUENTA TENDRÁ O SERÁ PROBABLE A LOGRAR BENEFICIOS O PÉRDIDAS SIMILARES A LOS MOSTRADOS. Si te gustaría recibir información sobre novedades, noticias y ofertas especiales de Adaptrade Software, únete a nuestra lista de correo electrónico. Gracias.
No comments:
Post a Comment