Pruebas retrospectivas: por qué los resultados históricos pueden engañar

Un cálculo histórico no es una decisión histórica

Una prueba retrospectiva aplica una regla a datos pasados y calcula qué habría ocurrido bajo supuestos especificados. Puede ayudar a examinar la mecánica de un modelo, pero el cálculo es hipotético. El analista ya sabe cómo se desarrolló la historia y debe reconstruir qué información, valores y condiciones de negociación estaban disponibles en cada momento simulado de decisión.

Esa reconstrucción puede fallar aunque la fórmula de rentabilidad sea correcta. Una base de datos de empresas que existen hoy puede omitir empresas que desaparecieron. Una cifra económica revisada puede sustituir a la versión publicada originalmente. Una estrategia puede utilizar incorrectamente una fecha de publicación posterior o ser elegida porque casualmente encaja con la misma muestra histórica utilizada para presentar su resultado.

Son problemas distintos. El sesgo de supervivencia se refiere a qué entidades permanecen en la muestra. El sesgo de anticipación se refiere a información que llega desde el futuro simulado. El sobreajuste se refiere a decisiones adaptadas a observaciones históricas concretas. Pueden aparecer juntos, pero identificarlos por separado facilita examinar los supuestos del análisis.

Mantener una cronología de la información

Un universo referido a cada momento registra los componentes elegibles en la fecha simulada, incluidos los eliminados después. Los informes financieros también necesitan fechas de disponibilidad, no solo el periodo que describen. Un periodo contable de diciembre puede publicarse meses después. Utilizar sus cifras definitivas para una decisión de diciembre puede introducir información que el analista simulado no poseía.

Las revisiones y operaciones societarias también necesitan un tratamiento coherente. Una serie de precios ajustados puede ser útil para calcular rentabilidades, pero el método de ajuste y la información disponible deben encajar con la prueba. La investigación siguiente examina la composición retrospectiva de índices de referencia y la selección repetida de modelos; el ejemplo sintético se construye de forma independiente, no se copia de un resultado empírico.

Las zonas horarias de publicación pueden importar para decisiones próximas a la apertura del mercado.

Una muestra limpia no resuelve la elección del modelo ni la negociación

Probar muchas reglas y presentar solo el resultado histórico más fuerte crea un problema de selección incluso sin empresas ausentes. La regla elegida puede captar patrones fortuitos de esa muestra. Un periodo de evaluación no consultado puede aportar evidencia adicional, pero consultarlo repetidamente lo convierte en otra herramienta de selección. Ninguna división única ni medida estadística garantiza que un modelo siga siendo útil.

Los supuestos de negociación también importan. Las comisiones, los diferenciales, el impacto de mercado, las restricciones al préstamo y el momento de ejecución pueden separar el precio de un modelo de una transacción factible. El ejemplo omite estos costes para aislar el problema del universo. Un informe de análisis debe indicar exclusiones y especificaciones fallidas o alternativas, en lugar de hacer que un gráfico suave sustituya a un método reproducible.