Tests rétrospectifs : pourquoi les résultats historiques peuvent induire en erreur

Un calcul historique n’est pas une décision historique

Un test rétrospectif applique une règle à des données passées et calcule ce qui se serait produit selon des hypothèses précises. Il peut aider à examiner les mécanismes d’un modèle, mais le calcul reste hypothétique. L’analyste sait déjà comment l’histoire s’est déroulée et doit reconstituer les informations, les titres et les conditions de négociation disponibles à chaque moment de décision simulé.

Cette reconstitution peut échouer même si la formule de rendement est correcte. Une base de données des entreprises existant aujourd’hui peut omettre celles qui ont disparu. Un chiffre économique révisé peut remplacer la version initialement publiée. Une stratégie peut utiliser à tort une date de publication ultérieure, ou être choisie parce qu’elle correspond fortuitement au même échantillon historique que celui utilisé pour présenter son résultat.

Il s’agit de problèmes différents. Le biais de survivance concerne les entités qui restent dans l’échantillon. Le biais d’anticipation concerne des informations provenant du futur simulé. Le surajustement concerne des choix adaptés à des observations historiques particulières. Ils peuvent se cumuler, mais les identifier séparément facilite l’examen des hypothèses de recherche.

Conserver une chronologie des informations

Un univers reconstitué à une date donnée recense les composantes admissibles à la date simulée, y compris celles qui seront retirées plus tard. Les rapports financiers ont aussi besoin de dates de disponibilité, et pas seulement de la période qu’ils décrivent. Une période comptable de décembre peut faire l’objet d’une publication plusieurs mois après. Utiliser ses chiffres définitifs pour une décision de décembre peut introduire des informations que l’analyste simulé ne possédait pas.

Les révisions et les opérations sur titres nécessitent elles aussi un traitement cohérent. Une série de cours ajustée peut servir au calcul des rendements, mais la méthode d’ajustement et les informations disponibles doivent correspondre au test. Les recherches ci-dessous examinent la composition rétrospective des indices de référence et la sélection répétée de modèles ; l’exemple synthétique est construit indépendamment plutôt que copié d’un résultat empirique.

Les fuseaux horaires de publication peuvent compter pour les décisions prises près de l’ouverture du marché.

Un échantillon propre ne règle ni le choix du modèle ni la négociation

Essayer de nombreuses règles et ne présenter que le meilleur résultat historique crée un problème de sélection, même sans entreprises manquantes. La règle retenue peut capter des configurations dues au hasard dans cet échantillon. Une période d’évaluation restée à l’écart de la sélection peut apporter des éléments supplémentaires, mais la consulter de façon répétée en fait un autre outil de sélection. Aucun découpage ni indicateur statistique ne garantit à lui seul qu’un modèle restera utile.

Les hypothèses de négociation comptent aussi. Les commissions, les écarts acheteur-vendeur, l’impact de marché, les contraintes d’emprunt et le moment d’exécution peuvent séparer le prix du modèle d’une transaction réalisable. L’exemple omet ces coûts pour isoler le problème d’univers. Un rapport d’analyse devrait préciser les exclusions et les spécifications infructueuses ou alternatives, plutôt que de laisser un graphique lisse tenir lieu de méthode reproductible.