Comparaisons a priori versus comparaisons a posteriori

Une comparaison est l’exécution de la procédure destinée à répondre à une hypothèse de l’expérimentateur, on en définit 2 sortes :

• la comparaison a priori répond à une hypothèse établie avant la réalisation de l’analyse statistique, lors de l’établissement du protocole ;
  
• la comparaison a posteriori n’est pratiquée qu’après recueil et examen préliminaire des données (en particulier des moyennes et des écart-types des groupes à comparer).

Pour bien saisir la différence entre les deux, prenons l’exemple d’une situation où l’on est amené à étudier l’influence d’un paramètre à 5 modalités sur la mesure d’une variable quantitative. Le protocole nous conduit à étudier 5 groupes différents d’où sont calculées 5 valeurs moyennes. Dans l’analyse la plus exhaustive, on serait amené à effectuer C²₅ comparaisons, soient (5*4)/2=10 comparaisons, ce qui entraîne inévitablement une augmentation du risque d’erreur de l’ensemble (rejet à tort de H0).

1^er cas : le choix de 2 moyennes à comparer est planifié à l’avance. Dans ce cas, on ne cours qu’une seule fois le risque de commettre une erreur de 1^ère espèce (rejet à tort de H0 avec un risque d’erreur à 5%).

2^ème cas : on examine au préalable les statistiques descriptives des différents groupes avant de décider lesquels doivent être comparés. Dans ce cas, par processus mental, on exécute déjà un certain nombre de comparaisons 2 à 2, en excluant de l’analyse postérieure les groupes dont l’écart entre les moyennes est le plus réduit. Cette situation équivaut à effectuer la totalité des comparaisons des groupes par paires et donc à augmenter le risque d’erreur de l’ensemble.

On mesure bien avec cet exemple que, si le choix du (ou des) groupe(s) à comparer est effectué a priori, le risque de commettre une erreur de première espèce est bien moindre que si on effectue des comparaisons a posteriori.

Faut-il, du coup, s’interdire de pratiquer des tests a posteriori ? bien évidemment non. Toutefois, il est crucial de bien maîtriser les spécificités de ceux-ci afin de connaître leurs limites et identifier lesquels contrôlent suffisamment l’augmentation du risque d’erreur de l’ensemble.

Remarque : le test de Dunnett (comparaisons de groupes par rapport à un groupe témoin, ou de référence) est toujours considéré comme un test a posteriori (StatEL ne fait pas exception). Toutefois, stricto sensu, celui-ci est typiquement un test défini a priori puisqu’on sait, dès la définition du protocole, quels groupes seront comparés 2 à 2.