Les risques d'erreur lors des comparaisons multiples

Une question récurrente d'utilisateurs de StatEL (et au demeurant tout à fait légitime) m'incite à publier ce message. Puisqu'on est capable de comparer les moyennes entre 2 groupes de sujets (t de Student, ou autre), pourquoi ne pas multiplier les comparaisons 2 à 2 lorsqu'on a plus que 2 goupes à comparer ?

Avant d'aller plus loin sur ce thème, je précise tout de suite que la bonne démarche dans un tel cas de figure est d'entreprendre une Anova, bien plus adaptée que le test t de Student. Ce dernier teste l'hypothèse H0 suivante : les 2 échantillons étudiés proviennent d'une même population de sujets ; ce qui se manifeste par 2 distributions présentant les caractéristiques de celle de la population (sous condition d'une distribution selon la loi de Gauss).

Ainsi, prélevons K échantillons de sujets à partir d'une seule et même poplation, on s'attend à ce que la distribution de chacun des K échantillons se rapproche de celle de la population, de même que leurs moyennes. Pourtant, par le biais des fluctuations de l'échantillonnage aléatoire, rien n'exclut la possibilité de prélever un échantillon dont la distribution et la moyenne s'écartent fortement de celles de la population. Il est facile de mesurer que ce risque s'accroît avec le nombre d'échantillons ; et donc avec le nombre de comparaisons 2 à 2 (pour coller avec le sujet de ce message).

En multipliant les comparaisons de moyennes 2 à 2, on augmente donc le risque de rejeter à tort l'hypothèse H0 d'égalité des moyennes (risque alpha de première espèce). L'intérêt de l'Anova, dont le calcul porte sur les composantes de la variance des échantillons, est de s'affranchir de ce problème. [En revanche, elle ne permet pas à elle seule d'affiner les conclusions quant aux comparaisons inter-groupes ; il faut nécessairement passer par les tests a posteriori (post hoc tests en anglais).]

Exemple : supposons qu'une Anova réalisée sur 5 groupes de sujets (H0 : les moyennes des différents groupes ne sont pas significativement différentes / H1 : il existe au moins 1 groupe dont la moyenne diffère significativement des autres) ne permette pas le rejet de H0. Si on décide, à la place de faire les comparaisons 2 à 2, on est amené à effectuer (5x4)/2 = 10 comparaisons successives, au cours desquelles le risque de rejeter H0 à tort augmente de façon multiplicative (et non pas additive).

Il convient donc de distinguer :

• le risque d'Erreur par Comparaison (EC / "Comparison Error Rate" en anglais) correspondant au risque alpha de première espèce (concernant le risque de rejeter H0 à tort sur une seule comparaison entre 2 moyennes),
• le risque d'Erreur de l'Ensemble (EE / "Family Wise Error Rate" en anglais) correspondant au risque cumulé de rejeter à tort H0 au cours des comparaisons multiples ; ce risque s'accroît avec le nombre de comparaisons.

Le calcul de ce risque EE (a') s'effectue à partir du risque EC (a) de plusieurs façons selon les auteurs ("c" est le nombre de comparaisons 2 à 2) :

• selon Bonferroni : a' = a . c
• selon Sidak : a' = 1 - (1 - a)^c

Ainsi, pour reprendre notre exemple où on disposait de 5 groupes à comparer entre eux (donc 10 comparaisons possibles) :

• selon Bonferroni : a' = 0.05 x 10 = 0.5 (50 % de risque de commettre une erreur de première espèce parmi les 10 comparaisons)
  
• selon Sidak : a' = 1 - (1 - 0.05)¹⁰ = 0.4 (40 % de risque de commettre une erreur de première espèce parmi les 10 comparaisons)
  

Afin de ne pas voir ce risque EE "trop" augmenter au cours des comparaisons multiples, il convient de réduire le risque EC (risque alpha de première espèce) pour chaque comparaison entre 2 moyennes. Le calcul de ce nouveau risque alpha se fait également selon des formules différentes selon les auteurs ("c" reste le nombre de comparaisons 2 à 2) :

• selon Bonferroni : a = a' / c
• selon Sidak : a = 1 - (1 - a')^1/c

Reprenons une dernière fois notre exemple et calculons le risque alpha à ne pas dépasser pour chaque comparaison 2 à 2 afin de limiter EE à 0.05 au terme des 10 comparaisons :

• selon Bonferroni : a = 0.05 / 10 = 0.005
  
• selon Sidak : a = 1 - (1 - 0.05)^1/10 = 0.005