Q = |M1 - M2 | / (MCR / n)¹/²
La valeur obtenue (Q) sera comparée à une valeur théorique, spécifique du test considéré et dont l’intérêt réside dans l’équilibre entre puissance du test et contrôle du risque d’erreur de l’ensemble pEE (i.e. maintenir un risque d’erreur de 1ère espèce à 5% en dépit de la répétition des comparaisons 2 à 2).
- Test LSD de Fisher : Least Significant Difference (PPDS ou Plus Petite Différence Significative).
Toutefois, ce test contrôle très mal l’augmentation de pEE avec la multiplication des comparaisons, de fait dès 3 comparaisons. Pour résoudre cette difficulté, on peut corriger la valeur limite de comparaison en réduisant le risque de 1ère espèce pour chacune des comparaisons 2 à 2. Autrement dit, on n’effectue plus chaque comparaison 2 à 2 avec un risque α = 0.05, mais en utilisant une valeur α’ inférieure.
Deux types de corrections ont été proposés :
- Bonferroni remplace α par α / (c-1)
- Sidak remplace α par 1 - (1- α)c
avec c = nombre de comparaisons
Au final, pEE est toujours maintenu à une valeur inférieure à 5%. Le revers de la médaille est que ce test devient très conservateur, c'est-à-dire qu’il finit pas ne plus rejeter l’hypothèse H0 d’égalité des moyennes lorsque l’écart entre celles-ci est faible.
- Test SNK, de Student, Newman & Keuls : PPAS (Plus Petite Amplitude Significative)
- soient les moyennes de 5 groupes classées par ordre croissant (m1 < m2 < m3 < m4 < m5),
- la première comparaison s’effectue entre m1 et m5, supposons que la valeur du p permette de rejeter H0,
- la comparaison suivante concerne m1 et m4 mais cette fois la valeur du p ne permet pas le rejet de H0, dans ce cas, la procédure de comparaison ne poursuivra pas en étudiant les moyennes m1 vs m3 ou m1 vs m2 puisque leurs écarts sont moins importants qu’entre m1 et m4,
- la procédure de comparaison se poursuit entre m2 et m5, etc…
Caractéristique : la valeur limite utilisée dans ce calcul est fonction du nombre de groupes inclus dans le sous-groupe considéré (ex : entre m1 et m5 le nombre de groupes est 5, entre m2 et m5 le nombre de groupes est 4…).
Ce test est plus puissant que le test LSD, en revanche le contrôle de l’augmentation du pEE est assez peu efficace et, au final on peut arriver à des risques d’erreur de l’ensemble nettement supérieurs au risque d’erreur par comparaison.
- Test HSD de Tuckey : Honestly Significant Difference
De ce fait, le test HSD de Tuckey contrôle mieux que le test SNK le risque d’erreur de l’ensemble, lequel ne dépassera jamais le risque d’erreur par comparaison. La contrepartie est qu’il est du coup moins puissant (ou plus conservateur) que le test SNK, ce qui peut se manifester par le non rejet d’hypothèses H0 fausses.
- Test de Ryan :
On passe ainsi de α à c.α/k adapté pour chaque comparaison, avec :
- c = nombre de groupes dans le sous-groupe considéré,
- k = nombre total de groupes à comparer.
- Test de Dunnett :
Comme les tests précédents, le test de Dunnett est basé sur le principe dit de « l’écart studentisé », en utilisant toutefois la valeur limite tirée d’une table spécifique, calculée de telle façon que le pEE est contrôlé : la table de Dunnett.
La version 2.4 de StatEL (novembre 2009) propose ces fonctionnalités dans les procédures de tests a posteriori, accessibles lors des processus d'Anova et d'Ancova. Vous avez ainsi la garantie du contrôle de l'erreur de l'ensemble lors de vos comparaisons multiples. En ce qui concerne le test SNK qui maîtrise moins bien l'augmentation de ce risque, StatEL vous alerte lorsque celui-ci dépasse les valeurs autorisées.