Comparaisons multiples

Vingt hypothèses, testées chacune au seuil de 5 %. Lancez-les une à une pour observer où tombe chaque valeur p, puis modifiez la règle de décision. Commencez par du bruit pur, puis donnez corps à quelques effets réels.

Exemple résolu — Comparaisons multiples

Seuil de Bonferroni pour chaque test	0,0025

Ce sont les valeurs affichées par le calculateur à l’ouverture de la page. Modifiez une entrée ci-dessus pour les recalculer.

Chargement de la simulation interactive...

Leçon

La théorie — Comparaisons multiples

Une famille de tests rassemble l'ensemble des tests d'hypothèse portant sur une même question ou un même jeu de données. Son taux d'erreur par famille correspond à la probabilité de rejeter au moins une hypothèse nulle vraie : 1 − (1 − α)^m₀ lorsque m₀ hypothèses nulles vraies et indépendantes sont testées chacune au seuil α. La méthode de Bonferroni teste chacune des m hypothèses au seuil α/m. La méthode de Holm ordonne les valeurs p et teste la i-ième plus petite au seuil α/(m − i + 1), en s'arrêtant au premier échec. Toutes deux maintiennent le taux d'erreur par famille inférieur ou égal à α. La procédure de Benjamini–Hochberg rejette les k plus petites valeurs p, où k est le plus grand indice i vérifiant p_(i) ≤ iα/m, et garantit que le taux de fausses découvertes, c'est-à-dire la proportion moyenne de faux rejets, ne dépasse pas (m₀/m)α pour des tests indépendants.

Ce que signifie chaque symbole

m: le nombre de tests dans la famille
m₀: le nombre d'hypothèses nulles vraies parmi eux ; m − m₀ sont des effets réels
α: le seuil auquel chaque test est soumis individuellement, ici 5 %
p₍ᵢ₎: la i-ième plus petite valeur p de la famille
δ: la taille d'un effet réel, exprimée en erreurs-types de sa statistique de test

Suppose: Les tests sont des tests z bilatéraux et indépendants ; sous l'hypothèse nulle vraie, la valeur p suit une loi uniforme entre 0 et 1 ; tous les effets réels ont la même amplitude ; enfin, la famille, sa taille et sa règle de décision sont fixées avant d'observer les données.

Quatorze tests sans effet, et la fausse découverte devient plus probable qu'improbable 🖖

Cliquez sur Quatorze tests sans effet. Chaque test tient sa promesse : une hypothèse nulle vraie ne franchit le seuil de 5 % qu'une fois sur vingt. La famille, elle, ne promet rien de tel. La probabilité qu'aucun des quatorze tests ne le franchisse vaut 0,95¹⁴ ; celle qu'au moins un réussisse s'élève donc à 51,23 %, et grimpe à 64,15 % pour vingt tests. Treize tests donnent 48,67 % : quatorze est ainsi la plus petite famille où la fausse découverte devient l'issue la plus probable. À vingt tests, le tableau indique un nombre moyen de fausses découvertes de 20 × 0,05 = 1 exactement, même si 35,85 % de ces familles ne trouvent absolument rien. Randall Munroe a illustré toute l'histoire dans la planche 882 de xkcd, intitulée Significant : des chercheurs testent vingt couleurs de bonbons gélifiés contre l'acné, la verte passe sous 0,05, et le journal titre « seulement 5 % de chances que ce soit une coïncidence ! » Pris isolément, ce test vert a effectivement 5 % de chances de rejeter à tort l'hypothèse nulle. La manchette a simplement oublié les dix-neuf autres.

Face au bruit pur, les trois corrections s'accordent ; face à des effets réels, leurs engagements divergent 🖖

Cliquez sur Vingt tests sans effet et observez le tableau. Bonferroni laisse passer une fausse découverte dans 4,88 % des familles, Holm exactement de même à 4,88 %, et Benjamini–Hochberg à 5,00 %. Lorsque chaque hypothèse est une hypothèse nulle vraie, tout résultat positif est une fausse découverte : les trois méthodes surveillent alors exactement la même chose. Cliquez à présent sur Cinq effets réels sur vingt. Bonferroni et Holm maintiennent toujours le risque d'une quelconque fausse découverte sous les 5 %, à 3,69 % et 4,13 %, mais ils le paient cher : chacun ne détecte en moyenne qu'environ deux des cinq effets réels. Benjamini–Hochberg laisse passer au moins une fausse découverte dans 13,99 % des familles, mais en détecte 2,81. Ce qu'elle maîtrise à la place, c'est la proportion de fausses découvertes parmi ses résultats : au plus (m₀/m) × 5 % en moyenne, soit ici 15/20 × 5 % = 3,75 %. Yoav Benjamini et Yosef Hochberg ont établi cette borne en 1995 pour des tests indépendants, et le calcul exact de la page coïncide parfaitement. Faites glisser le curseur de puissance de 20 % à 99 % : les 3,75 % ne bougent pas, tandis que la probabilité d'au moins une fausse découverte grimpe de 4,63 % à 19,84 %. Si une seule fausse alerte coûte cher, maîtrisez le risque global. Si vous filtrez en revanche de nombreux candidats en vue d'une seconde étape de confirmation (le cas du criblage de molécules pharmaceutiques décrit par Benjamini et Hochberg), accepter une fraction mesurée de fausses pistes est le prix à payer pour identifier bien plus d'effets réels.

Benjamini–Hochberg se montre d'autant plus généreuse qu'il y a d'effets à découvrir 🖖

Le seuil de Bonferroni reste fixé à 0,05/m quelles que soient les données : pour vingt tests et une puissance de 80 %, chaque effet réel n'est donc détecté que dans 41,23 % des cas, qu'il soit unique ou perdu au milieu de quinze autres. Benjamini–Hochberg compare la i-ième plus petite valeur p à i × 0,05/m. Chaque résultat net placé en tête de liste décale donc les suivants d'un rang vers le bas, où le seuil devient plus large et plus facile à franchir. Avec un seul effet réel parmi vingt, il n'est détecté que 42,06 % du temps, à peine mieux que Bonferroni. Avec cinq, la puissance individuelle monte à 56,24 % ; avec quinze, elle atteint 72,68 %, tandis que Holm plafonne en passant timidement de 41,25 % à 46,07 %. Cliquez sur Quinze effets réels sur vingt puis choisissez Trié par p pour en comprendre la raison. L'escalier de Holm et la droite de Benjamini–Hochberg partent tous deux de 0,0025 pour la plus petite valeur p et culminent tous deux à 0,05 pour la plus grande. Cependant, les marches de Holm restent très basses jusqu'aux tout derniers rangs — seulement 0,05/11 = 0,0045 au dixième rang, là où Benjamini–Hochberg a déjà atteint 10 × 0,0025 = 0,025. Benjamini et Hochberg soulignaient déjà ce point dans leur article fondateur : plus le nombre d'hypothèses nulles fausses est grand, plus le gain de puissance est spectaculaire par rapport à une règle contrôlant le risque global de fausse découverte. Sur chaque famille, les trois méthodes sont emboîtées, puisque 0,05/m ≤ 0,05/(m − i + 1) ≤ i × 0,05/m : Holm retient tout ce que Bonferroni retient, et Benjamini–Hochberg retient tout ce que Holm retient.

Problème entièrement résolu

Ce que Bonferroni coûte en taille d'échantillon 3 étapes
Une étude prévoit vingt comparaisons et appliquera la correction de Bonferroni. Chaque comparaison a été calibrée pour offrir une puissance de 80 % au seuil de 5 %. De combien faut-il augmenter chaque échantillon pour retrouver ces 80 % de puissance ? Cliquez d'abord sur Cinq effets réels sur vingt : le tableau des résultats indique la taille de l'effet et sa puissance sous la correction de Bonferroni.

Ouvrez ce problème dans l'outil
1. D'après la page, une puissance de 80 % à 5 % correspond à un effet de δ = 2,802 erreurs-types ; or, au seuil de 0,0025 imposé par Bonferroni, ce même effet n'est plus détecté que 41,23 % du temps :
  
  $Φ (δ - 1.960) + Φ (- δ - 1.960) = 0.80 \Rightarrow δ = 2.802, Φ (2.802 - 3.023) + Φ (- 2.802 - 3.023) = 0.4123$
2. En négligeant la probabilité de franchir le seuil opposé (inférieure à 10⁻⁶ à 5 % et à 10⁻¹¹ à 0,0025), une puissance de 80 % exige δ = z + 0,8416, où z est la valeur critique bilatérale et Φ(0,8416) = 0,80. Au seuil de 5 %, cela donne 1,960 + 0,842 = 2,802, et au seuil de 0,0025, on obtient 3,023 + 0,842 = 3,865 :
  
  $δ \approx z + 0.8416 : 1.960 + 0.842 = 2.802, 3.023 + 0.842 = 3.865$
3. L'erreur-type diminuant en 1/√n, δ croît en √n : l'échantillon doit donc être multiplié par le carré de ce rapport :
  
  $δ \propto n \Rightarrow \frac{n ^{'}}{n} = (\frac{3 . 865}{2 . 802})^{2} = 1.903$
Réponse

Environ 1,90 fois plus d'observations dans chaque comparaison, puisque (3,865/2,802)² = 1,903. Avec 100 comparaisons, le seuil de Bonferroni descend à 0,0005 et le facteur atteint 2,38. Holm et Benjamini–Hochberg exigent un surcroît moindre, dans une mesure qui dépend du nombre d'effets réels : le tableau de la page indique ce que chacun découvre, ce que ce calcul théorique ne permet pas de déterminer.

$1.90 \times the sample (m = 20), 2.38 \times (m = 100)$

Parcours

Ce que p < 0,05 ne promet pas

Références (2)

The step-up rule the page calls Benjamini–Hochberg (reject the k smallest, k the largest i with p(i) ≤ (i/m)q*), the definition of the false discovery rate as E(V/R) with V/R = 0 when nothing is rejected (the table note), Theorem 1 and its lemma's bound E(Q) ≤ (m0/m)q* for independent test statistics (the second insight's 3.75%), that the FDR equals the FWER when every null is true (the second insight's agreement on noise), that the gain in power is larger when more of the hypotheses are false (the third insight), screening chemicals for drug development as a use for FDR control (the second insight), and that the procedure has greater power than Holm's (1979): Y. Benjamini and Y. Hochberg, "Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing," Journal of the Royal Statistical Society, Series B (Methodological) 57 (1), 289–300 (1995).
The first insight's comic: twenty jelly-bean colours tested against acne, green alone 'p < 0.05', and the newspaper's 'only 5% chance of coincidence': R. Munroe, "Significant," xkcd no. 882.

Par l’équipe 42Math · Vérifié sur des sources publiées. Corrections bienvenues.