Arrêt optionnel

Les expériences présentées ici démarrent sans aucun effet réel. Cliquez sur Lot suivant et suivez l'évolution du score z après chaque apport de données : dès qu'il franchit le seuil, l'expérience s'interrompt et annonce p < 0,05. Lancez ensuite les 999 autres.

Exemple résolu — Arrêt optionnel

Seuil à l'analyse 1	1,960
L'analyse 1 s'arrête si p <	0,0500
Seuil à l'analyse K	1,960
L'analyse K s'arrête si p <	0,0500
Taux de faux positifs sans effet, exact	19,34%
Détection de l'effet réel, exact	86,49%
Part des données utilisée, effet réel	50,0%
Dans ce tirage de 1 000 expériences (tirage 1)	176 sur 1 000 menées se sont arrêtées avec p < 0,05 (17,60%)

Ce sont les valeurs affichées par le calculateur à l’ouverture de la page. Modifiez une entrée ci-dessus pour les recalculer.

Chargement de la simulation interactive...

Leçon

La théorie — Arrêt optionnel

L'arrêt optionnel consiste à décider du terme d'une expérience au vu de ses résultats intermédiaires : tester après chaque lot de données et s'arrêter dès que le test est significatif. En appliquant le seuil d'échantillon fixe |z_k| ≥ 1,96 à chacune des K analyses, la probabilité d'un faux positif vaut P(|z_k| ≥ 1,96 pour au moins un k ≤ K), ce qui dépasse 5 % pour tout K ≥ 2. Une frontière séquentielle groupée définit des seuils c₁, …, c_K de sorte que cette probabilité vaille exactement 5 % : celle de Pocock emploie une constante unique, celle d'O'Brien et Fleming utilise C_B√(K/k).

Ce que signifie chaque symbole

K: le nombre d'analyses, régulièrement espacées tout au long de la collecte
zₖ: la statistique z calculée sur l'ensemble des données jusqu'à l'analyse k
cₖ: le seuil à l'analyse k ; l'expérience s'arrête dès que |zₖ| ≥ cₖ
θ: l'effet réel, ajouté à chaque lot, exprimé en écarts-types du total d'un lot

Suppose: Les données suivent une loi normale d'écart-type connu, ou sont en nombre suffisant pour que le test z reste valide ; les analyses sont régulièrement espacées ; chaque test est bilatéral, avec un seuil à 5 % pour chaque analyse naïve et un seuil plus strict pour chaque frontière afin de maintenir le risque global à 5 % ; enfin, la taille maximale de l'échantillon est fixée à l'avance et identique pour chaque règle, les analyses ne faisant que la subdiviser.

Chaque analyse apporte moins que la précédente, mais dix suffisent à faire passer 5 % à 19 % 🖖

Cliquez sur Dix analyses. Il ne se passe rien dans ces expériences, et la première analyse se montre sage : elle en arrête 5,00 %, comme doit le faire un test isolé. La deuxième analyse en intercepte 3,31 % de plus, repêchant des expériences qui avaient frôlé le seuil à la première avant de basculer à la seconde. Chaque analyse ultérieure en ajoute un peu moins, à peine 0,81 point pour la dixième ; l'illusion de gratuité s'installe, mais le total après dix analyses grimpe à 19,34 %. Le tableau montre où cela mène. De 4 analyses à 100, chaque doublement du nombre d'analyses ajoute entre 5,0 et 5,5 points, si bien que cent analyses atteignent 37,36 %. Nulle part cette page ne vous demande la taille d'un lot, car le résultat n'en dépend absolument pas : dix analyses coûtent les mêmes 19,34 %, que chaque lot compte dix patients ou dix mille. Klim McPherson a mis ce chiffre sous les yeux des cliniciens dans le New England Journal of Medicine en 1974, montrant comment dix analyses sans correction transformaient un seuil nominal de 5 % en près de 20 %, cinq ans après avoir tabulé cette inflation avec Peter Armitage et B. C. Rowe dans le Journal of the Royal Statistical Society. La p-valeur calculée à l'arrêt fait comme si l'expérience avait été conçue pour s'achever à cet instant précis, ce qui n'était nullement le cas.

Pocock peut autoriser plus d'un cinquième de 5 % à chacune des cinq analyses 🖖

Cliquez sur Pocock, cinq analyses. Le seuil reste identique à chaque étape, relevé jusqu'à ce que le taux global atteigne exactement 5 % : |z| ≥ 2,413, soit une p-valeur inférieure à 0,0158. Diviser 5 % à parts égales donnerait 0,01 par analyse, selon la correction de Bonferroni issue des <a href="/stat/multiple-comparisons">comparaisons multiples</a> ; or cette approche est ici inutilement sévère. Les cinq tests partagent leurs données. Les données de la quatrième analyse représentent les quatre cinquièmes de celles de la cinquième : la corrélation entre les deux scores z vaut √(4/5) = 0,894, et une expérience qui franchit le seuil à la cinquième en était généralement déjà très proche à la quatrième. Additionner les cinq probabilités, 5 × 0,0158 = 7,9 %, compte ces recoupements plusieurs fois. L'écart grandit avec le nombre d'analyses : à 100 analyses, Pocock autorise p < 0,0040 à chacune, soit huit fois 0,05/100. Stuart Pocock a développé cette méthode dans Biometrika en 1977 précisément pour le cas traité ici : des groupes de patients de même taille et une réponse normale de variance connue. Cliquez maintenant sur O'Brien–Fleming, cinq analyses. Son seuil décroît à mesure que les données s'accumulent, selon C_B√(K/k) : 4,562 à la première analyse, où p doit être inférieur à environ 0,000005, puis 2,040 à la cinquième. Les barres en illustrent l'effet : la méthode consomme les quatre cinquièmes de ses 5 % lors des deux dernières analyses.

Face à un effet réel, O'Brien–Fleming préserve presque toute la puissance et Pocock perd neuf points 🖖

Cliquez sur Pocock, effet réel. L'effet est calibré pour qu'un test unique sur la totalité des données le détecte dans 80 % des cas. Réparties sur cinq analyses avec la frontière de Pocock, ces mêmes données ne le détectent plus que dans 70,89 % des cas. En contrepartie, l'expérience s'arrête plus tôt : elle ne consomme en moyenne que 70,7 % des données. Cliquez sur O'Brien–Fleming, effet réel : 78,88 % de détection, pour 80,1 % des données utilisées. Son dernier seuil, 2,040, est à peine plus exigeant que 1,96 : une expérience menée jusqu'à son terme est donc jugée presque comme le ferait un test unique. Le tableau prolonge la comparaison : à 100 analyses, O'Brien–Fleming conserve 77,85 % de puissance et Pocock 60,65 %. Les deux colonnes « Tout p < 0,05 » expliquent pourquoi s'arrêter au premier résultat significatif semble si séduisant à première vue. Cette approche naïve détecte l'effet dans 84,84 % des cas avec cinq analyses, soit davantage que les deux frontières ; mais elle aurait tout autant conclu à un effet dans 14,17 % des cas où il n'y avait absolument rien.

Problème entièrement résolu

La quatrième analyse sur dix 4 étapes
Une boutique en ligne teste une nouvelle page de paiement auprès de 10 000 visiteurs et examine les résultats tous les 1 000. Selon la frontière d'O'Brien–Fleming, quel seuil la p-valeur doit-elle franchir à la quatrième analyse pour interrompre le test ? Cliquez d'abord sur Dix analyses, O'Brien–Fleming : la page indique le seuil à la première et à la dernière analyse.

Ouvrez ce problème dans l'outil
1. D'après la page, le seuil à la dernière analyse vaut C_B :
  
  $C_{B} (10) = 2.087, 2 (1 - Φ (2.087)) = 0.0369$
2. Tous les autres seuils s'obtiennent en multipliant C_B par √(K/k). À la quatrième analyse sur dix :
  
  $c_{4} = C_{B} K / k = 2.087 \times 10/4 = 2.087 \times 1.5811 = 3.300$
3. En p-valeur bilatérale, d'après la loi normale :
  
  $p_{4} = 2 (1 - Φ (3.300)) = 0.00097$
4. À titre de comparaison, un arrêt dès que p < 0,05 sur ces mêmes dix analyses donne, d'après le tableau :
  
  $P (∣ z_{k} ∣ \geq 1.96 at some k \leq 10) = 0.1934$
Réponse

p inférieur à 0,00097, soit environ une chance sur mille. Un résultat de p = 0,004 à la quatrième analyse, qui suffirait à claironner une victoire lors d'un test naïf, laisse ici le test d'O'Brien–Fleming se poursuivre. À la dixième analyse, l'exigence s'établit à p < 0,0369, à peine plus stricte que 0,05, et l'ensemble du protocole maintient le taux de faux positifs à 5 %, alors qu'un arrêt au premier p < 0,05 en laisse passer 19,34 %.

$p_{4} < 0.00097, p_{10} < 0.0369$

Parcours

Ce que p < 0,05 ne promet pas

Références (2)

The first insight's history: Klim McPherson's 1974 note in the New England Journal of Medicine, showing that testing accumulating data ten times without adjustment raises a nominal 5% false-positive rate to nearly 20% (the page computes 19.34%), and his earlier tables of the inflation with Peter Armitage and B. C. Rowe (1969). Also the source for O'Brien and Fleming's 1979 boundary being the one that became standard: C. Gluud and K. Thorlund, "Long overdue recognition of Klim McPherson's 1974 article on sequential analysis of trial data," JLL Bulletin: Commentaries on the history of treatment evaluation, James Lind Library, 2025 (also J R Soc Med 2025;118:304–307). On K. McPherson, N Engl J Med 1974;290:501–502; P. Armitage, C. K. McPherson and B. C. Rowe, J R Stat Soc A 1969;132:235–244; P. C. O'Brien and T. R. Fleming, Biometrics 1979;35:549–556.
Pocock's group sequential design: patients enter in equal-sized groups, the trial stops or continues after each group on a repeated significance test, with exact results for two treatments and a normal response of known variance, which is the model the page computes. The constants the page prints (2.178, 2.289, 2.361, 2.413, 2.555 for 2, 3, 4, 5, 10 looks) are the module's own, asserted in check:compute: S. J. Pocock, "Group sequential methods in the design and analysis of clinical trials," Biometrika 64(2), 191–199, 1977. doi:10.1093/biomet/64.2.191

Par l’équipe 42Math · Vérifié sur des sources publiées. Corrections bienvenues.