Test de séquences de motifs

Ce format à 4 choix, évalué de façon binomiale, rappelle les expériences de cartes de Zener menées par J. B. Rhine à l'université Duke dans les années 1930 — les sujets devinaient une séquence de 5 symboles et étaient évalués par rapport à la même base de référence due au hasard qu'ici. Rhine a rapporté des taux de réussite supérieurs au hasard et y a vu une preuve de perception extrasensorielle, mais des analyses ultérieures ont montré que les résultats s'effondraient sous des contrôles rigoureux : fuites sensorielles, publication sélective des bonnes sessions et erreurs d'enregistrement expliquaient les scores « psychiques ». La leçon dépasse la parapsychologie — une valeur p inférieure à 0,05 n'est la preuve d'un signal que si l'expérience a d'abord écarté toute explication banale, y compris la reconnaissance de motifs par l'être humain.

Avec quatre options, deviner au hasard réussit en moyenne 25% — soit environ 2.5 bonnes réponses sur 10 manches. Mais le hasard est bruité : un simple devineur obtient tout de même 5 sur 10 dans près de 8% des cas, donc un score qui semble impressionnant peut n'être que de la variance. C'est pourquoi l'outil modélise votre résultat par X ~ Binomial(n, p = 0.25) : dans le mode à 10 manches, il vous faut en réalité 6 bonnes réponses, et non 5, pour que votre score franchisse le seuil p < 0.05 et compte comme une vraie compétence.

Cette même probabilité de 25% de deviner juste a jadis façonné la notation des grands examens. Pour annuler tout avantage lié au hasard, la 'notation par formule' retirait une fraction de point à chaque mauvaise réponse — calibrée pour qu'une réponse au hasard rapporte zéro en moyenne ; pour une question à quatre options, cette fraction vaut exactement 1/3. Le SAT a appliqué ce barème négatif pendant des décennies, jusqu'en 2016, avant de supprimer la pénalité et d'inviter les candidats à deviner sans crainte.