Explorateur de la loi de Benford

Choisissez une série de nombres et comparez leurs premiers chiffres à la loi de Benford. Changez ensuite les unités et observez les jeux de données qui se décalent.

Chargement de la simulation interactive...

Pourquoi le premier chiffre est un 1 près d'un tiers du temps 🖖

Les neuf chiffres n'ont pas la même probabilité d'apparition car le premier chiffre ne se répartit pas uniformément sur les valeurs. Sa distribution est uniforme sur les logarithmes. Passer de 1 à 2 nécessite de doubler la quantité. Passer de 8 à 9 représente une augmentation de 12,5 %. Une grandeur qui croît par multiplication passe par conséquent six fois et demie plus de temps avec un 1 en premier chiffre qu'avec un 9. Le calcul log₁₀(2) = 0,301 donne exactement la fraction d'une décade occupée par l'intervalle entre 1 et 2. Chaque pourcentage de la loi découle de cette unique formule : log₁₀(1 + 1/d), ce qui donne 30,1 % pour le 1 et 4,6 % pour le 9.

Changez les unités et observez quelles données pouvaient vraiment suivre cette loi 🖖

Multiplier chaque valeur par une constante décale tous les logarithmes de la même quantité. Un ensemble dont les logarithmes sont déjà uniformément répartis reste donc inchangé. Vous pouvez d'ailleurs le vérifier ici-même plutôt que de le prendre pour acquis. Prenez la suite de Fibonacci et convertissez-la comme s'il s'agissait de centimètres devenant des pouces, puis de miles se transformant en kilomètres : 30,1 %, 30,1 %, 30,0 %. Le khi-deux ne sort jamais de la plage allant de 0,03 à 0,19. Appliquez maintenant ce principe aux tailles. En centimètres, chaque valeur commence par 1. En pouces, 86 % débutent par 6. En pieds, 96 % s'ouvrent sur un 5. Il s'agit des mêmes individus. Il vous faut toutefois connaître une subtilité avant d'essayer : multiplier par une puissance de dix déplace la virgule et rien d'autre. L'opération ×100 laisse absolument tous les jeux de données exactement là où ils se trouvaient, y compris ceux qui échouent au test. C'est à dessein qu'il figure dans l'ensemble de contrôle.

L'intervalle doit se terminer sur une décade, ce que les données réelles ne font jamais 🖖

On conseille souvent d'appliquer cette loi sur des données couvrant plusieurs ordres de grandeur. Ce conseil est judicieux, mais la justification habituelle ne l'est pas. Répartissez des valeurs uniformément par logarithme sur exactement une décade et elles correspondront parfaitement à la loi. Vous obtiendrez 30,2 % de 1 en premier chiffre, avec un khi-deux de 11,3 sur cinq mille valeurs. Ce n'est pas une approximation. Des logarithmes uniformes sur une décade complète définissent mathématiquement la loi de Benford. Deux, trois, quatre, six et dix décades donnent des khi-deux de 8,1, 5,0, 4,8, 5,2 et 7,5. Tout fonctionne à merveille. Réglez maintenant l'intervalle sur 1,5 décade. Le khi-deux bondit à 456 et la loi est catégoriquement rejetée, sur une plage plus large que celle qui venait de réussir. La demi-décade restante compte ses petits chiffres en double, sans aucune compensation. Les données réelles sont sauvées par l'estompement de ce reste à mesure que l'intervalle s'allonge. La pénalité de la demi-décade chute de 4 707 à 0,5 décade pour atteindre 456 à 1,5, puis 191, 101, 57 et enfin 32 à 6,5. Les mesures réelles ne s'arrêtent jamais proprement sur une puissance de dix. Couvrir plusieurs ordres de grandeur permet donc simplement d'obtenir un reste trop infime pour peser sur le résultat.

Problèmes entièrement résolus

  1. Effectif attendu et contribution au khi-deux pour 24 des 200 notes de frais 6 étapes

    Un auditeur extrait 200 notes de frais et constate que 24 d'entre elles commencent par le chiffre 1. Ce résultat est-il cohérent avec la loi de Benford ? Calculez l'effectif attendu, la contribution de ce seul chiffre au khi-deux, et ce qu'exigerait le test complet avant que vous ne puissiez agir.

    1. Commencez par regarder ce que prévoit la loi. La probabilité d'un 1 en premier chiffre est de log₁₀(1 + 1/1) = log₁₀ 2 = 0,30103. Sur 200 réclamations, l'effectif attendu s'élève donc à 0,30103 × 200.

    2. Cela représente 60,2 réclamations. L'auditeur en a trouvé 24. Le déficit s'élève à 36,2 notes de frais. Il frappe précisément le chiffre qui, selon la loi, devrait dominer très largement.

    3. Le khi-deux additionne un terme par chiffre, chacun valant (observé − attendu)² ÷ attendu. Pour le premier chiffre 1, ce terme vaut (24 − 60,21)² ÷ 60,21.

    4. La valeur (−36,21)² donne 1 310,9, et la division par 60,21 aboutit à 21,77. Le test complet possède huit degrés de liberté et sa valeur critique à 5 % s'établit à 15,507. Ce seul chiffre a donc déjà poussé la statistique au-delà du seuil de rejet.

    5. Cela signifie que l'arithmétique est terminée, mais pas la déduction. Le khi-deux augmente avec la taille de l'échantillon. Les mêmes proportions sur 2 000 réclamations donneraient un terme dix fois supérieur, et un vaste ensemble de données authentiques pourrait échouer au test pour un écart que personne ne qualifierait de fraude. C'est pour cette raison que les auditeurs s'appuient plutôt sur l'écart absolu moyen, qui ne croît pas avec n.

    6. Il faut donc en conclure que ces 200 demandes ne suivent pas la distribution des premiers chiffres prévue par la loi de Benford. Quant à savoir ce que cela révèle, les chiffres ne peuvent pas le dire : dans une entreprise où les dépenses inférieures à 999 £ sont approuvées sans contrôle supplémentaire, les nombres commençant par neuf s’accumulent pour une raison parfaitement légitime. Il en va de même lorsqu’un montant journalier fixe est remboursé.

    Réponse

    Attendez-vous à 60,2 réclamations commençant par 1 ; 24 ont été trouvées. Ce seul chiffre contribue à hauteur de 21,77 à une statistique dont la valeur critique à 5 % est de 15,507. Le test conclut au rejet, et rejeter n'est pas synonyme de détecter. La loi de Benford sert de filtre pour indiquer à l'auditeur où chercher. Depuis les travaux fiscaux de Mark Nigrini dans les années 1990, chaque utilisation publiée dans ce cadre considère un échec comme une excellente raison d'ouvrir le dossier, et non comme une conclusion en soi. L'outil affiche l'écart absolu moyen à côté du khi-deux précisément pour cette raison. Passez à un jeu de données de 5 000 valeurs et regardez le khi-deux s'envoler pendant que l'écart bouge à peine.

  2. Un khi-deux de 0,2, et pourquoi c'est celui-là qui est suspect 6 étapes

    Chargez le préréglage Fibonacci. Le khi-deux affiche 0,2 face à une valeur critique de 15,507 à 5 %, la suite passe donc le test très largement. Calculez la probabilité d'un accord aussi bon, puis décidez de ce qu'un khi-deux très faible devrait dire à un auditeur.

    1. Commencez par comparer les effectifs. Mille nombres de Fibonacci placent 301 valeurs dans la case du premier chiffre 1, contre 301,03 pour la loi, et le plus grand désaccord parmi les neuf cases porte sur le chiffre 7 : 56 observés contre 57,99 attendus. Ce n'est pas proche. C'est presque exact.

    2. Un khi-deux à huit degrés de liberté a pour moyenne 8 et pour écart-type 4. La carte arrondit à 0,2 ; derrière se cache 0,1695, soit deux écarts-types sous la moyenne d'une statistique qui ne peut pas descendre sous zéro.

    3. La queue inférieure a ici une forme close, car huit degrés de liberté réduisent la gamma incomplète à quatre termes. Aucune table n'est nécessaire.

    4. En y portant 0,1695, on obtient 2,0 × 10⁻⁶. Environ un échantillon sur un demi-million colle aussi bien à la loi. Basculez le jeu de données sur l'échantillon à répartition logarithmique uniforme, de même taille, c'est-à-dire sur le mécanisme lui-même tiré au hasard : la carte affiche 5,6.

    5. L'explication tient en une phrase : les nombres de Fibonacci n'ont jamais été un échantillon. log₁₀ Fₖ vaut k log₁₀ φ moins une constante, si bien que les premiers chiffres sont décidés par les parties fractionnaires des multiples de 0,2089876…, et ce nombre est irrationnel. Weyl a démontré en 1916 qu'une telle suite se répartit uniformément.

    6. Et elle se répartit plus uniformément que le hasard n'y parvient. Les trous laissés par une rotation de ce type se resserrent comme log N sur N, tandis que N tirages aléatoires laissent des trous d'ordre 1/√N, et le khi-deux croît comme N fois le carré de ce trou. Mille termes déterministes battent donc mille termes aléatoires de très loin, et 0,17 est le visage de cet écart.

    Réponse

    Environ un sur 500 000 sous n'importe quel modèle aléatoire, ce qui fait de cet accord la preuve que ces données n'ont pas été échantillonnées du tout. Un test du khi-deux pose une seule question : les données s'écartent-elles de la loi plus que le hasard ne l'autorise ? Il n'a aucun moyen de dire que des données sont trop proches, et la ligne de verdict est la même pour 0,17 que pour 8.

    Pour un auditeur, cela renverse la lecture habituelle. Un grand livre qui suit Benford à deux décimales près a un problème, et c'est celui que R. A. Fisher a soulevé en 1936 à propos des données de pois de Mendel : l'accord avec la théorie y était plus étroit que l'échantillonnage ne peut le produire. Qui a lu quelque chose sur la loi de Benford et fabrique ensuite des chiffres à partir d'elle laisse cette signature, plus facile à repérer que la fraude pour laquelle le test a été conçu. Une comptabilité honnête arrive avec les bords irréguliers d'un vrai échantillon ; mille nombres de Fibonacci, non.

Références (3)

Exemples de problèmes

  • Fibonacci - Les mille premiers nombres de Fibonacci. 30,1 % d'entre eux commencent par 1 et le khi-deux vaut 0,2, ce qui représente l'ajustement presque parfait pour un millier de valeurs. Aucun lissage n'a été appliqué. La suite est simplement ce qu'elle est.
  • Tailles en cm - Deux mille tailles d'adultes mesurées en centimètres. Chacune de ces valeurs commence par un 1, car les adultes mesurent environ entre 145 cm et 195 cm. Rien dans cet intervalle ne commence par un autre chiffre. Il s'agit de la violation maximale de la loi, et non d'une légère déviation.
  • Mêmes tailles en pouces - Ces deux mêmes milliers de personnes, mesurées cette fois en pouces. À présent, 86 % des valeurs commencent par 6. Les individus sont restés les mêmes, tout comme leurs tailles. Seule l'unité a changé, et c'est précisément l'objet de ce test.
  • Nombres inventés - Un millier de nombres typiques de ceux que les gens imaginent lorsqu'on leur demande d'en inventer. Les chiffres se répartissent de manière assez uniforme, le 1 étant le moins souvent choisi. Le khi-deux atteint 502. Voilà pourquoi ce test est utilisé pour analyser les notes de frais.
  • Sur une demi-décade - Cinq mille valeurs réparties uniformément sur une demi-décade, de 1 à environ 3,2. Parmi elles, 61 % commencent par 1, avec un khi-deux de 4 707. Étendez cet intervalle à une décade entière et ce même générateur correspondra parfaitement à la loi. Élargissez-le à 1,5 décade et il échouera de nouveau. Ce dernier point est d'ailleurs rarement évoqué.