Calculateur de significativité A/B test

Saisissez les visiteurs et les conversions de chaque version : vous obtenez les taux de conversion, l'uplift, la p-value et la probabilité que la variante batte l'originale. Calcul instantané, dans votre navigateur.

Faire analyser mon test Méthode de calcul

Méthode de calcul

Comment ce calculateur fonctionne

1. Taux de conversion et uplift

Pour chaque version : taux = conversions ÷ visiteurs. L'uplift relatif est (taux B − taux A) ÷ taux A. L'intervalle affiché sous chaque taux est l'intervalle de confiance à 95 % (approximation normale : taux ± 1,96 × √(taux × (1 − taux) ÷ visiteurs)).

2. Test Z de deux proportions (approche fréquentiste)

On calcule le taux commun p = (conv A + conv B) ÷ (visiteurs A + visiteurs B), puis l'erreur standard ES = √(p × (1 − p) × (1/visiteurs A + 1/visiteurs B)) et la statistique Z = (taux B − taux A) ÷ ES. La p-value bilatérale vaut 2 × (1 − Φ(|Z|)), où Φ est la fonction de répartition de la loi normale. Le résultat est significatif si la p-value est inférieure à 1 − seuil (0,05 pour 95 %).

3. Probabilité que B batte A (approche bayésienne)

Chaque taux de conversion est modélisé par une loi Bêta, avec un a priori uniforme : Bêta(1 + conversions, 1 + visiteurs − conversions). La probabilité que le vrai taux de B soit supérieur à celui de A est calculée de façon exacte (formule de sommation sur les lois Bêta) ; pour de très gros volumes, on utilise l'approximation normale, dont l'écart est alors négligeable.

Les limites à connaître

Le calcul suppose que les visiteurs ont été répartis au hasard et qu'un même visiteur n'est compté que dans une version.
Il ne corrige pas l'arrêt anticipé : décidez de la durée avant de lancer le test.
Avec plusieurs variantes, le risque de faux positif augmente : comparez-les avec prudence.
Une significativité atteinte en trois jours n'a pas la même valeur qu'après deux semaines complètes, à cause des effets jour de semaine / week-end.

FAQ

Questions fréquentes sur la significativité

À partir de quel pourcentage un A/B test est-il significatif ?

Le seuil le plus courant est 95 % de confiance (p-value inférieure à 0,05). En approche bayésienne, on considère souvent une variante gagnante au-delà de 95 % de probabilité d'être meilleure que l'originale. Le seuil se fixe avant de lancer le test, pas en regardant les résultats.

Puis-je arrêter mon test dès qu'il devient significatif ?

Non. Regarder les résultats chaque jour et s'arrêter au premier passage au-dessus de 95 % augmente fortement le risque de faux positif. Fixez la durée à l'avance avec notre calculateur de taille d'échantillon et laissez le test tourner au moins 14 jours.

Quelle différence entre p-value et probabilité bayésienne ?

La p-value répond à « si A et B étaient identiques, quelle serait la probabilité d'observer un tel écart ? ». La probabilité bayésienne répond directement à « quelle est la probabilité que B soit meilleure que A ? ». Les deux vont généralement dans le même sens ; la seconde est plus intuitive à présenter.

Pourquoi mon outil de test n'affiche-t-il pas le même résultat ?

Les outils peuvent utiliser des méthodes différentes (test unilatéral ou bilatéral, a priori bayésien, correction des tests multiples, mesure par session ou par visiteur). Les ordres de grandeur doivent rester proches ; en cas d'écart important, vérifiez que vous comparez les mêmes visiteurs et les mêmes conversions.

Ce calculateur fonctionne-t-il pour le revenu par visiteur ?

Non : il compare des taux (conversion, ajout au panier, clic). Le revenu par visiteur demande un autre calcul, car il dépend aussi de la dispersion des montants de commande. Chez Lëc Média, nous analysons le RPV directement dans Intelligems.

Mes données sont-elles envoyées quelque part ?

Non. Le calcul est fait entièrement dans votre navigateur ; aucune donnée saisie n'est transmise.