Comment savoir si mon A/B test est statistiquement significatif ?

La réponse courte

Visez une significativité de 95% minimum (idéalement 99%). Cela signifie qu’il n’y a que 5% (ou 1%) de chances que le résultat soit dû au hasard.

Qu’est-ce que la significativité statistique ?

La significativité statistique mesure la probabilité que la différence observée soit réelle et non due au hasard.

Significativité	Signification	Recommandation
< 80%	Résultat très incertain	Ne pas conclure
80-90%	Indicatif seulement	Attendre plus de données
90-95%	Tendance probable	Acceptable pour tests exploratoires
95%+	Résultat fiable	Standard recommandé
99%+	Très haute confiance	Idéal pour décisions majeures

Comment la calculer

Via votre outil A/B testing

Tous les outils (VWO, Optimizely, AB Tasty, Google Optimize) calculent automatiquement la significativité et l’affichent dans leur dashboard.

Manuellement (formule simplifiée)

Z = (p1 - p2) / √(p × (1-p) × (1/n1 + 1/n2))

Où :
- p1, p2 = taux de conversion des variations
- p = taux de conversion moyen
- n1, n2 = taille des échantillons

Pour Z > 1.96 → Significativité > 95%

Via un calculateur en ligne

• ABTestGuide : abtestguide.com/calc
• Neil Patel : neilpatel.com/ab-testing-calculator
• VWO : vwo.com/tools/ab-test-significance-calculator

Exemple concret

Données du test

• Variation A : 10 000 visiteurs, 250 conversions (2.5%)
• Variation B : 10 000 visiteurs, 300 conversions (3.0%)

Analyse

• Différence : +0.5% (soit +20% relatif)
• Significativité calculée : 97.2%
• Conclusion : La variation B est probablement meilleure

Les pièges à éviter

1. Arrêter le test trop tôt

Un test peut afficher 95% de significativité après 2 jours, puis redescendre à 60% après une semaine. Attendez la fin du test.

2. Confondre significativité et importance

Un résultat peut être statistiquement significatif mais pratiquement insignifiant :

• +0.01% de conversion avec 99% de significativité = pas intéressant business

3. Ignorer l’intervalle de confiance

La significativité seule ne suffit pas. Regardez aussi l’intervalle de confiance :

• “Amélioration de 15% ± 3%” → Résultat fiable
• “Amélioration de 15% ± 14%” → Trop d’incertitude

Checklist avant de conclure

• Significativité ≥ 95%
• Durée du test ≥ 7 jours
• Au moins 100 conversions par variation
• Intervalle de confiance raisonnable
• Pas d’anomalies dans les données (bugs, pics de trafic)

Que faire si le résultat n’est pas significatif ?

1. Continuer le test : Plus de données peuvent clarifier
2. Conclure “pas de différence” : Les deux versions performent pareil
3. Tester un changement plus radical : Pour obtenir un effet plus visible
4. Revoir l’hypothèse : Peut-être que cet élément n’impacte pas la conversion