Comment savoir si mon A/B test est statistiquement significatif ?
Visez 95% de significativité minimum. Cela signifie qu'il n'y a que 5% de chances que le résultat soit dû au hasard. Guide complet.
Sommaire
- La réponse courte
- Qu’est-ce que la significativité statistique ?
- Comment la calculer
- Via votre outil A/B testing
- Manuellement (formule simplifiée)
- Via un calculateur en ligne
- Exemple concret
- Données du test
- Analyse
- Les pièges à éviter
- 1. Arrêter le test trop tôt
- 2. Confondre significativité et importance
- 3. Ignorer l’intervalle de confiance
- Checklist avant de conclure
- Que faire si le résultat n’est pas significatif ?
La réponse courte
Visez une significativité de 95% minimum (idéalement 99%). Cela signifie qu’il n’y a que 5% (ou 1%) de chances que le résultat soit dû au hasard.
Qu’est-ce que la significativité statistique ?
La significativité statistique mesure la probabilité que la différence observée soit réelle et non due au hasard.
| Significativité | Signification | Recommandation |
|---|---|---|
| < 80% | Résultat très incertain | Ne pas conclure |
| 80-90% | Indicatif seulement | Attendre plus de données |
| 90-95% | Tendance probable | Acceptable pour tests exploratoires |
| 95%+ | Résultat fiable | Standard recommandé |
| 99%+ | Très haute confiance | Idéal pour décisions majeures |
Comment la calculer
Via votre outil A/B testing
Tous les outils (VWO, Optimizely, AB Tasty, Google Optimize) calculent automatiquement la significativité et l’affichent dans leur dashboard.
Manuellement (formule simplifiée)
Z = (p1 - p2) / √(p × (1-p) × (1/n1 + 1/n2))
Où :
- p1, p2 = taux de conversion des variations
- p = taux de conversion moyen
- n1, n2 = taille des échantillonsPour Z > 1.96 → Significativité > 95%
Via un calculateur en ligne
- ABTestGuide : abtestguide.com/calc
- Neil Patel : neilpatel.com/ab-testing-calculator
- VWO : vwo.com/tools/ab-test-significance-calculator
Exemple concret
Données du test
- Variation A : 10 000 visiteurs, 250 conversions (2.5%)
- Variation B : 10 000 visiteurs, 300 conversions (3.0%)
Analyse
- Différence : +0.5% (soit +20% relatif)
- Significativité calculée : 97.2%
- Conclusion : La variation B est probablement meilleure
Les pièges à éviter
1. Arrêter le test trop tôt
Un test peut afficher 95% de significativité après 2 jours, puis redescendre à 60% après une semaine. Attendez la fin du test.
2. Confondre significativité et importance
Un résultat peut être statistiquement significatif mais pratiquement insignifiant :
- +0.01% de conversion avec 99% de significativité = pas intéressant business
3. Ignorer l’intervalle de confiance
La significativité seule ne suffit pas. Regardez aussi l’intervalle de confiance :
- “Amélioration de 15% ± 3%” → Résultat fiable
- “Amélioration de 15% ± 14%” → Trop d’incertitude
Checklist avant de conclure
- Significativité ≥ 95%
- Durée du test ≥ 7 jours
- Au moins 100 conversions par variation
- Intervalle de confiance raisonnable
- Pas d’anomalies dans les données (bugs, pics de trafic)
Que faire si le résultat n’est pas significatif ?
- Continuer le test : Plus de données peuvent clarifier
- Conclure “pas de différence” : Les deux versions performent pareil
- Tester un changement plus radical : Pour obtenir un effet plus visible
- Revoir l’hypothèse : Peut-être que cet élément n’impacte pas la conversion
Pour aller plus loin
Besoin d’aide pour optimiser vos conversions ?
On analyse votre boutique et on vous propose un plan d’action chiffré. Appel de 25 minutes, gratuit, sans engagement.