Combien de visiteurs faut-il pour un A/B test fiable ?
Visez minimum 1 000 visiteurs et 100-200 conversions par variation pour un A/B test statistiquement fiable. Calcul détaillé.
Sommaire
- La réponse courte
- Pourquoi ces chiffres ?
- Le problème des petits échantillons
- Ce qui influence la taille d’échantillon
- Tableau de référence rapide
- Comment calculer pour votre cas
- Formule simplifiée
- Exemple
- Calculateurs en ligne
- Que faire si vous n’avez pas assez de trafic ?
- Option 1 : Tester des changements plus radicaux
- Option 2 : Augmenter le trafic sur la page testée
- Option 3 : Allonger la durée du test
- Option 4 : Tester moins de variations
- Option 5 : Focus sur les conversions, pas les visiteurs
- Erreur courante
La réponse courte
En règle générale, visez :
- Minimum 1 000 visiteurs par variation
- 100 à 200 conversions par variation
Pourquoi ces chiffres ?
Le problème des petits échantillons
Avec peu de données, les résultats sont instables :
| Visiteurs par variation | Fiabilité du résultat |
|---|---|
| 100 | Très faible - Résultats aléatoires |
| 500 | Faible - Forte marge d’erreur |
| 1 000 | Acceptable - Pour gros effets |
| 5 000 | Bonne - Détecte des effets moyens |
| 10 000+ | Excellente - Détecte des effets fins |
Ce qui influence la taille d’échantillon
- Taux de conversion de base : Plus il est bas, plus il faut de données
- Effet minimum détectable : Plus l’amélioration attendue est petite, plus il faut de données
- Niveau de confiance souhaité : 95% vs 99%
- Puissance statistique : Généralement 80%
Tableau de référence rapide
Pour un taux de conversion de base de 3% et une significativité de 95% :
| Amélioration à détecter | Visiteurs par variation |
|---|---|
| 50% (3% → 4.5%) | ~2 500 |
| 30% (3% → 3.9%) | ~6 500 |
| 20% (3% → 3.6%) | ~14 000 |
| 10% (3% → 3.3%) | ~52 000 |
Comment calculer pour votre cas
Formule simplifiée
Pour un test à deux variations avec 95% de confiance et 80% de puissance :
n = 16 × p × (1-p) / (effet²)
Où :
- n = visiteurs par variation
- p = taux de conversion actuel
- effet = amélioration relative attendueExemple
- Taux actuel : 2% (p = 0.02)
- Amélioration souhaitée : 25%
- Calcul : 16 × 0.02 × 0.98 / (0.25 × 0.02)² = 12 544 visiteurs
Calculateurs en ligne
Utilisez ces outils gratuits :
- Optimizely : optimizely.com/sample-size-calculator
- VWO : vwo.com/tools/ab-test-sample-size-calculator
- Evan Miller : evanmiller.org/ab-testing/sample-size.html
Que faire si vous n’avez pas assez de trafic ?
Option 1 : Tester des changements plus radicaux
Un changement de +50% nécessite moins de données qu’un changement de +10%.
Option 2 : Augmenter le trafic sur la page testée
Concentrez vos campagnes pub sur cette page.
Option 3 : Allonger la durée du test
Acceptez des tests de 4-8 semaines.
Option 4 : Tester moins de variations
A/B (2 variations) au lieu d’A/B/C/D.
Option 5 : Focus sur les conversions, pas les visiteurs
100 conversions par variation est souvent suffisant pour des décisions directionnelles.
Erreur courante
Ne pas confondre visiteurs et conversions.
Un site avec 10 000 visiteurs et 0.5% de conversion n’a que 50 conversions par variation - insuffisant pour un test fiable.
Ce qui compte : le nombre de conversions, pas juste le trafic.
Pour aller plus loin
Besoin d’aide pour optimiser vos conversions ?
On analyse votre boutique et on vous propose un plan d’action chiffré. Appel de 25 minutes, gratuit, sans engagement.