Combien de visiteurs faut-il pour un A/B test fiable ?

La réponse courte

En règle générale, visez :

• Minimum 1 000 visiteurs par variation
• 100 à 200 conversions par variation

Pourquoi ces chiffres ?

Le problème des petits échantillons

Avec peu de données, les résultats sont instables :

Visiteurs par variation	Fiabilité du résultat
100	Très faible - Résultats aléatoires
500	Faible - Forte marge d’erreur
1 000	Acceptable - Pour gros effets
5 000	Bonne - Détecte des effets moyens
10 000+	Excellente - Détecte des effets fins

Ce qui influence la taille d’échantillon

1. Taux de conversion de base : Plus il est bas, plus il faut de données
2. Effet minimum détectable : Plus l’amélioration attendue est petite, plus il faut de données
3. Niveau de confiance souhaité : 95% vs 99%
4. Puissance statistique : Généralement 80%

Tableau de référence rapide

Pour un taux de conversion de base de 3% et une significativité de 95% :

Amélioration à détecter	Visiteurs par variation
50% (3% → 4.5%)	~2 500
30% (3% → 3.9%)	~6 500
20% (3% → 3.6%)	~14 000
10% (3% → 3.3%)	~52 000

Comment calculer pour votre cas

Formule simplifiée

Pour un test à deux variations avec 95% de confiance et 80% de puissance :

n = 16 × p × (1-p) / (effet²)

Où :
- n = visiteurs par variation
- p = taux de conversion actuel
- effet = amélioration relative attendue

Exemple

• Taux actuel : 2% (p = 0.02)
• Amélioration souhaitée : 25%
• Calcul : 16 × 0.02 × 0.98 / (0.25 × 0.02)² = 12 544 visiteurs

Calculateurs en ligne

Utilisez ces outils gratuits :

• Optimizely : optimizely.com/sample-size-calculator
• VWO : vwo.com/tools/ab-test-sample-size-calculator
• Evan Miller : evanmiller.org/ab-testing/sample-size.html

Que faire si vous n’avez pas assez de trafic ?

Option 1 : Tester des changements plus radicaux

Un changement de +50% nécessite moins de données qu’un changement de +10%.

Option 2 : Augmenter le trafic sur la page testée

Concentrez vos campagnes pub sur cette page.

Option 3 : Allonger la durée du test

Acceptez des tests de 4-8 semaines.

Option 4 : Tester moins de variations

A/B (2 variations) au lieu de A/B/C/D.

Option 5 : Focus sur les conversions, pas les visiteurs

100 conversions par variation est souvent suffisant pour des décisions directionnelles.

Erreur courante

Ne pas confondre visiteurs et conversions.

Un site avec 10 000 visiteurs et 0.5% de conversion n’a que 50 conversions par variation - insuffisant pour un test fiable.

Ce qui compte : le nombre de conversions, pas juste le trafic.