Combien de temps doit durer un A/B test ?
Un A/B test doit durer minimum 1 à 2 semaines pour couvrir un cycle business complet. Ne stoppez jamais un test prématurément.
Sommaire
- La réponse courte
- Pourquoi cette durée minimum ?
- 1. Capturer les variations hebdomadaires
- 2. Atteindre la significativité statistique
- 3. Éviter les faux positifs
- Conditions pour arrêter un test
- Le problème du “peeking”
- Durées recommandées par type de test
- Comment calculer la durée nécessaire
- Formule simplifiée
- Exemple concret
- Outils pour calculer
- Que faire si le trafic est insuffisant ?
La réponse courte
Un A/B test doit couvrir minimum un cycle business complet, généralement 1 à 2 semaines.
Pourquoi cette durée minimum ?
1. Capturer les variations hebdomadaires
Le comportement des visiteurs varie selon le jour :
- Lundi-vendredi : Comportement différent du week-end
- Début de mois : Plus de budget disponible
- Fin de mois : Comportement d’achat différent
Un test de 3 jours passera à côté de ces variations.
2. Atteindre la significativité statistique
La significativité dépend du volume de données. Plus vous avez de conversions, plus le résultat est fiable.
3. Éviter les faux positifs
Stopper un test trop tôt (le “peeking”) augmente drastiquement le risque de faux positif.
Conditions pour arrêter un test
✅ Arrêtez le test quand :
- Vous avez atteint la taille d’échantillon calculée au préalable
- La significativité statistique atteint 95-99%
- Au moins 7 jours se sont écoulés (un cycle complet)
- Vous avez au moins 100 conversions par variation
❌ N’arrêtez PAS si :
- Les résultats “semblent concluants” après 2 jours
- Vous êtes impatient de voir les résultats
- Une variation est en tête mais sans significativité
Le problème du “peeking”
Regarder les résultats tous les jours et arrêter dès qu’une variation “gagne” est une erreur majeure.
| Moment du check | Risque de faux positif |
|---|---|
| Après 100 visiteurs | ~25% |
| Après 500 visiteurs | ~15% |
| À significativité 95% | 5% |
Durées recommandées par type de test
| Type de test | Durée minimum | Durée idéale |
|---|---|---|
| CTA / Bouton | 1 semaine | 2 semaines |
| Page complète | 2 semaines | 3-4 semaines |
| Pricing | 2-4 semaines | 1-2 mois |
| Refonte majeure | 4 semaines | 2-3 mois |
Comment calculer la durée nécessaire
Formule simplifiée
Durée = Échantillon nécessaire / Trafic quotidienExemple concret
- Trafic quotidien : 1 000 visiteurs
- Taux de conversion actuel : 2%
- Amélioration détectable souhaitée : 20%
- Échantillon nécessaire : ~16 000 visiteurs par variation
Durée : 16 000 × 2 / 1 000 = 32 jours
Outils pour calculer
- Calculateur Optimizely : optimizely.com/sample-size-calculator
- Calculateur VWO : vwo.com/tools/ab-test-duration-calculator
- Calculateur Evan Miller : evanmiller.org/ab-testing
Que faire si le trafic est insuffisant ?
- Tester des changements plus importants : Plus l’effet est grand, moins il faut de données
- Concentrer le test sur une page : Au lieu de tester sur tout le site
- Accepter des durées plus longues : 4-8 semaines si nécessaire
- Utiliser des tests séquentiels : Méthodologie adaptée au faible trafic
Pour aller plus loin
Besoin d’aide pour optimiser vos conversions ?
On analyse votre boutique et on vous propose un plan d’action chiffré. Appel de 25 minutes, gratuit, sans engagement.