Combien de temps doit durer un A/B test ?

La réponse courte

Un A/B test doit couvrir minimum un cycle business complet, généralement 1 à 2 semaines.

Pourquoi cette durée minimum ?

1. Capturer les variations hebdomadaires

Le comportement des visiteurs varie selon le jour :

• Lundi-vendredi : Comportement différent du week-end
• Début de mois : Plus de budget disponible
• Fin de mois : Comportement d’achat différent

Un test de 3 jours passera à côté de ces variations.

2. Atteindre la significativité statistique

La significativité dépend du volume de données. Plus vous avez de conversions, plus le résultat est fiable.

3. Éviter les faux positifs

Stopper un test trop tôt (le “peeking”) augmente drastiquement le risque de faux positif.

Conditions pour arrêter un test

✅ Arrêtez le test quand :

1. Vous avez atteint la taille d’échantillon calculée au préalable
2. La significativité statistique atteint 95-99%
3. Au moins 7 jours se sont écoulés (un cycle complet)
4. Vous avez au moins 100 conversions par variation

❌ N’arrêtez PAS si :

• Les résultats “semblent concluants” après 2 jours
• Vous êtes impatient de voir les résultats
• Une variation est en tête mais sans significativité

Le problème du “peeking”

Regarder les résultats tous les jours et arrêter dès qu’une variation “gagne” est une erreur majeure.

Moment du check	Risque de faux positif
Après 100 visiteurs	~25%
Après 500 visiteurs	~15%
À significativité 95%	5%

Durées recommandées par type de test

Type de test	Durée minimum	Durée idéale
CTA / Bouton	1 semaine	2 semaines
Page complète	2 semaines	3-4 semaines
Pricing	2-4 semaines	1-2 mois
Refonte majeure	4 semaines	2-3 mois

Comment calculer la durée nécessaire

Formule simplifiée

Durée = Échantillon nécessaire / Trafic quotidien

Exemple concret

• Trafic quotidien : 1 000 visiteurs
• Taux de conversion actuel : 2%
• Amélioration détectable souhaitée : 20%
• Échantillon nécessaire : ~16 000 visiteurs par variation

Durée : 16 000 × 2 / 1 000 = 32 jours

Outils pour calculer

• Calculateur Optimizely : optimizely.com/sample-size-calculator
• Calculateur VWO : vwo.com/tools/ab-test-duration-calculator
• Calculateur Evan Miller : evanmiller.org/ab-testing

Que faire si le trafic est insuffisant ?

1. Tester des changements plus importants : Plus l’effet est grand, moins il faut de données
2. Concentrer le test sur une page : Au lieu de tester sur tout le site
3. Accepter des durées plus longues : 4-8 semaines si nécessaire
4. Utiliser des tests séquentiels : Méthodologie adaptée au faible trafic