Comment interpréter les résultats d'un A/B test ?
Analysez le taux de conversion, l'intervalle de confiance, l'uplift et la significativité pour prendre la bonne décision. Guide complet d'interprétation.
Sommaire
- Les 4 métriques clés à analyser
- 1. Taux de conversion
- 2. Uplift (amélioration relative)
- 3. Significativité statistique
- 4. Intervalle de confiance
- Comment lire un rapport de test
- Exemple de rapport
- Analyse
- Les scénarios possibles
- ✅ Scénario 1 : Gagnant clair
- ⚖️ Scénario 2 : Pas de différence
- ❌ Scénario 3 : Perdant
- 🤔 Scénario 4 : Incertain
- Pièges d’interprétation
- 1. Ignorer les segments
- 2. Se focaliser sur une métrique
- 3. Oublier l’impact business
- Calculer l’impact business
- Checklist avant décision
Les 4 métriques clés à analyser
1. Taux de conversion
C’est la métrique principale. Comparez le taux de conversion entre les variations.
Exemple :
- Contrôle (A) : 2.5%
- Variation (B) : 3.0%
2. Uplift (amélioration relative)
Le pourcentage d’amélioration par rapport au contrôle.
Uplift = (Taux B - Taux A) / Taux A × 100
Uplift = (3.0 - 2.5) / 2.5 × 100 = +20%3. Significativité statistique
La probabilité que le résultat ne soit pas dû au hasard.
| Significativité | Interprétation |
|---|---|
| < 90% | Résultat incertain, ne pas conclure |
| 90-95% | Tendance probable |
| 95%+ | Résultat fiable ✓ |
| 99%+ | Haute confiance |
4. Intervalle de confiance
La fourchette dans laquelle se situe probablement le vrai résultat.
Exemple :
- Uplift : +20%
- Intervalle : [+8%, +32%]
→ L’amélioration réelle est probablement entre 8% et 32%.
Comment lire un rapport de test
Exemple de rapport
┌─────────────────────────────────────────┐
│ Test: Nouveau bouton CTA │
├─────────────────────────────────────────┤
│ Durée: 14 jours │
│ Visiteurs totaux: 24 000 │
├─────────────────────────────────────────┤
│ CONTRÔLE (A) │ VARIATION (B) │
│ 12 000 visiteurs │ 12 000 visiteurs │
│ 300 conversions │ 360 conversions │
│ 2.50% │ 3.00% │
├─────────────────────────────────────────┤
│ Uplift: +20% │
│ Intervalle: [+8%, +32%] │
│ Significativité: 97.3% │
│ Statut: GAGNANT ✓ │
└─────────────────────────────────────────┘Analyse
- Significativité 97.3% > 95% → Résultat fiable
- Uplift +20% → Amélioration substantielle
- Intervalle [+8%, +32%] → Même dans le pire cas (+8%), c’est positif
- Décision : Implémenter la variation B
Les scénarios possibles
✅ Scénario 1 : Gagnant clair
- Significativité > 95%
- Uplift positif
- Intervalle de confiance entièrement positif
Action : Implémenter la variation gagnante
⚖️ Scénario 2 : Pas de différence
- Significativité < 90%
- Uplift proche de 0%
- Intervalle de confiance autour de 0
Action : Les deux versions performent pareil. Choisir selon d’autres critères (coût, préférence utilisateur).
❌ Scénario 3 : Perdant
- Significativité > 95%
- Uplift négatif
Action : Conserver le contrôle. Analyser pourquoi la variation a échoué.
🤔 Scénario 4 : Incertain
- Significativité entre 80-95%
- Uplift positif mais intervalle large
Action : Continuer le test ou accepter une décision avec plus de risque.
Pièges d’interprétation
1. Ignorer les segments
Le résultat global peut cacher des différences par segment :
- Mobile vs Desktop
- Nouveaux vs Récurrents
- Sources de trafic
→ Analysez toujours par segment clé.
2. Se focaliser sur une métrique
Un test peut améliorer le taux de clic mais réduire le panier moyen.
→ Vérifiez les métriques secondaires (revenu, panier moyen, LTV).
3. Oublier l’impact business
+0.1% de conversion avec 99% de significativité = résultat significatif mais impact négligeable.
→ Calculez l’impact en euros.
Calculer l’impact business
Revenus supplémentaires mensuels =
Visiteurs mensuels × Amélioration conversion × Panier moyen
Exemple :
100 000 × 0.005 × 80€ = 40 000€/moisChecklist avant décision
- Significativité ≥ 95%
- Durée du test suffisante (≥ 7 jours)
- Analyse par segments effectuée
- Métriques secondaires vérifiées
- Impact business calculé
- Pas d’anomalies dans les données
Pour aller plus loin
Besoin d’aide pour optimiser vos conversions ?
On analyse votre boutique et on vous propose un plan d’action chiffré. Appel de 25 minutes, gratuit, sans engagement.