Comment interpréter les résultats d'un A/B test ?

Les 4 métriques clés à analyser

1. Taux de conversion

C’est la métrique principale. Comparez le taux de conversion entre les variations.

Exemple :

• Contrôle (A) : 2.5%
• Variation (B) : 3.0%

2. Uplift (amélioration relative)

Le pourcentage d’amélioration par rapport au contrôle.

Uplift = (Taux B - Taux A) / Taux A × 100
Uplift = (3.0 - 2.5) / 2.5 × 100 = +20%

3. Significativité statistique

La probabilité que le résultat ne soit pas dû au hasard.

Significativité	Interprétation
< 90%	Résultat incertain, ne pas conclure
90-95%	Tendance probable
95%+	Résultat fiable ✓
99%+	Haute confiance

4. Intervalle de confiance

La fourchette dans laquelle se situe probablement le vrai résultat.

Exemple :

• Uplift : +20%
• Intervalle : [+8%, +32%]

→ L’amélioration réelle est probablement entre 8% et 32%.

Comment lire un rapport de test

Exemple de rapport

┌─────────────────────────────────────────┐
│ Test: Nouveau bouton CTA                │
├─────────────────────────────────────────┤
│ Durée: 14 jours                         │
│ Visiteurs totaux: 24 000                │
├─────────────────────────────────────────┤
│ CONTRÔLE (A)     │ VARIATION (B)        │
│ 12 000 visiteurs │ 12 000 visiteurs     │
│ 300 conversions  │ 360 conversions      │
│ 2.50%            │ 3.00%                │
├─────────────────────────────────────────┤
│ Uplift: +20%                            │
│ Intervalle: [+8%, +32%]                 │
│ Significativité: 97.3%                  │
│ Statut: GAGNANT ✓                       │
└─────────────────────────────────────────┘

Analyse

1. Significativité 97.3% > 95% → Résultat fiable
2. Uplift +20% → Amélioration substantielle
3. Intervalle [+8%, +32%] → Même dans le pire cas (+8%), c’est positif
4. Décision : Implémenter la variation B

Les scénarios possibles

✅ Scénario 1 : Gagnant clair

• Significativité > 95%
• Uplift positif
• Intervalle de confiance entièrement positif

Action : Implémenter la variation gagnante

⚖️ Scénario 2 : Pas de différence

• Significativité < 90%
• Uplift proche de 0%
• Intervalle de confiance autour de 0

Action : Les deux versions performent pareil. Choisir selon d’autres critères (coût, préférence utilisateur).

❌ Scénario 3 : Perdant

• Significativité > 95%
• Uplift négatif

Action : Conserver le contrôle. Analyser pourquoi la variation a échoué.

🤔 Scénario 4 : Incertain

• Significativité entre 80-95%
• Uplift positif mais intervalle large

Action : Continuer le test ou accepter une décision avec plus de risque.

Pièges d’interprétation

1. Ignorer les segments

Le résultat global peut cacher des différences par segment :

• Mobile vs Desktop
• Nouveaux vs Récurrents
• Sources de trafic

→ Analysez toujours par segment clé.

2. Se focaliser sur une métrique

Un test peut améliorer le taux de clic mais réduire le panier moyen.

→ Vérifiez les métriques secondaires (revenu, panier moyen, LTV).

3. Oublier l’impact business

+0.1% de conversion avec 99% de significativité = résultat significatif mais impact négligeable.

→ Calculez l’impact en euros.

Calculer l’impact business

Revenus supplémentaires mensuels =
  Visiteurs mensuels × Amélioration conversion × Panier moyen

Exemple :
  100 000 × 0.005 × 80€ = 40 000€/mois

Checklist avant décision

• Significativité ≥ 95%
• Durée du test suffisante (≥ 7 jours)
• Analyse par segments effectuée
• Métriques secondaires vérifiées
• Impact business calculé
• Pas d’anomalies dans les données