L'A/B test, le seul levier marketing qui ne ment pas
En conseil, j'ai vu des PME perdre des mois à déployer des "best practices" issues de blogs américains : "Les emails du mardi convertissent 23 % de plus", "Les objets longs battent les courts". Quand on teste ces affirmations sur une base sénégalaise réelle, le résultat s'inverse une fois sur deux.
L'A/B testing est la seule méthode honnête : on isole une variable, on mesure, on tranche. Mais encore faut-il le faire correctement. La plupart des A/B tests vus sur LinkedIn sont statistiquement nuls : échantillons trop petits, faux gagnants, intervalles de confiance ignorés.
Voici la méthode rigoureuse que nous appliquons chez Kolonell.
La règle de la taille d'échantillon
Pour qu'un A/B test soit statistiquement significatif sur l'objet d'email (variable la plus testée), il faut au minimum 5 000 envois par variante, soit 10 000 emails au total. En dessous, le bruit statistique masque tout signal réel.
Pour une PME de 800 contacts, c'est impossible en un seul envoi. Trois options :
- Empiler plusieurs envois jusqu'à atteindre 10 000 total
- Tester sur la base totale en split 50/50 pendant 3 envois consécutifs
- Renoncer à l'A/B sur les objets et tester des variables à plus fort effet (CTA, jour d'envoi)
Les 5 variables à tester par ordre de ROI
| Variable | Effet typique | Échantillon mini | Difficulté |
|---|---|---|---|
| CTA texte ("Réserver" vs "Demander un devis") | +30-80 % CTR | 2 000 / variant | Facile |
| Jour d'envoi (mardi vs jeudi) | +15-40 % ouverture | 5 000 / variant | Moyenne |
| Objet (court vs long) | +5-25 % ouverture | 5 000 / variant | Moyenne |
| Heure d'envoi (9h vs 16h) | +10-30 % ouverture | 4 000 / variant | Facile |
| Couleur du bouton | +3-12 % CTR | 8 000 / variant | Difficile |
Toujours commencer par le CTA. C'est la variable qui demande le moins d'échantillon et donne les plus gros effets. Une PME conseil à Dakar a passé un CTR de 2,1 % à 5,8 % en 3 tests successifs sur le CTA, soit un quasi-triplement du pipeline généré par email.
La méthode pas à pas dans Brevo
1. Préparer l'hypothèse écrite
"Je pense que CTA 'Réserver mon audit' convertira mieux que 'Demander un devis' parce que l'engagement est plus faible."
2. Splitter la base 50/50 aléatoirement
Brevo le fait nativement dans l'éditeur de campagne (option A/B test).
3. Fixer la métrique gagnante avant l'envoi
CTR si on teste le CTA. Taux d'ouverture si on teste l'objet. Pas les deux — le risque de faux positif explose.
4. Attendre 72 heures avant de conclure
Besoin d'un site web professionnel ?
Kolonell crée des sites web qui attirent des clients, optimisés pour le marché sénégalais. Devis gratuit en 2 minutes.
Les ouvertures du week-end représentent 15-25 % du total au Sénégal.
5. Vérifier la significativité statistique
Utiliser un calculateur en ligne (Evan Miller's A/B Calc, AB Testguide). Si la p-value est > 0,05, le test n'est pas concluant, on ne déploie pas.
Cas réel — PME e-commerce Dakar
Base : 3 200 contacts actifs. Objectif : passer le CTR moyen de 2,3 % à 4 %+.
Plan de tests sur 8 semaines :
- S1-2 : CTA "Acheter maintenant" vs "Voir le produit" → gagnant "Voir le produit" +42 % CTR
- S3-4 : Jour mardi vs jeudi → pas de différence significative
- S5-6 : Objet 30 caractères vs 60 → gagnant 30 caractères +18 % ouverture
- S7-8 : Heure 11h vs 17h → gagnant 17h +21 % ouverture
CTR final : 4,7 %. CA email mensuel : 920 000 FCFA → 1,8M FCFA. Investissement Kolonell : 480 000 FCFA pour le plan de tests + reporting.
FAQ
Combien de temps avant de pouvoir A/B tester sérieusement ?
À partir d'une base active de 2 000 contacts pour des tests CTA. 5 000+ pour tester objets et jours d'envoi.
Brevo gratuit suffit-il pour faire de l'A/B testing ?
Non, l'A/B test natif est sur Lite (19 EUR/mo) et au-dessus. En gratuit, on peut splitter manuellement la base en deux listes et lancer 2 campagnes.
Faut-il un statisticien pour analyser les résultats ?
Non. Evan Miller's A/B Calc (gratuit, en ligne) calcule la p-value en 10 secondes. Si p < 0,05, le gagnant est valide.
Combien Kolonell facture pour un plan A/B test sur 2 mois ?
350 000 à 600 000 FCFA selon le volume de tests (4 à 8 expérimentations + reporting hebdo + recommandations).
---
Vous voulez un plan A/B test rigoureux livré sous 7 jours ? WhatsApp +221 77 596 93 33 ou devis gratuit.
Mohamed Bah
Fondateur, Kolonell
Passionné par le digital et l'entrepreneuriat en Afrique, Mohamed accompagne les entreprises sénégalaises dans leur transformation digitale depuis 2020. Fondateur de Kolonell, il croit que chaque PME mérite une présence en ligne professionnelle et accessible.