A/B testing : définition, méthode et exemples
Définition
En bref
L'A/B testing compare deux versions d'une même page, d'un e-mail ou d'une annonce auprès d'échantillons tirés au hasard, afin de désigner celle qui convertit le mieux. La décision repose sur un seuil de confiance statistique, en général 95 %, et non sur une préférence esthétique ou une intuition.
Un test A/B répond à une question simple : cette version convertit-elle mieux que l'actuelle ? On envoie aléatoirement la moitié du trafic sur chaque variante, on mesure un objectif unique, puis on tranche quand l'écart devient statistiquement fiable. C'est la méthode la plus honnête pour améliorer un taux de conversion, parce qu'elle met fin aux débats d'opinion sur une couleur de bouton ou une accroche.
Comment fonctionne un test A/B
Le principe tient en trois éléments : une hypothèse, deux versions, un objectif mesuré. Le groupe A voit la page actuelle, appelée contrôle. Le groupe B voit la variante, qui ne modifie qu'un seul élément. La répartition reste aléatoire pendant toute la durée du test, pour que les deux groupes subissent exactement les mêmes conditions : mêmes jours de semaine, même saisonnalité, mêmes campagnes en cours.
L'objectif se choisit avant de lancer, jamais après. Un test sur un formulaire se juge au nombre de formulaires envoyés, pas au temps passé sur la page ni aux clics intermédiaires. Sans cette discipline, on finit toujours par trouver une métrique qui donne raison à la version que l'on préférait au départ. Notez l'hypothèse, la métrique et le seuil de décision dans un document avant le lancement.
- Une hypothèse écrite : ce que vous changez, et pourquoi cela devrait améliorer le résultat.
- Une seule variable modifiée par test, sinon vous ne saurez pas ce qui a produit l'effet.
- Un objectif unique, défini avant le lancement et mesuré de la même façon sur les deux versions.
- Une répartition aléatoire et stable du trafic entre le contrôle et la variante.
Combien de visiteurs, combien de temps
La significativité statistique sert de garde-fou. Le seuil habituel est de 95 % de confiance : il reste alors moins de 5 % de risques que l'écart observé vienne du hasard. Pour l'atteindre, il faut du volume. Sur une page qui convertit à 2 %, détecter un gain relatif de 20 % demande environ 8 000 visiteurs par variante. Un calculateur de taille d'échantillon donne ce chiffre avant même de commencer.
La durée compte autant que le volume. Laissez tourner sept jours au minimum, quatorze de préférence, pour couvrir un cycle hebdomadaire complet : le comportement du lundi matin n'est pas celui du samedi soir. Sur un site à faible trafic, mieux vaut tester des changements francs, comme la proposition de valeur ou la structure entière d'une landing page, que des micro-ajustements que le volume ne permettra jamais de départager.
Les erreurs qui invalident un test
L'erreur la plus coûteuse consiste à arrêter un test dès que la courbe penche du bon côté. Les premiers jours produisent presque toujours des écarts spectaculaires qui se résorbent ensuite. Deuxième piège : lancer dix tests en parallèle sur le même parcours, ce qui rend les résultats ininterprétables. Troisième piège : ne pas archiver les tests perdants, et retester six mois plus tard la même idée déjà invalidée.
Chez DGL Agency, nous testons d'abord ce qui touche au chiffre d'affaires : accroche principale, preuve sociale, longueur du formulaire, cohérence entre l'annonce et la page d'arrivée. Chaque test est documenté (hypothèse, variante, résultat, décision) pour constituer un historique exploitable. Quand le trafic reste trop faible pour trancher, nous corrigeons d'abord les freins évidents, à commencer par la vitesse de chargement et la clarté de l'offre.
- Couper un test avant la fin : les écarts précoces se résorbent presque toujours.
- Modifier la variante en cours de route, ce qui remet le compteur des données à zéro.
- Tester plusieurs éléments à la fois sur un trafic insuffisant.
- Oublier de vérifier le résultat séparément sur mobile et sur ordinateur.
Un test de formulaire sur une page de devis
Une page de devis reçoit 6 000 visiteurs par mois et convertit à 2,5 %, soit 150 demandes. La variante réduit le formulaire de sept champs à trois. Au bout de trois semaines, la version courte atteint 3,1 % contre 2,4 % pour le contrôle, avec un seuil de confiance dépassant 95 %. Le gain représente 42 demandes supplémentaires chaque mois. À budget publicitaire constant, avec un coût par acquisition initial de 60 EUR, le coût par demande descend autour de 48 EUR.
Pour aller plus loin
L'outil gratuit associé
Estimez en quelques secondes ce qu'un point de taux de conversion supplémentaire change à votre coût par acquisition, à votre ROAS et au nombre de clients que votre budget peut générer.