L’A/B testing est une méthode qui consiste à tester deux (ou plusieurs variations si l’on parle d’A/B/C… test par exemple) d’un même email pour identifier quelle version obtient les meilleurs résultats.
Pour cela, vous créeez une version A qui sera la version de base que vous avez déja (donc par exemple le template email que vous utilisez toujours) et un version B dans laquelle vous allez changer un élément seulement (l’objet, un visuel ou encore un cta) pour mesurer l’incidence de cette modification sur les performances de l’email.
Attention pour que cela soit pertinent il faut bien veiller à ne tester qu’une chose à la fois. Pour être certain que votre test soit pertinent, vous devrez aussi veiller à ce qu’il soit significatif. Cela signifie qu’il est peu probable que les résultats soient dues au hasard, et si le niveau de confiance atteint 95% alors cela signifie que vos résultats ne se produiront que par hasard une fois toutes les 20 fois.
Pour être certain d’obtenir un indice de confiance important et donc une bonne significativité, il faut que votre échantillon soit assez important et que le test dure suffisamment longtemps pour récolter assez de données.
Comment tester les campagnes avec des A/B Tests ?
- Accédez à Campagnes > Créer une campagne > E-mail .
- Nommez votre campagne.
- Sélectionnez les listes ou les segments auxquels vous souhaitez envoyer.
- Cliquez sur Continuer vers le contenu .
- Entrez la ligne d’objet et, si vous le souhaitez, modifiez le texte d’aperçu, le nom de l’expéditeur et l’adresse e-mail de l’expéditeur.
- Créez la première version de votre e-mail
- Cliquez sur Enregistrer le contenu .
- En bas de la page, cliquez sur + Create A/B Test.
Cela créera alors une deuxième variante identique à celle de votre première campagne et vous amènera à la page de test A/B de la campagne .
Contenu du test
Sur cette page, modifiez l’une des variantes de votre test A/B. Il est important que les tests A/B comparent un facteur à la fois, donc si vous modifiez la ligne d’objet, ne changez rien d’autre.
Cloner une variante
Si vous le souhaitez, vous pouvez ajouter d’autres variantes en cliquant sur le bouton Cloner , bien que nous vous recommandons de vous en tenir à seulement 2 variantes.
Tester les heures d’envoi
Vous pouvez également tester les heures d’envoi pour déterminer quand votre public souhaite avoir de vos nouvelles. Pour ce faire, cliquez sur Passer au test des heures d’envoi en haut de la page.
Lorsque vous testez les heures d’envoi, veillez à ce que le contenu et les lignes d’objet des deux variantes soient exactement les mêmes.
Configurer les paramètres de test A/B
Après avoir créé votre contenu, décidez de la taille de votre groupe de test et de la durée de votre période de test.
Tout d’abord, choisissez la métrique gagnante, qui est la métrique principale que vous souhaitez voir s’améliorer. Choisissez parmi:
- Taux d’ouverture (si vous modifiez l’objet, le préheader ou le nom de l’expéditeur)
- Taux de clics (si vous modifiez du contenu dans l’email, comme la taille ou la couleur des boutons)
- Taux de commande passée (uniquement disponible pour les comptes avec une mesure de commande passée ; recommandé lors du test du contenu des e-mails, par exemple si l’affichage des meilleures ventes ou de nouveaux articles entraîne davantage de conversions)
Avec le passage d’IOS15, attention aux tests concernant les taux d’ouverture, si une grande partie de votre cible est sur IOS, prenez le en compte et créez un rapport personnalisé qui inclut une propriété Mail Privacy Policy.
Utilisez la barre de défilement pour modifier la taille du test si vous le souhaitez. Si la taille du test est inférieure à 100 %, vous avez également la possibilité d’ajuster la durée de votre test.
Pour l’exemple ci-dessous, 20 % des destinataires de la campagne recevront la variante A, et 20 % supplémentaires la variante B. En fonction du nombre de ces destinataires qui ouvrent, cliquent ou passent une commande (en fonction de la statistique gagnante que vous avez sélectionnée), un gagnant sera choisi après 6 heures, et le reste des destinataires recevra la variante gagnante.
Quoi A/B tester ?
Vous ne devez tester qu’une seule variable à la fois. En effet, tester plusieurs variables simultanément rend impossible l’identification des variables qui contribuent à l’amélioration des performances.
Voici quelques idées d’élements à tester :
- Pour améliorer le taux d’ouverture : Test d’objet (question ou déclaration, longueur de la ligne d’objet, utilisation de la personnalisation), test sur la preview, test sur le nom de l’expéditeur (nom de la marque ou prénom + marque), test sur l’heure et le jour d’envoi…
- Pour améliorer le taux de clic : Test sur l’apparence du CTA (couleur, police), test sur l’incitation à l’action (“acheter” au lieu de “découvrir”), test sur la hiérarchisation du contenu, test images vs Gif…
- Pour améliorer le taux de commandes : Test sur la preuve sociale (inclure avis dans vos email), test d’heure ou de jour d’envoi, test de CTA (placement dans l’email)…
Examinez les résultats des tests A/B et séléctionnez un gagnant
Accédez à la campagne que vous testez pour afficher sa progression et voir quelle version a été la plus performante. Si vous souhaitez mettre fin à un test A/B en cours :
- Accédez à l’ onglet Résultats des tests A/B d’une campagne en cours.
- Cliquez sur le menu d’options supplémentaires à côté de la version que vous souhaitez choisir.
- Cliquez sur Choisir comme gagnant
Lorsque vous sélectionnez manuellement un gagnant, toute personne qui n’a pas encore reçu la campagne recevra immédiatement la variante gagnante.