Offrir une expérience en ligne agréable aux visiteurs est indispensable pour générer de bons trafics et des taux de conversions satisfaisants.
Pour cela, l’A/B testing est un outil à connaître impérativement et à utiliser dans sa stratégie de croissance.
De quoi s’agit-il exactement, et comment cela fonctionne-il ? On fait le point ensemble.
AB Testing : définition
L’AB testing, ou test AB en français, est une méthode scientifique qui permet de comparer deux versions d’une page web, d’une landing page ou d’une appli pour identifier celle qui convertit le plus efficacement.
Il s’agit d’un test de type « Test and learn« , couramment utilisé dans le secteur technologique (notamment dans l’e-commerce) et dans les start ups.
Les deux versions comparées sont la version A et la version B.
- La version A est la version actuelle de la page. On l’appelle également version de contrôle.
- La version B est la page modifiée, également appelée page de traitement.
Pour comparer les performances des deux pages, on les teste simultanément.
Pour qu’un AB testing soit correctement effectué, il faut que la modification de la version de contrôle soit basée sur une hypothèse.
En lien avec le design, la structure, des éléments de la page ou même le contenu du site, l’hypothèse doit modifier la façon dont les visiteurs utilisent le site.
Notez qu’il est possible de faire un test AB en testant plusieurs hypothèses simultanément. Mieux vaut cependant éviter de tester trop d’hypothèses au même moment pour optimiser la lisibilité des résultats.
Selon les résultats obtenus après comparaison, l’hypothèse peut être retenue ou rejetée.
Le principe des tests AB
Il faut avant tout savoir qu’un test AB s’effectue avec des échantillons de visiteurs similaires.
Généralement, l’échantillon testé représente entre 5 et 20 % d’une base de données. Les résultats obtenus sur cet échantillon sont ensuite comparé à un échantillon similaire.
Bien entendu, les utilisateurs ne savent pas qu’ils sont en train d’utiliser une version test de la page consultée.
Tout est fait pour que les visites soient vécues comme normales afin de ne pas biaiser les résultats des tests.
Dans les grandes lignes, si la page B, ou page de traitement, obtient de meilleurs résultats, elle est considérée comme plus performante.
Elle est donc généralement retenue pour tous les autres utilisateurs. Il faut néanmoins toujours prendre le temps d’analyser et d’interpréter les résultats obtenus.
Il faut par exemple apprendre à reconnaître les « faux-positifs », et ne pas forcément abandonner une hypothèse après un simple échec.
Fonctionnement de l’AB Testing
Le principe des tests AB est donc simple à comprendre. Voici comment les entreprises procèdent concrètement.
- Il faut avant tout décider du test à effectuer, autrement dit de l’hypothèse à essayer. Les hypothèses envisageables sont potentiellement infinies… Il peut s’agir de la couleur d’un bouton, de l’endroit où se situe une information, d’une police d’écriture, du prix d’un produit, ou encore du lancement d’un son ou d’une vidéo à l’affichage de la page…
- Il faut ensuite décider d’un critère d’évaluation (l’objectif) des performances pertinent. Il peut s’agir du nombre de clics, du temps passé sur la page, ou encore du taux de conversion.
- Enfin, il faut décider de la taille de l’échantillon nécessaire pour aboutir à des résultats réellement évocateurs.
- Une fois que l’hypothèse et que le critère d’évaluation ont été bien définis, il faut procéder au test concret en proposant à deux groupes équivalents la page habituelle et la page modifiée.
On va donc procéder à un split de l’audience, c’est à dire diriger une partie des visiteurs vers la page A, et une autre vers la page B pour mesurer l’impact des modifications effectuées sur la page B.
Comment réussir un test AB sur son audience
Pour qu’un test AB soit fiable, il faut donc avant tout définir des objectifs clairs et de bons critères d’évaluation.
Cela demande du temps, mais mieux vaut réaliser un seul test à la fois pour éviter les faux positifs et s’assurer une meilleure lisibilité des résultats.
Il ne faut pas non plus hésiter à segmenter les tests pour obtenir des résultats plus précis.
Il faut également que le test soit effectué sur une durée assez longue, tout en sachant le stopper au bon moment.
Une fois le test effectué, il faut aussi, si possible, analyser le comportement des visiteurs plus précisément qu’avec le simple critère d’évaluation.
Les erreurs à éviter
Il y a plusieurs erreur à éviter pour optimiser l’efficacité d’un AB testing.
Pour commencer, mieux vaut éviter les tests trop compliqués.
Pour cela, il faut avant tout éviter de tester trop de paramètres au même moment pour ne pas se disperser et pour faciliter l’analyse des résultats.
Il faut également faire attention aux variations brutales de comportement des visiteurs, qui ne reflètent pas forcément la réalité de leur expérience. La durée de chaque test doit donc être bien définie en amont pour éviter la précipitation.
Il faut également toujours prendre un temps de recul entre chaque test pour en tirer des leçons et mieux comprendre le comportement des visiteurs.

AB Testing : une méthode toujours d’actualité
L’AB Testing est une méthode qui fait partie d’une longue histoire d’examen d’hypothèse statistiques et de test de variables pour l’optimisation marketing.
Depuis le début du 21e siècle, l’AB Testing est l’une des principales ressources des plateformes de e-commerce et des éditeurs de logiciels.
Aujourd’hui encore, des géants du web comme Amazon ou Booking.com effectuent plus de 10 000 tests AB par an. Cette méthode est utilisée par de nombreuses entreprises pour améliorer leurs performances marketing sur internet.
Pour les grandes entreprises de e-commerce, le testing AB est continu. De nombreuses versions de chaque pages sont testées chaque jour.
Il faut dire que les tests AB sont à l’origine de plusieurs innovations marquantes :
- Par exemple, en 2000, Google a mené un test pour trouver le nombre optimal de résultats à afficher sur une page de son moteur de recherche. Depuis, le nombre de résultats affiché par défaut est toujours de 10.
- A peu près à la même époque, Amazon a déplacé les offres de crédit de sa page d’accueil à sa page panier et a ainsi vu augmenter ses revenus de façon assez considérable.
C’est également en suivant une procédure de type AB Testing que Microsoft a décidé d’ouvrir les liens MSN sur un nouvel onglet pour que les sessions ne soient plus interrompues, faisant ainsi grimper le nombre de clics de près de 9% par session.