Les donnees.

Quoi de pire que de travailler sans données ?

Travailler avec de "mauvaises" données.

En tant que spécialistes du marketing, nous aimons tester les titres, les incitations à l'action et les mots-clés (pour n'en nommer que quelques-uns). L'une des façons de procéder consiste à exécuter des tests A/B.

En guise de rappel, les tests A/B consistent à diviser une audience pour tester un certain nombre de variantes d'une campagne et déterminer laquelle est la plus performante.

Mais les tests A/B ne sont pas infaillibles.

En fait, c'est un processus compliqué. Vous devez souvent vous fier à un logiciel de test pour extraire les données, et il y a une forte probabilité de recevoir un faux positif. Si vous ne faites pas attention, vous pourriez faire des suppositions erronées sur ce qui pousse les gens à cliquer.

Alors, comment pouvez-vous vous assurer que votre test A/B fonctionne correctement ? C'est là qu'intervient le test A/A. Considérez-le comme un test pour le test.

Qu'est-ce qu'un test A/A ?

Un test A/A consiste à conduire deux ou plusieurs groupes de personnes vers des versions identiques d'un élément de contenu. Au lieu de découvrir une légère augmentation des conversions, l'objectif est de ne trouver aucune différence entre le contrôle et les variations.

L'idée derrière un test A/A est que l'expérience est la même pour chaque groupe, donc le KPI (Key Performance Indicator) attendu sera également le même pour chaque groupe.

Par exemple, si 20% du groupe A remplit un formulaire sur une page de destination, le résultat attendu est que 20% du groupe B (qui interagissent avec une version identique de la page de destination) feront de même.

Différences entre un test A/A et un test A/B

La réalisation d'un test A/A est similaire à celle d'un test A/B ; un public est divisé en deux groupes de taille similaire, mais au lieu de diriger chaque groupe vers différentes variantes de contenu, chaque groupe interagit avec des versions identiques du même contenu.

Voici une autre façon d'y penser : avez-vous déjà entendu l'expression « Comparer des pommes à des oranges » ? Un test A/B fait exactement cela : compare deux variantes différentes d'un élément de contenu pour voir laquelle fonctionne le mieux. Un test A/A compare une pomme à, eh bien, une pomme identique.

Lors de l'exécution d'un test A/B, vous programmez un outil de test pour modifier ou masquer une partie du contenu. Ceci n'est pas nécessaire pour un test A/A.

Un test A/A nécessite également une taille d'échantillon plus importante qu'un test A/B pour prouver un biais significatif. Et, en raison de la taille de l'échantillon, ces tests prennent beaucoup plus de temps.

Comment faire des tests A/A

La manière exacte dont vous effectuez une A/A variera en fonction de l' outil de test que vous utilisez. Si vous êtes un client HubSpot Enterprise effectuant un test A/A ou A/B sur un e-mail, par exemple, HubSpot divisera automatiquement le trafic vers vos variantes afin que chaque variante reçoive un échantillon aléatoire de visiteurs.

Voyons les étapes pour exécuter un test A/A.

1. Créez deux versions identiques d'un élément de contenu : le contrôle et la variante.

Une fois votre contenu créé, identifiez deux groupes de la même taille d'échantillon avec lesquels vous souhaitez effectuer le test.

2. Identifiez votre KPI.

Un KPI est une mesure de la performance sur une période de temps. Par exemple, votre KPI pourrait être le nombre de visiteurs qui cliquent sur une incitation à l'action.

3. À l'aide de votre outil de test, divisez votre audience de manière égale et aléatoire, et envoyez un groupe au contrôle et l'autre groupe à la variante.

Exécutez le test jusqu'à ce que le contrôle et la variation atteignent un nombre déterminé de visiteurs.

4. Suivez le KPI pour les deux groupes.

Étant donné que les deux groupes sont envoyés vers des éléments de contenu identiques, ils doivent se comporter de la même manière. Par conséquent, le résultat attendu ne sera pas concluant.

Utilisations des tests A/A

Les tests A/A sont principalement utilisés lorsqu'une organisation met en œuvre un nouveau logiciel de test A/B ou reconfigure un logiciel actuel.

Vous pouvez exécuter un test A/A pour effectuer les opérations suivantes :

1. Pour vérifier l'exactitude d'un logiciel de test A/B.

Le résultat attendu d'un test A/A est que le public réagit de la même manière au même contenu.

Mais et s'ils ne le font pas ?

Voici un exemple : l'entreprise XYZ exécute un test A/A sur une nouvelle page de destination. Deux groupes sont envoyés vers deux versions identiques de la page de destination (le contrôle et la variante). Le groupe A a un taux de conversion de 8%, tandis que le groupe B a un taux de 2%.

En théorie, le taux de conversion devrait être identique. Lorsqu'il n'y a pas de différence entre le contrôle et la variante, le résultat attendu ne sera pas concluant. Pourtant, parfois un « gagnant » est déclaré sur deux versions identiques.

Lorsque cela se produit, il est essentiel d'évaluer la plate-forme de test. L'outil peut avoir été mal configuré, ou il pourrait être inefficace.

2. Pour définir un taux de conversion de référence pour les futurs tests A/B.

Imaginons que la société XYZ exécute un autre test A/A sur la page de destination. Cette fois, les résultats du groupe A et du groupe B sont identiques — les deux groupes atteignent un taux de conversion de 8%.

Par conséquent, 8% est le taux de conversion de base. Dans cette optique, l'entreprise peut réaliser de futurs tests A/B dans le but de dépasser ce taux.

Si, par exemple, l'entreprise effectue un test A/B sur une nouvelle version de la page de destination et obtient un taux de conversion de 8,02 %, le résultat n'est pas statistiquement significatif.

Test A/A : avez-vous vraiment besoin de l'utiliser ?

Exécuter un test A/A, ou non, telle est la question. Et la réponse dépendra de qui vous demandez. Il est indéniable que les tests A/A sont un sujet très débattu.

L'argument le plus répandu contre les tests A/A se résume peut-être à un facteur : le temps.

Les tests A/A prennent un temps considérable à exécuter. En fait, les tests A/A nécessitent généralement une taille d'échantillon beaucoup plus importante que les tests A/B. Lorsque vous testez deux versions identiques, vous avez besoin d'un échantillon de grande taille pour prouver un biais significatif. Par conséquent, le test prendra plus de temps, ce qui peut réduire le temps consacré à l'exécution d'autres tests utiles.

Cependant, il est logique d'exécuter un test A/A dans certains cas, surtout si vous n'êtes pas sûr d'un nouveau logiciel de test A/B et que vous souhaitez une preuve supplémentaire qu'il est à la fois fonctionnel et précis. Les tests A/A sont une méthode à faible risque pour vous assurer que vos tests sont correctement configurés.

Les tests A/A peuvent vous aider à vous préparer à un programme de tests AB réussi, à fournir des références de données et à identifier toute divergence dans vos données.

Bien que les tests A/A soient utiles, l'exécution d'un tel test devrait être relativement rare. Bien que le test A/A puisse effectuer un « contrôle de santé » sur un nouvel outil ou logiciel A/B, il peut ne pas valoir la peine d'optimiser chaque modification mineure de votre site Web similaire à Shopbreizh.fr ou de votre campagne marketing en raison du temps considérable nécessaire à son exécution.