La signification statistique.
Vous est-il déjà arrivé de présenter les résultats d'une campagne marketing et de vous être demandé : « Mais ces résultats sont-ils statistiquement significatifs ? » En tant que spécialistes du marketing axés sur les données, nous ne devons pas seulement mesurer les résultats de nos campagnes marketing, mais également démontrer la validité des données - quelle est exactement la signification statistique.
Bien qu'il existe plusieurs outils gratuits pour calculer la signification statistique pour vous ( HubSpot en a même un ici ), il est utile de comprendre ce qu'ils calculent et ce que tout cela signifie. Ci-dessous, nous allons découvrir les chiffres en utilisant un exemple spécifique de signification statistique pour vous aider à comprendre pourquoi c'est crucial pour le succès du marketing.
Qu'est-ce que la signification statistique ?
En marketing, la signification statistique se produit lorsque les résultats de votre recherche montrent que les relations entre les variables que vous testez (comme le taux de conversion et le type de page de destination) ne sont pas aléatoires ; ils s'influencent mutuellement.
En marketing, vous voulez que vos résultats soient statistiquement significatifs, car cela signifie que vous ne gaspillez pas d'argent sur des campagnes qui n'apporteront pas les résultats souhaités. Les spécialistes du marketing effectuent souvent des tests de signification statistique avant de lancer des campagnes pour tester si des variables spécifiques sont plus efficaces que d'autres pour produire des résultats.
Exemple de signification statistique
Supposons que vous allez lancer une campagne publicitaire sur Facebook, mais que vous voulez vous assurer d'utiliser une publicité qui est la plus susceptible d'apporter les résultats souhaités. Ainsi, vous exécutez un test A/B pendant 48 heures avec l'annonce A comme variable de contrôle et B comme variation. Voici les résultats que j'obtiens :
Même si nous pouvons voir sur la base des chiffres que l'annonce B a reçu plus de conversions, vous voulez être sûr que la différence de conversions est significative et non due au hasard. Si je branche ces nombres dans une calculatrice de test chi-carré (nous y reviendrons plus tard ), ma valeur p est de 0,0, ce qui signifie que mes résultats sont significatifs et qu'il existe une différence de performances entre l'annonce A et l'annonce B qui n'est pas due au hasard.
Lorsque je lance ma campagne actuelle, je souhaite utiliser l'annonce B.
Si vous êtes comme moi, vous avez besoin de plus d'explications sur la signification de la valeur p et de 0,0. Nous allons donc passer en revue un exemple détaillé ci-dessous.
Comment calculer la signification statistique
- Déterminez ce que vous souhaitez tester.
- Déterminez votre hypothèse.
- Commencez à collecter des données.
- Calculer les résultats du Khi carré.
- Calculez vos résultats attendus.
- Voyez comment vos résultats diffèrent de ce que vous attendiez.
- Trouvez votre somme.
- Rapport sur la signification statistique à vos équipes.
1. Déterminez ce que vous souhaitez tester.
Tout d'abord, décidez ce que vous souhaitez tester. Il peut s'agir de comparer les taux de conversion sur deux pages de destination avec des images différentes, les taux de clics sur des e-mails avec des lignes d'objet différentes ou les taux de conversion sur différents boutons d'appel à l'action à la fin d'un article de blog. Les choix sont infinis.
Mon conseil serait de rester simple; choisissez un élément de contenu dont vous souhaitez créer deux variantes différentes et décidez de votre objectif - un meilleur taux de conversion ou plus de vues sont de bons points de départ.
Vous pouvez certainement tester des variantes supplémentaires ou même créer un test multivarié, mais, pour cet exemple, nous nous en tiendrons à deux variantes d'une page de destination avec pour objectif d'augmenter les taux de conversion. Si vous souhaitez en savoir plus sur les tests A/B et les tests multivariés, consultez « La différence critique entre les tests A/B et multivariés ».
2. Déterminez votre hypothèse.
Avant de commencer à collecter des données, je trouve utile d'énoncer mon hypothèse au début du test et de déterminer le degré de confiance que je veux tester. Puisque je teste une page de destination et que je veux voir si l'une d'entre elles fonctionne mieux, je suppose qu'il existe une relation entre la page de destination que les visiteurs reçoivent et leur taux de conversion .
3. Commencez à collecter vos données.
Maintenant que vous avez déterminé ce que vous souhaitez tester, il est temps de commencer à collecter vos données. Étant donné que vous exécutez probablement ce test pour déterminer quel élément de contenu est le mieux à utiliser à l'avenir, vous souhaiterez extraire une taille d'échantillon. Pour une page de destination, cela peut signifier choisir une durée définie pour exécuter votre test (par exemple, faire vivre votre page pendant trois jours).
Pour quelque chose comme un e-mail, vous pouvez choisir un échantillon aléatoire de votre liste pour envoyer au hasard des variantes de vos e-mails. Déterminer la bonne taille d'échantillon peut être délicat, et la bonne taille d'échantillon variera entre chaque test. En règle générale, vous voulez que la valeur attendue pour chaque variation soit supérieure à 5. (Nous couvrirons les valeurs attendues plus bas.)
4. Calculez les résultats du Khi deux.
Il existe plusieurs tests statistiques différents que vous pouvez exécuter pour mesurer la signification de vos données, et en choisir un dépend de ce que vous essayez de tester et du type de données que vous allez collecter. Dans la plupart des cas, vous utiliserez un test du Khi carré puisque les données sont discrètes.
Discret est une façon élégante de dire que votre expérience peut produire un nombre fini de résultats. Par exemple, un visiteur se convertira ou ne se convertira pas ; il n'y a pas différents degrés de conversion pour un seul visiteur.
Vous pouvez tester en fonction de divers degrés de confiance (parfois appelé l'alpha du test). Si vous voulez que l'exigence pour atteindre la signification statistique soit élevée, votre alpha sera plus faible. Vous avez peut-être vu une signification statistique rapportée en termes de confiance.
Par exemple, « Les résultats sont statistiquement significatifs avec un niveau de confiance de 95 %. » Dans ce scénario, l'alpha était de 0,05 (la confiance est calculée comme un moins l'alpha), ce qui signifie qu'il y a une chance sur 20 de commettre une erreur dans la relation indiquée.
Après avoir collecté les données, je les ai mises dans un graphique pour faciliter leur organisation. Puisque je teste deux variantes différentes (A et B) et qu'il y a deux résultats possibles (converti, non converti), j'aurai un graphique 2x2. Je totaliserai chaque colonne et chaque ligne afin que je puisse facilement voir les résultats dans leur ensemble.
Une fois que j'ai créé mon graphique, l'étape suivante consiste à exécuter l'équation à l'aide de la formule du chi carré.
5. Calculez vos valeurs attendues.
Maintenant, je vais calculer quelles sont les valeurs attendues. S'il n'y avait pas de relation entre ce que les visiteurs de la page de destination ont vu et leur taux de conversion dans l'exemple ci-dessus, nous nous attendrions à voir les mêmes taux de conversion avec les versions A et B. D'après les totaux, nous pouvons voir que 1 945 personnes ont converti sur les 4 935 visiteurs totaux, soit environ 39 % des visiteurs.
Pour calculer les fréquences attendues (E dans la formule du Khi-deux) pour chaque version de la page de destination, nous pouvons multiplier le total de la ligne pour cette cellule par le total de la colonne et le diviser par le nombre total de visiteurs. Dans cet exemple, pour trouver la valeur attendue de la conversion sur la version A, j'utiliserais l'équation suivante :
(1945*2401)/4935 = 946
6. Voyez comment vos résultats diffèrent de ce que vous attendiez.
Pour calculer le chi carré, je compare les fréquences observées (O dans l'équation du chi carré) aux fréquences attendues (E dans l'équation du chi carré). Cette comparaison est effectuée en soustrayant la valeur observée de la valeur attendue, en multipliant le résultat au carré et en le divisant par la valeur de fréquence attendue.
Essentiellement, j'essaie de voir à quel point mes résultats réels sont différents de ce à quoi nous pourrions nous attendre. La quadrature de la différence amplifie les effets de la différence, et la division par ce qui est attendu normalise les résultats. Pour rappel, l'équation ressemble à ceci : (observé - attendu)*2)/attendu
7. Trouvez votre somme.
Je fais ensuite la somme des quatre résultats pour obtenir mon chi carré. Dans ce cas, c'est .95. Pour voir si les taux de conversion de mes pages de destination sont différents ou non avec une signification statistique, je compare cela avec la valeur d'un tableau de distribution du Khi carré basé sur mon alpha (dans ce cas, 0,05) et les degrés de liberté.
Les degrés de liberté sont basés sur le nombre de variables dont vous disposez. Avec une table 2x2 comme dans cet exemple, le degré de liberté est 1.
Dans ce cas, la valeur du Khi carré devrait être égale ou supérieure à 3,84 pour que les résultats soient statistiquement significatifs. Étant donné que 0,95 est inférieur à 3,84, mes résultats ne sont pas statistiquement différents. Cela signifie qu'il n'y a aucune relation entre la version de la page de destination qu'un visiteur reçoit et le taux de conversion avec une signification statistique.
8. Faites un rapport sur la signification statistique à vos équipes.
Après avoir exécuté votre test, l'étape suivante consiste à communiquer vos résultats à vos équipes pour vous assurer que tout le monde est sur la même longueur d'onde concernant les prochaines étapes. Ainsi, en poursuivant l'exemple précédent, je devrais informer mes équipes que le type de page de destination que nous utiliserons dans notre prochaine campagne n'aura pas d'impact sur notre taux de conversion car nos résultats de test n'étaient pas significatifs.
Si les résultats étaient significatifs, j'informerais mes équipes que la version A de la page de destination fonctionnait mieux que les autres, et nous devrions choisir d'utiliser celle-ci dans notre prochaine campagne.
Pourquoi l'importance statistique est importante
Vous vous demandez peut-être pourquoi cela est important si vous pouvez simplement utiliser un outil gratuit pour exécuter le calcul. Comprendre comment la signification statistique est calculée peut vous aider à déterminer la meilleure façon de tester les résultats de vos propres expériences.
De nombreux outils utilisent un taux de confiance de 95 %, mais pour vos expériences, il peut être judicieux d'utiliser un taux de confiance inférieur si vous n'avez pas besoin que le test soit aussi rigoureux.
Comprendre les calculs sous-jacents vous aide également à expliquer pourquoi vos résultats peuvent être importants pour les personnes qui ne sont pas déjà familiarisées avec les statistiques.