Lorsque vous utilisez un test d’hypothèse pour tester une hypothèse, vous portez un jugement sur la véracité ou non d’une hypothèse. Eh bien, dans le monde des statistiques, les tests d’hypothèse ne sont pas parfaits – parfois, votre conclusion est incorrecte ! Dans cet article, nous allons examiner l’une des façons spécifiques dont votre conclusion peut être erronée, appelée erreur de type II (ou erreur de type 2).
Si vous souhaitez en savoir plus sur les tests d’hypothèse et d’autres sujets de statistiques, nos leçons vidéo de statistiques peuvent vous aider !
Définitions des types d’erreurs
Il existe deux possibilités dans le monde réel : soit l’hypothèse nulle est juste, soit elle est fausse. Nous ne savons pas lequel des deux est le cas – c’est pourquoi nous faisons un test d’hypothèse en premier lieu. Et bien sûr, le test d’hypothèse vous donnera le bon résultat la plupart du temps… mais lorsque le résultat est faux, il est important de savoir comment il peut être faux et ce que cela signifie.
- Si la situation réelle est que l’hypothèse nulle est juste, alors soit votre test fonctionne (vous échouez correctement à rejeter l’hypothèse nulle), soit votre test ne fonctionne pas (vous rejetez incorrectement l’hypothèse nulle). Ce type particulier d’erreur est appelé « erreur de type I ».
- Si la situation réelle est que l’hypothèse nulle est fausse, alors soit votre test fonctionne (vous rejetez correctement l’hypothèse nulle), soit votre test ne fonctionne pas (vous ne rejetez pas correctement l’hypothèse nulle). C’est ce qu’on appelle une « erreur de type II ».
Regardons de plus près ces erreurs de type II : comment elles se produisent, ce qu’elles signifient et ce que l’on peut faire à ce sujet.
Exemple d’erreur de type II
Disons que nous testons un nouveau shampoing pour voir s’il fait pousser les cheveux plus vite. Nous savons que le taux moyen de croissance des cheveux est de 0,5 pouce par mois. Nous donnons notre shampooing aux sujets testés et mesurons leur croissance capillaire. Peut-être que la croissance moyenne des cheveux chez nos sujets d’essai est de 0,6 pouces par mois. C’est un peu plus que la moyenne, mais c’est suffisamment proche pour que nous nous demandions si cette différence est due au hasard ? Ou est-ce quelque chose que nous pouvons attribuer à notre nouveau shampooing ?
L’hypothèse nulle, dans ce cas, est que le shampooing ne contribue pas à augmenter la croissance des cheveux – que le taux de croissance des cheveux chez toutes les personnes qui utilisent notre shampooing ne serait pas différent du taux de croissance des cheveux chez toutes les personnes. (L’hypothèse nulle peut généralement se résumer à « aucun changement » ou « aucune différence »).
Maintenant, supposons que la vérité réelle est que notre shampooing fait effectivement pousser les cheveux plus vite, parce que nous sommes des génies de la fabrication de shampooings. Nous ne savons pas si cela fonctionne, mais nous effectuons un test d’hypothèse à l’aide de nos données collectées pour essayer de savoir si cela fonctionne ou non.
Si la valeur P de notre test est suffisamment petite, nous rejetterons l’hypothèse nulle. C’est génial ! Nous avons correctement rejeté l’hypothèse nulle et conclu que notre shampooing fait pousser les cheveux plus vite. Dans ce cas :
- Nous commercialisons le shampooing auprès d’une grande entreprise, puis
- Une célébrité retweete notre recherche, après quoi
- Des tonnes de commandes affluent, et ainsi
- Nous gagnons des millions de dollars et le monde a des cheveux qui poussent plus vite. Tout le monde est gagnant !
D’un autre côté, il se peut que la valeur P ne soit pas assez petite pour rejeter l’hypothèse nulle. Si la réalité est que le shampooing fait effectivement pousser les cheveux plus vite, et que nous le manquons en ne rejetant pas l’hypothèse nulle, alors nous avons commis une erreur de type II.
Qu’est-ce que cela signifie pour nous ? Eh bien, nous pourrions penser (à tort) que notre shampooing ne fonctionne pas comme nous le souhaitons. Nous pourrions jeter cette formule à un million de dollars et retourner à la planche à dessin.
Les erreurs de type II peuvent clairement avoir de graves conséquences !
Pourquoi les erreurs de type II se produisent-elles ?
Quelques facteurs peuvent contribuer à une erreur de type II. Elles sont plus probables lorsque le changement réel du paramètre de population est faible – par exemple, si le shampoing augmente le taux de croissance des cheveux, mais seulement d’une petite quantité. Un petit changement est plus difficile à repérer qu’une différence spectaculaire, et peut plus facilement être manqué.
Dans notre exemple, la modification du taux de croissance des cheveux était suffisamment faible pour l’attribuer au hasard.
Les erreurs de type II sont également plus probables avec un échantillon de petite taille. Si le nombre de sujets de l’expérience n’est pas assez important, un changement réel peut tout de même conduire à une valeur P trop importante pour rejeter la valeur nulle, ce qui constitue une erreur de type II.
Il est également possible que nous n’ayons pas eu de chance – en raison de la variabilité aléatoire de nos sujets, un changement réel qui aurait dû être apparent n’était pas là, ou pas assez important pour le distinguer de la variabilité aléatoire.
Peut-on éviter les erreurs de type II ?
Certaines techniques peuvent aider à éviter les erreurs de type I ou de type II : répétez votre expérience plusieurs fois, ou utilisez un groupe de sujets plus important. Ces améliorations sont souvent limitées par l’aspect pratique. Combien de séries de tests pouvons-nous nous permettre ? Combien d’échantillons de shampoing pouvons-nous expédier ?
Un autre moyen d’éviter spécifiquement les erreurs de type II consiste à augmenter le seuil auquel vous rejetez l’hypothèse nulle (appelé niveau alpha, ou α). Un choix typique pour alpha est 0,05 – ainsi, toute valeur P inférieure à 0,05 conduirait à rejeter l’hypothèse nulle, et toute valeur P supérieure à 0,05 conduirait à ne pas rejeter l’hypothèse nulle.
En augmentant le niveau alpha à 0,10, vous rejetteriez l’hypothèse nulle plus souvent, de sorte que les chances d’une erreur de type II sont réduites.
Cependant, il existe un compromis avec ces deux types d’erreurs. Si vous augmentez le niveau alpha, vous allez rejeter l’hypothèse nulle plus souvent. C’est génial si l’hypothèse nulle est réellement fausse, mais parfois elle est juste. Si elle est juste et que vous la rejetez à tort, alors vous avez commis une erreur de type I.
La probabilité d’une erreur de type I est égale au niveau alpha. Si vous augmentez le seuil alpha de manière à réduire la chance d’une erreur de type II, alors vous augmentez également la chance d’une erreur de type I.
Donc, en pratique, vous devez décider quel type d’erreur est le plus dangereux, et essayer d’éviter celui-là.
- Si les conséquences d’une erreur de type II sont pires que celles d’une erreur de type I, vous pouvez décider que alpha doit être un peu plus élevé, comme 0,10.
- Si les conséquences d’une erreur de type I sont pires, fixez alpha plus bas, peut-être 0,01.
- Si les conséquences sont à peu près les mêmes dans les deux cas, choisissez alpha quelque part au milieu, peut-être 0,05.
Par exemple, avec le shampooing pour faire pousser les cheveux, nous ne voulons absolument pas passer à côté de millions de dollars, donc nous n’aimons pas les erreurs de type II… mais une erreur de type I est mauvaise aussi. Si notre produit ne fonctionne pas mais que nous prétendons qu’il fonctionne, nous pourrions avoir des ennuis avec nos clients lorsqu’ils ne voient pas de résultats, et peut-être des ennuis avec le gouvernement pour publicité mensongère !
Résumé
Une erreur de type II est parfois appelée « faux négatif ». On l’appelle ainsi lorsque le test d’hypothèse ne rejette pas l’hypothèse nulle, alors que celle-ci aurait dû être rejetée.
Cela signifie que nous avons manqué de trouver un changement significatif quelque part.
Vous pouvez réduire la chance d’une erreur de type II, mais faites attention – augmenter le niveau alpha réduira la chance d’une erreur de type II et augmentera la chance d’une erreur de type I.