https://commons.wikimedia.org/wiki/File:Casino_dices.jpg
« Just one time ! » Qui ne connaît pas ce cri suppliant des joueurs de poker désespérés, qui sont loin derrière dans une main, face à l'élimination. Ils prient les dieux pour un coup de chance, de revenir dans le jeu une seule fois. Mais à part des moments de gloire rares, les joueurs maudissent ces fluctuations dues au hasard qui provoquent trop facilement un tournement imprévisible dans un court laps de temps, que ce soit au casino ou à la bourse. Mais hélas, ce ne sont pas que ces aventuriers de fortune qui se méfient des fluctuations !
N’oublions pas les chercheurs, qui, à la quête du savoir, subissent des revers et dilemmes provoqués par les caprices de l’aléatoire. Guérisons miraculeuses, élections surprenantes et changements météorologiques imprévisibles ! Et si l’omniprésence des fluctuations aléatoires met en question la validité de toute et quelconque hypothèse, comment distinguer le pertinent dans ce bruit de fond erratique ?
Omniprésents en recherche scientifique contemporaine, les outils et méthodes fournis par la Statistique permettent d’analyser et d’évaluer des quantités de données considérables et ceci dans des domaines aussi variés que la sociologie, la médecine ou encore la physique expérimentale. Néanmoins, leur manipulation nécessite une approche sincère et expérimentée pour éviter des interprétations et conclusions prématures ou erronées.
Tester une hypothèse : moins simple qu’il n’y parait !
Dans leur quête du savoir, les chercheurs conçoivent de façon routinière des expériences afin de tester leurs hypothèses. Mais attention, le succès d’un test mal choisi ne confirme pas nécessairement la validité de l’hypothèse ! En effet, reprenons l’image du coq [1], qui, par son cocorico retentissant, semble appeler le soleil tous les matins. Pour confirmer l’hypothèse « Le coq appelle le soleil par son cri », ne suffit-il pas de l’observer chanter triomphalement jour après jour ?
Afin de tenter d’éliminer ces fausses preuves, Ronald Fisher (1890-1962), le statisticien en chef du British agricultural experiment station, a développé lors de la première moitié du 20e siècle, le concept de l’hypothèse nulle. En gros, il suffit de considérer le contraire de ce qu’on aimerait montrer. Dans l’exemple précédent, l’hypothèse nulle se formule alors comme « Le coq n’a aucune influence sur le lever du soleil ». Suivre la méthode scientifique consisterait alors à tenter de rejeter l’hypothèse nulle, en montrant que l’absence du coq prolongerait la nuit indéfiniment. Mais évidemment, le soleil se lèvera aussi bien ayant mis le coq au pot ! On conclut donc que l’observation ne permet pas de prouver une influence quelconque du coq sur le lever du soleil.
[1] Voir Tangente n°182 (mai-juin 2018) : Les mystères cachés des probas et des stats, p.36-37
Ronald Fisher 1913
Copyright: Wikipedia. Public Domain
De manière plus concrète, pensons à un test d’efficacité d’un nouveau traitement contre une maladie infectieuse. Selon les règles de l’art, on compare le médicament en question, administré à un premier groupe de malades, face à un second groupe de malades qui n’a eu qu’un placebo (le groupe contrôle). L’hypothèse nulle consiste alors à déclarer que le nouveau médicament n’a aucun effet. Si, en admettant cette hypothèse, les observations obtenues semblent fortement improbables, l’hypothèse nulle est rejetée et l’efficacité du médicament suggérée.
Comment juger ce qui est probable et ce qui ne l’est pas ?
On sent bien la nécessité d’introduire une mesure rigoureuse qui quantifie de manière plus objective nos observations. Appelée la p-valeur (pour probability value en anglais), les mathématiciens définissent cette mesure comme étant la probabilité d’obtenir un résultat au moins aussi « extrême » que celui observé, tout en admettant l’hypothèse nulle satisfaite. En général, si la p-valeur est en dessous d’un certain seuil, l’hypothèse nulle est rejetée et le résultat est considéré comme statistiquement significatif.
Infobox
Evidemment, plus une annonce d’un groupe de chercheurs semble spectaculaire, plus la communauté scientifique attend des preuves solides. Quand les chercheurs du CERN ont par exemple annoncé l’existence du fameux boson de Brout-Englert-Higgs en 2012, ils ont parlé d’une certitude de leur signal à 5-sigma, ce qui correspond à une p-valeur d’à peu près 
. En d’autres mots, sous l’hypothèse que le boson n’existerait pas, les résultats obtenus ne seraient qu’une pure fluctuation du hasard qui aurait lieu en moyenne 1 fois dans 3,5 millions d’expériences identiques. Extrêmement improbable, mais néanmoins pas impossible ! C’est d’ailleurs la même probabilité que d’obtenir 22 faces consécutives dans un jeu de pile-ou-face.
Simulation de la désintégration d’un boson de Higgs crée lors d’une collision de deux protons d’ultra-haute énergie. Les lignes jaunes représentent les chemins possibles des particules produites par la collision tandis que l'énergie que ces particules déposent est représentée en bleu.
© 1997-2021 CERN (License: CC-BY-SA-4.0)
Infobox
et prononcé sigma), qui mesure les fluctuations autour de la moyenne dans une suite d’expériences aléatoires identiques. Souvent, les résultats des expériences se modélisent par une courbe en cloche, aussi appelée la courbe de Gauss. 1-sigma indique alors qu’environ 68% des valeurs se situent à moins d’un écart-type de la moyenne. De même, 2-sigma indique qu’environ 95% des valeurs se situent à moins de 2 écarts-types de la moyenne et ainsi de suite. Pour les chercheurs en physique des particules, un résultat de 3-sigma est qualifié d’une observation tandis qu’un résultat de 5-sigma est considéré comme une découverte.
L’importance d’une pratique sincère et expérimentée en statistiques
L’hypothèse nulle fournit-elle donc une recette magique qui permet de distinguer machinalement le pertinent du bruit de fond des fluctuations ? Certainement pas ! Rappelons que dans ses deux textes majeurs, Statistical Methods for Research Workers (1925) et The Design of Experiments (1935), Fisher lui-même avertit que pour obtenir des résultats pertinents et significatifs, le statisticien doit d’abord combiner son imagination, sa créativité et surtout sa profonde connaissance de données et d’observations similaires, avant de décider quelles hypothèses se prêtent d’être testées. Le choix d'une hypothèse nulle, le seuil critique pour la p-valeur, ainsi que la conception de l’expérience en-soi sont un art qui ne peut être réduit à un processus automatisé. Inférer la vérité d'un énoncé par des méthodes statistiques est en outre quelque chose qui ne peut être faite que par une combinaison d'expériences répétées, de préférence par plusieurs groupes de chercheurs indépendants.
Dès lors, sans contexte additionnel et connaissances préalables, les méthodes et concepts discutés ne pourront ni distinguer le vrai du faux, ni déterminer définitivement une causalité entre différents phénomènes. Cependant, pratiqués de manière sincère et expérimentée, ils permettent de tirer des conclusions fondées que nous avons toutes les raisons de croire être pertinentes.
Autor*innen: Julien Meyer, Gina Reuland (Luxembourg Science Center)
Editorin: Michèle Weber (FNR)
