Deborah Mayo (1953–) : rigueur expérimentale et tests sévères

Deborah Mayo élabore depuis quatre décennies une philosophie de la connaissance expérimentale centrée sur le contrôle rigoureux des erreurs. Son approche renouvelle la compréhension de l’inférence scientifique en montrant comment les méthodes statistiques permettent d’évaluer la fiabilité des affirmations empiriques.

En raccourci

Née en 1953, Deborah Mayo développe une philosophie des sciences fondée sur la notion de « test sévère », selon laquelle une hypothèse mérite d’être acceptée seulement si elle a été soumise à des épreuves capables de détecter ses failles. Formée en mathématiques puis en philosophie, elle enseigne à Virginia Tech de 1979 à 2016.

Son ouvrage majeur, Error and the Growth of Experimental Knowledge (1996), primé par le prestigieux prix Lakatos, critique l’approche bayésienne subjective et propose une épistémologie statistique de l’erreur. Cette perspective redonne leur légitimité aux méthodes fréquentistes en montrant comment elles permettent d’évaluer la rigueur des tests scientifiques.

Dans Statistical Inference as Severe Testing (2018), Mayo intervient dans les débats sur la crise de réplication qui secoue les sciences sociales et biomédicales. Contre ceux qui accusent les tests de significativité statistique, elle défend que les problèmes proviennent de leur mauvaise utilisation plutôt que de défauts intrinsèques.

Sa philosophie met l’accent sur la capacité des méthodes à détecter les erreurs plutôt que sur la probabilité des hypothèses, offrant des outils conceptuels pour distinguer les résultats scientifiques solides des artefacts méthodologiques.

Formation mathématique et tournant philosophique

Deborah Mayo obtient son diplôme de premier cycle en mathématiques à l’Université Clark en 1974. Cette formation initiale lui procure une maîtrise technique des outils statistiques qui deviendra le socle de ses contributions philosophiques ultérieures. Plutôt que de poursuivre dans les mathématiques pures, elle se tourne vers la philosophie pour examiner les fondements conceptuels de l’inférence scientifique.

Du calcul à la réflexion épistémologique

À l’Université de Pennsylvanie, Mayo entreprend un doctorat en philosophie qu’elle achève en 1979 avec une thèse intitulée « Philosophy of Statistics ». Ce travail préfigure ses préoccupations durables : comment les méthodes statistiques peuvent-elles fonder une connaissance fiable du monde empirique ? Dans quelle mesure les probabilités d’erreur éclairent-elles la validité des inférences scientifiques ? Ces interrogations la conduisent à remettre en question les approches dominantes en philosophie des probabilités.

La même année, elle rejoint le département de philosophie de Virginia Tech, institution où elle accomplira l’intégralité de sa carrière académique. Cette continuité lui permet de développer un programme de recherche cohérent sur plusieurs décennies, centré sur l’articulation entre pratique statistique et théorie de la connaissance.

Enracinement dans la tradition analytique

Dès ses premiers travaux, Mayo s’inscrit dans la lignée de la philosophie analytique des sciences. Ses cours portent sur la logique formelle, la méthode scientifique et la philosophie des sciences, domaines où l’argumentation rigoureuse et l’analyse conceptuelle prime sur la spéculation métaphysique. Cette orientation façonne son style philosophique : précision terminologique, attention aux détails techniques, engagement avec les pratiques scientifiques réelles.

Critique du bayésianisme et émergence de la philosophie statistique de l’erreur

Dans les années 1980 et 1990, Mayo élabore une critique systématique de l’approche bayésienne subjective en philosophie des statistiques. Cette perspective, influente depuis les travaux de Bruno de Finetti et Leonard Savage, conçoit les probabilités comme degrés de croyance personnels plutôt que comme fréquences objectives. Pour les bayésiens subjectifs, l’inférence scientifique consiste à réviser ces degrés de croyance à la lumière de nouvelles données selon le théorème de Bayes.

Les limites de la probabilité des hypothèses

Mayo soutient que cette approche manque quelque chose de fondamental dans la pratique scientifique. Les chercheurs ne cherchent pas simplement à quantifier leur confiance dans une hypothèse, mais à évaluer si leurs tests sont suffisamment rigoureux pour détecter les failles éventuelles de cette hypothèse. Un résultat expérimental peut s’accorder avec une théorie pour de mauvaises raisons : hasard, biais de sélection, méthodes inappropriées. L’enjeu n’est pas la probabilité de l’hypothèse étant donné les données, mais la capacité du test à discriminer entre hypothèses vraies et fausses.

Cette critique conduit Mayo à développer ce qu’elle nomme la « philosophie statistique de l’erreur » (error statistics). Plutôt que d’utiliser les probabilités pour mesurer la crédibilité des hypothèses, il faut les employer pour modéliser les schémas d’irrégularité susceptibles de produire des erreurs d’inférence. Une méthode statistique vaut par sa capacité à contrôler les taux d’erreur dans des conditions spécifiées.

Réhabilitation de Neyman et Pearson

Mayo réinterprète les travaux de Jerzy Neyman et Egon Pearson, développés dans les années 1930, que beaucoup de philosophes considéraient comme purement comportementalistes. Selon une lecture répandue, la théorie de Neyman-Pearson concernerait uniquement les règles de décision et leur performance à long terme, sans rien dire sur l’inférence cognitive. Mayo montre au contraire que leurs concepts – erreurs de type I et II, puissance statistique, niveaux de confiance – fournissent les outils nécessaires pour évaluer la rigueur probante des tests individuels.

Error and the Growth of Experimental Knowledge : l’ouvrage fondateur

Publié en 1996 par l’University of Chicago Press, Error and the Growth of Experimental Knowledge établit Mayo comme une voix majeure en philosophie des sciences. L’ouvrage développe son programme de recherche avec une ampleur et une profondeur inédites, combinant analyses conceptuelles, études de cas historiques et engagement avec la pratique scientifique contemporaine.

L’impératif de sévérité

Au cœur du livre se trouve le concept de « test sévère ». Mayo définit ainsi cette notion : une hypothèse passe un test sévère si le test était hautement capable de détecter des défauts ou des écarts par rapport à cette hypothèse, et pourtant aucun ou peu de défauts n’ont été trouvés. L’idée s’inspire de Karl Popper, qui insistait sur l’importance de soumettre les théories à des tentatives rigoureuses de réfutation, mais Mayo lui donne une formulation probabiliste précise que Popper n’avait jamais élaborée.

Un exemple clarifie cette approche. Supposons qu’un instrument de mesure donne un résultat conforme à une prédiction théorique. Ce résultat constitue-t-il une bonne preuve ? Cela dépend : si l’instrument était peu sensible et aurait probablement donné le même résultat même si la théorie était fausse, alors le test manque de sévérité. En revanche, si l’instrument était hautement discriminant et aurait probablement signalé un désaccord en cas d’erreur théorique, alors le test est sévère et le résultat constitue une preuve solide.

Études de cas : Perrin et l’éclipse de 1919

Mayo illustre sa philosophie par deux études de cas détaillées. La première analyse les expériences de Jean Perrin sur le mouvement brownien, qui établirent l’existence des atomes dans les premières décennies du vingtième siècle. Mayo montre comment Perrin a systématiquement éliminé les explications alternatives et contrôlé les sources d’erreur potentielles, rendant ses conclusions hautement fiables malgré l’impossibilité d’observer directement les atomes.

La seconde porte sur les observations de l’éclipse solaire de 1919 par Arthur Eddington, censées confirmer la théorie de la relativité générale d’Einstein en détectant la courbure de la lumière par le Soleil. Mayo examine minutieusement les incertitudes de mesure, les biais de sélection des données et les hypothèses auxiliaires impliquées. Son analyse nuance l’image héroïque souvent présentée, montrant à la fois les forces et les limites méthodologiques de cette célèbre confirmation.

Réception et reconnaissance

L’impact du livre est immédiat. En 1998, Mayo reçoit le prix Lakatos, décerné annuellement à la contribution la plus remarquable en philosophie des sciences parmi les ouvrages publiés dans les six années précédentes. Cette distinction la place au niveau des philosophes des sciences les plus influents de sa génération. Les comptes rendus saluent sa combinaison rare de sophistication technique et de pertinence philosophique, ainsi que sa capacité à adresser simultanément les besoins des praticiens et les problèmes conceptuels fondamentaux.

Cosma Shalizi, statisticien et philosophe, note que Mayo réussit là où des tentatives antérieures avaient échoué : fonder la philosophie des sciences sur la théorie statistique d’une manière qui résout effectivement les problèmes méthodologiques de la pratique scientifique. Plusieurs critiques soulignent que son approche offre une alternative crédible aux débats stériles entre bayésiens et fréquentistes qui dominaient la philosophie des statistiques.

Développements et approfondissements

Après ce succès, Mayo approfondit divers aspects de sa philosophie. En 1997, elle reçoit le Sturm Award for Excellence in Faculty Research décerné par Phi Beta Kappa. Elle occupe des positions de leadership dans la Philosophy of Science Association et sert comme professeure invitée au prestigieux Centre for Philosophy of Natural and Social Science de la London School of Economics.

Error and Inference : dialogues critiques

En 2010, Mayo coédite avec l’économiste Aris Spanos Error and Inference: Recent Exchanges on Experimental Reasoning, Reliability, and the Objectivity and Rationality of Science. Ce volume orchestré autour de sa philosophie met en scène des échanges avec des philosophes représentant des perspectives concurrentes : Alan Chalmers et Alan Musgrave débattent des implications pour les théories à grande échelle, Clark Glymour interroge les relations avec l’inférence causale.

Le format dialogique permet à Mayo de clarifier sa position face aux objections. Certains critiques soutenaient que sa focalisation sur les tests locaux et le contrôle d’erreurs spécifiques négligeait la connaissance théorique globale. Mayo répond qu’au contraire, son approche permet d’articuler précisément quelles parties d’une théorie doivent être acceptées plutôt que d’adopter ou rejeter la théorie entière de façon monolithique. Cette granularité offre un guide plus fin pour la pratique scientifique.

Extensions interdisciplinaires

La seconde partie du volume explore des applications de la philosophie statistique de l’erreur à d’autres domaines. Des contributions examinent comment cette perspective éclaire les tests de théories économiques, la modélisation causale et l’épistémologie juridique. Ces extensions attestent la fécondité de l’approche au-delà des sciences naturelles stricto sensu.

Mayo collabore particulièrement avec Spanos sur les questions de spécification de modèles statistiques et de tests de mauvaise spécification. Leur article « Methodology in Practice: Statistical Misspecification Testing » (2004) montre comment les techniques de diagnostic statistique permettent d’identifier quand un modèle échoue à capturer des aspects pertinents des données, illustrant la dimension méthodologique pratique de la philosophie statistique de l’erreur.

La crise de réplication et Statistical Inference as Severe Testing

Dans les années 2010, une crise de réplication secoue plusieurs domaines scientifiques. En psychologie sociale, de nombreux résultats célèbres s’avèrent impossibles à reproduire lorsque des équipes indépendantes tentent de répliquer les expériences originales. Des problèmes similaires émergent en biomédecine, génomique et autres disciplines. Cette crise déclenche d’intenses débats sur les méthodes statistiques et l’intégrité de la recherche.

Diagnostic de la crise

Mayo s’engage activement dans ces discussions. Selon elle, la crise ne découle pas de défauts intrinsèques des tests de significativité statistique, contrairement à ce qu’affirment de nombreux critiques. Les véritables coupables sont les effets de sélection biaisants : exploration excessive des données (data dredging), tests multiples non déclarés, arrêt optionnel des expériences. Ces pratiques invalident le contrôle d’erreur censé être assuré par les méthodes statistiques standards.

Un résultat peut apparaître statistiquement significatif simplement parce qu’on a testé de multiples hypothèses jusqu’à en trouver une qui « fonctionne », ou parce qu’on a continué à collecter des données jusqu’à obtenir le résultat désiré. Dans de tels cas, la probabilité réelle d’obtenir un faux positif est beaucoup plus élevée que ne l’indique la valeur-p rapportée. Le test manque de sévérité car la méthode employée aurait probablement produit un résultat positif même si l’effet était inexistant.

Statistical Inference as Severe Testing

En 2018, Mayo publie Statistical Inference as Severe Testing: How to Get Beyond the Statistics Wars chez Cambridge University Press. Cet ouvrage ambitieux, organisé comme une série d’« excursions » et de « tours » dans un voyage philosophique, vise à dépasser les guerres statistiques qui divisent le domaine depuis des décennies.

Le livre développe trois axes principaux. Premièrement, il reformule les tests statistiques pour éviter les interprétations et abus fallacieux. La notion de sévérité fournit un principe méta-statistique pour évaluer les inférences proposées, permettant d’identifier les tests trop sensibles comme ceux pas assez sensibles à certaines erreurs.

Deuxièmement, Mayo examine les reformes proposées en réponse à la crise de réplication. Certaines recommandations populaires – abaisser le seuil de significativité de 0,05 à 0,005, abandonner complètement les valeurs-p – risquent selon elle d’aggraver plutôt que de résoudre les problèmes. Sans seuils spécifiés, aucun résultat ne peut être désavoué par les données, sapant la possibilité même de tests empiriques rigoureux.

Troisièmement, l’ouvrage situe ces débats méthodologiques dans l’histoire de la philosophie des sciences, montrant les continuités avec les discussions sur l’induction, la falsification et la confirmation. Popper, Carnap, Kuhn et Lakatos sont convoqués pour éclairer les enjeux contemporains.

Réception contrastée

Les réactions sont intenses et diverses. Des statisticiens éminents comme David Hand saluent la clarté conceptuelle apportée aux débats. Gerd Gigerenzer loue la vivacité du style et la qualité scientifique. Andrew Gelman organise une discussion collective qui génère de multiples recensions, certaines admiratives, d’autres critiques. Quelques commentateurs reprochent à Mayo de s’égarer dans les polémiques plutôt que de fournir un guide pratique clair pour les tests sévères.

La controverse reflète en partie les divisions disciplinaires. Les philosophes analytiques apprécient généralement la rigueur argumentative et l’ancrage dans la tradition épistémologique. Certains statisticiens appliqués souhaitent des prescriptions méthodologiques plus directes. Les bayésiens subjectifs restent largement non convaincus, estimant que Mayo n’a pas réfuté leurs arguments fondamentaux concernant la cohérence probabiliste.

Engagement public et influence durable

Au-delà de ses publications académiques, Mayo maintient depuis 2011 un blog actif, « Error Statistics Philosophy », qui devient une plateforme importante pour discuter des controverses en méthodologie scientifique. Elle y commente l’actualité de la recherche sur les statistiques, répond aux questions, et clarifie des points techniques. Ce travail de vulgarisation étend son influence au-delà du cercle étroit des spécialistes.

Débats sur la préenregistrement

Mayo intervient dans les discussions sur la préenregistrement des protocoles de recherche, pratique où les chercheurs déclarent publiquement leurs hypothèses et méthodes d’analyse avant de collecter les données. Elle soutient que la préenregistrement aide effectivement à contrôler les effets de sélection biaisants, rendant transparent si un test possède la sévérité revendiquée. Cette position contraste avec certains critiques qui considèrent la préenregistrement comme excessivement rigide.

Dans un article de 2020, « Significance Tests: Vitiated or Vindicated by the Replication Crisis in Psychology? », Mayo argumente que la crise de réplication vindique plutôt qu’elle ne vicie les tests de significativité. Le fait même que les effets deviennent difficiles à répliquer quand les caractéristiques des tests sont fixées à l’avance démontre l’importance du contrôle d’erreur. Les problèmes surgissent quand ce contrôle est compromis, non quand il fonctionne.

Reconnaissance tardive

En 2022, Mayo est élue Corresponding Fellow de la British Academy, l’académie nationale britannique pour les sciences humaines et sociales. Cette distinction témoigne de la reconnaissance internationale de ses contributions. La même année, Virginia Tech lui confère le titre de professeure émérite, reconnaissant formellement son impact institutionnel.

Ses publications totalisent plus de quatre-vingts articles dans des revues à comité de lecture et chapitres de livre. Elle a dirigé ou codirigé de nombreux mémoires de master et thèses de doctorat, non seulement en philosophie mais aussi en économie et en études des sciences et technologies, attestant l’étendue interdisciplinaire de son influence.

Portée et limites de la philosophie statistique de l’erreur

L’approche de Mayo suscite des débats qui éclairent ses forces et ses limites. Ses défenseurs soulignent qu’elle résout le problème de Duhem-Quine – l’impossibilité apparente de tester des hypothèses isolées puisque toute prédiction dépend d’hypothèses auxiliaires – en montrant comment les tests sévères peuvent discriminer quelle composante d’un réseau d’hypothèses est responsable d’un désaccord expérimental. Les protocoles expérimentaux sophistiqués permettent d’isoler et de tester séparément différentes hypothèses.

Objections philosophiques

Plusieurs philosophes contestent certains aspects fondamentaux. Certains poppériens estiment que Mayo trahit l’esprit de Popper en adoptant une forme d’inductivisme, là où Popper rejetait toute justification inductive. Mayo répond qu’elle préserve l’essentiel de l’approche poppérienne – la centralité de la tentative de réfutation – tout en fournissant la formalisation probabiliste que Popper n’a jamais développée.

D’autres critiquent sa conception apparemment modeste des buts de la science. Mayo parle de « garantir des inférences » et de « distinguer des interprétations approximativement correctes et incorrectes » plutôt que d’atteindre la vérité. Cette prudence reflète peut-être un réalisme scientifique nuancé, mais certains y voient un renoncement aux ambitions proprement épistémiques de la science.

Tensions avec le bayésianisme

Les débats avec les bayésiens restent intenses. Mayo accuse les approches bayésiennes de ne pas pouvoir spécifier quels résultats expérimentaux compteraient contre une hypothèse, puisque toute donnée peut être accommodée en ajustant les probabilités a priori. Les bayésiens rétorquent que la cohérence probabiliste est une exigence de rationalité et que les probabilités subjectives peuvent parfaitement incorporer des considérations de rigueur des tests.

La tension concerne ultimement le rôle des probabilités dans l’inférence. Pour les bayésiens, elles mesurent la crédibilité rationnelle des hypothèses. Pour Mayo, elles modélisent les capacités des méthodes à détecter les erreurs. Ces fonctions ne sont pas nécessairement incompatibles, mais elles conduisent à des pratiques statistiques différentes.

Héritage conceptuel et méthodologique

L’influence de Mayo se manifeste dans plusieurs domaines. En philosophie des sciences, elle a revitalisé l’attention portée à la méthodologie expérimentale et à la fiabilité des mesures, souvent négligées au profit des grandes théories. Ses analyses montrent que l’épistémologie de l’expérimentation possède une richesse philosophique propre, irréductible aux questions de confirmation de théories.

En méthodologie statistique, bien que les praticiens ne calculent pas encore systématiquement des « degrés de sévérité », son cadre conceptuel informe les discussions sur les bonnes pratiques. Les débats sur la transparence méthodologique, la préenregistrement, et le contrôle des faux positifs s’appuient souvent sur des considérations qu’elle a articulées philosophiquement.

Actualité des tests sévères

Dans un contexte scientifique marqué par les mégadonnées, l’apprentissage automatique et l’intelligence artificielle, les préoccupations de Mayo gagnent en pertinence. Ces domaines génèrent facilement des modèles qui s’ajustent parfaitement aux données d’entraînement mais échouent à se généraliser. La question de la sévérité – le modèle aurait-il pu détecter ses propres limites ? – devient cruciale pour évaluer la fiabilité de ces systèmes.

Les controverses récentes sur la reproductibilité de la recherche en biomédecine, la validité des essais cliniques, et la fiabilité des preuves scientifiques dans les décisions publiques (notamment durant la pandémie de COVID-19) illustrent l’actualité persistante des thèmes qu’elle a explorés. Comment distinguer les résultats robustes des artefacts méthodologiques ? Quels standards de preuve adopter lorsque les enjeux sont élevés ?

Une épistémologie pragmatique de la rigueur

La contribution distinctive de Mayo réside dans sa synthèse entre rigueur philosophique et attention à la pratique scientifique. Contrairement aux approches purement formelles qui développent des systèmes logiques sans contact avec la recherche réelle, et contrairement aux études sociologiques qui décrivent les pratiques sans évaluation normative, elle combine analyse conceptuelle précise et engagement empirique avec les méthodes effectives des sciences.

Cette position intermédiaire n’est pas toujours confortable. Les philosophes analytiques purs peuvent la trouver trop technique et trop préoccupée de détails méthodologiques. Les statisticiens appliqués peuvent souhaiter des recettes plus directes. Pourtant, cette tension productive caractérise les meilleures contributions en philosophie des sciences, qui doivent naviguer entre l’abstraction conceptuelle et la complexité concrète.

Son insistance sur le contrôle d’erreur comme fondement de la connaissance expérimentale offre un correctif salutaire aux visions trop optimistes de la science. Apprendre du monde est difficile ; les données sont bruitées, les instruments imparfaits, les biais omniprésents. Seule une vigilance méthodologique constante, armée de probabilités d’erreur clairement spécifiées, permet de naviguer ces difficultés sans sombrer dans le scepticisme.

La philosophie de Deborah Mayo rappelle que la science progresse non pas par accumulation de certitudes, mais par élimination systématique d’erreurs identifiables. Cette perspective, à la fois humble dans ses ambitions épistémiques et exigeante dans ses standards méthodologiques, continue d’éclairer les débats sur la nature et la fiabilité de la connaissance scientifique au vingt-et-unième siècle.

Pour aller plus loin

• Deborah G. Mayo, Statistical Inference as Severe Testing: How to Get Beyond the Statistics Wars,
• Deborah G. Mayo, Error and Inference: Recent Exchanges on Experimental Reasoning, Reliability, and the Objectivity and Rationality of Science,
• Deborah G. Mayo, Acceptable Evidence: Science and Values in Risk Management,