Calendrier de l'avent des lectures médicales : John Ioannidis. # 22

Quand vous vous promenez sur internet et que vous voyez citer John Ioannidis, ou quand un article de John Ioannidis paraît ou qu'une conférence dans laquelle il intervient est mise en ligne (ICI sur le sujet de l'article), vous pouvez être certain que vous n'allez pas nager dans l'eau tiède. Il n'a pas toujours raison mais il n'a pas souvent tort.

Il a bien entendu écrit de nombreux articles (voir ICI) qui marquent et j'ai choisi celui-ci paru en 2005 (voir LA), qui n'a pas vieilli mais la critique principale vient de ce qu'il s'agit d'une modélisation mathématique : 

Why Most Published Research Findings Are False

Pourquoi la plupart des résultats de la recherche sont faux.

Voici l'abstract :

There is increasing concern that most current published research findings are false. The probability that a research claim is true may depend on study power and bias, the number of other studies on the same question, and, importantly, the ratio of true to no relationships among the relationships probed in each scientific field. In this framework, a research finding is less likely to be true when the studies conducted in a field are smaller; when effect sizes are smaller; when there is a greater number and lesser preselection of tested relationships; where there is greater flexibility in designs, definitions, outcomes, and analytical modes; when there is greater financial and other interest and prejudice; and when more teams are involved in a scientific field in chase of statistical significance. Simulations show that for most study designs and settings, it is more likely for a research claim to be false than true. Moreover, for many current scientific fields, claimed research findings may often be simply accurate measures of the prevailing bias. In this essay, I discuss the implications of these problems for the conduct and interpretation of research.

Il existe une préoccupation croissante sur le fait que la plupart des résultats actuels de la recherche sont faux. La probabilité qu'un résultat de recherche est vrai dépend de la puissance et des biais possibles de l'étude, du nombre d'autres études portant sur la même question, et, de façon importante, de la proportion entre les vraies corrélations et l'ensemble des corrélations (vraies et fausses) retrouvées dans chaque domaine scientifique. Dans ce contexte un résultat de recherche est d'autant moins susceptible d'être vrai que les études dans un domaine sont plus petites ; que les effectifs sont plus petits ; qu'il y a un plus grand effectif et un moins grand nombre de corrélations testées a priori ; qu'il existe une plus grande souplesse dans les protocoles, les définitions, les objectifs et les modalités d'analyse ; ou qu'il y a de plus grands intérêts financiers ou autres et de préjugés ; qu'il y a un grand nombre d'équipes impliquées dans un domaine scientifique à la chasse d'une signification statistique. Les simulations montrent que pour la plupart des protocoles et des réalisations d'études il est plus probable que les résultats de la recherche soient faux que vrais. Plus encore, dans de nombreux champs scientifiques existants, les résultats de recherche revendiqués peuvent souvent être les mesures précises des biais dominants. Dans cette étude je discute des implications de ces problèmes pour la conduite et l'interprétation des recherches.