Cet article est lumineux, clair, éclatant et épatant : voir ICI pour sa lecture complète. Je le reproduis tel quel pour les définitions et les conclusions.
L’effet Hawthorne peut conduire à une surestimation de l’efficacité dans les groupes contrôle des essais cliniques et rendre plus difficile, voire impossible, la mise en évidence de l’efficacité d’un traitement. Des traitements standards non spécifiés dans les groupes de comparaison d’études contrôlées ou dans le cadre d’études d’observation ne sont souvent pas représentatifs d’un traitement standard dans des conditions de tous les jours.
Les études observationnelles non contrôlées avec des patients sélectionnés ayant des valeurs initiales élevées ou basses surestiment l’effet thérapeutique réel – l’inclusion d’un groupe contrôle prend ici toute son importance. Les distorsions de type «regression to the mean» peuvent alors être neutralisées par l’effet de soustraction de l’action du traitement testé et du traitement comparatif. Les améliorations observées sous placebo sont – en partie du moins – aussi dues à une régression à la moyenne. S’il existe un risque de phénomène de type «regression to the mean», l’inclusion de patients dans les études cliniques devrait être effectuée sur la base de me- sures initiales multiples.
Des facteurs déterminants inconnus peuvent fausser les résultats des études d’observation, en
particulier des études de cas témoins. Un nombre élevé de cas et des niveaux de signification statistiques n’offrent par ailleurs aucune protection contre les conclusions erronées. En présence d’un paradoxe de Simpson, nous ne savons en réalité pas la vérité: en effet, les analyses des sous-groupes peuvent elles-mêmes être influencées par une autre variable inconnue, qui, si l’on en tient compte, pourrait à nouveau inverser le résultat. C’est pourquoi il convient de choisir un protocole d’étude randomisé et contrôlé chaque fois que cela est possible. Dans les méta-analyses publiées, on veillera à la méthode utilisée pour calculer le NNT.
Ne faites pas aveuglément confiance aux résultats d’études utilisant des groupes contrôles historiques. Les progrès réalisés dans le diagnostic ou une augmentation artificielle de la prévalence d’une maladie peuvent simuler une amélioration du pronostic, qui ne doit pas être attribuée à une modification des standards de traitement ou à un nouveau médicament apparu sur le marché.
Il faut toujours être très prudent en lisant les études contrôlées et à fortiori les études non contrôlées (cohortes, cas-témoins, ouvertes ouvertes). Et l'effet placebo est très lié à ces paradoxes.
Articles
2 commentaires:
oui oui oui il faut etre extremement rigoureux pour les medicaments peu efficaces
je suppose que pour les antibiotiques ça ete plus rapide.
Le paradoxe de SIMPSON ! Oui les raisons du paradoxe pourraient être très simples à expliquer, j'en avais parlé récemment au cours d'une communication au colloque Bobigny qui s'était déroulé les 29-30 novembre 2019 dans les locaux de la revue Prescrire.
Une pièce de 1€ a 30% de chances de tomber sur pile et une de 2€ 70%. On lance 200 pièces. Selon les proportions de pièces de 1 et 2 euros, on pourra avoir tous les résultats, aussi faux les uns que les autres :
100 de 1€ et 100 de 2€ : on annoncera que les pièces sont équilibrées !!!
180 de 1€ et 20 de 2€ : on trouvera à peu près 34% de piles pour annoncer que les pièces sont déséquilibrées en faveur des faces.
20 de 1€ et 180 de 2€ : on trouvera à peu près 66 de piles pour annoncer que les pièces sont déséquilibrées en faveur des piles.
On retrouve cette problématique dans les études épidémiologiques en cas-témoins bien sûr !
EXEMPLE : publication Mikaeloff-Tardieu 2008 sur les atteintes démyélinisantes centrales (ADC) et les SEP chez les enfants. Le test global sur les 349 ADC donne une absence totale de signal.
Bien mais il y a 143 SEP avec 56% de vaccinés HB contre 206 ADC non SEP avec 36% de vaccinés HB. Soit moins d'une chance sur 10 000 pour que les 2 groupes aient eu une même probabilité d'avoir été exposés à la vaccination HB.
Aussi, en cumulant ces 2 groupes comme l'ont fait les auteurs, on recherche une probabilité commune à ces 2 groupes d'avoir été exposés à la vaccination HB alors qu'elle n'a à peu près aucune chance d'exister ! De même pour les témoins.
Aussi, le résultat largement commenté et on imagine comment, du test global, affirme l'égalité de 2 probabilités qui n'existent pas ! Celle pour les 349 cas d'une part et celle pour les témoins. Sans complexes les commentateurs "autorisés" s'esbaudiront comme on disait au Moyen Âge sur ce magnifique résultat !!!
Le ridicule ne tue pas !
Enregistrer un commentaire