jeudi 6 mai 2021

Un article fondamental que l'on pourrait renommer : l'innumérisme pour enfumer.



Cet article sur l'innumérisme en médecine (et je dois avouer que je ne connaissais pas le terme tout en connaissant son contenu) est d'une extrême pertinence.

Je vous laisse le lire tranquillement : ICI.

Que dit l'auteur ?

  1. Que les notions de base en statistique médicale ne sont pas (toujours) connues ou comprises ou intégrées par la société civile (si l'on exclut a priori les mathématiciens, les statisticiens, les bio statisticiens et les chercheurs en général qui devraient savoir et, bien entendu, ... les patientes et les patients...) et pas plus par les professionnels de santé (en sachant que la notion de professionnels de santé est, par ces temps de vaccination contre la Covid, très extensible et qu'il faudrait vérifier dans chacune des professions si les notions de base citées dans l'article sont enseignées, et combien de temps, et surtout utilisées en pratique). 
  2. Ces notions de base sont en effet fondamentales pour prendre des décisions partagées avec les patients (précisons ici que la démarche de prise de décision partagée n'est pas consensuelle chez les professionnels de santé). Il est nécessaire que le praticien soit au courant, en lisant un article de recherche, en lisant un point de vue, un avis, en tentant de suivre des recommandations, sur une thérapeutique ou sur une procédure, de cerner ce qui est en jeu dans le cadre des données actuelles de la science. Comment fournir des données à un patient quand on ne connaît pas les données de base ?
  3. L'information des patients passe par une présentation claire des données et des choix qui s'offrent au professionnel de santé et au patient. Pourquoi les autorités de santé, les auteurs d'article, les communiqués de presse, les articles dans les journaux médicaux ou grand public, n'utilisent pas ces données de base et ne les vulgarisent-elles pas pour que le moment du choix soit facilité ? Notamment en médecine générale.
  4. L'exemple de la façon dont les autorités, les agences gouvernementales, la Direction Générale de la Santé, les ministres, communiquent sur les vaccins contre la Covid montre combien l'innumérisme est répandu dans les instances décisionnelles.
  5. Il faut donc que les autorités aident les médecins praticiens et les professionnels de santé qui vaccinent en fournissant des informations validées et statistiquement pertinentes.
Qui pourrait dire le contraire ?

Je rajoute ceci : 
  1. Ces données statistiques de base doivent non seulement être enseignées (et elles le sont) à un moment du cursus de formation mais utilisées chaque fois que c'est nécessaire dans tout le cours de l'enseignement et dans les différentes spécialités. Ce doit être un réflexe pour les enseignants à la fois dans les cours, les travaux dirigés ou au lit du malade.
  2. Ces données statistiques de base sont inhérentes à la pratique médicale et sont la première démarche à adopter quand un praticien (ou une praticienne) s'adresse à une personne qui vient chercher du soin.
  3. Ces données statistiques de base doivent être utilisées chaque fois qu'un médecin (ou une médecine), raisonne, écrit un article, un commentaire, s'adresse à ses pairs ou à des patients ou à des citoyens, recueille un consentement pour initier un traitement ou une procédure ou pour ne pas initier un traitement, une procédure, afin que, plus jamais (sauf exceptions confirmant la règle) il soit possible de présenter des résultats (abstract, article en pré print et a fortiori publié) en ne parlant que de risque relatif sans aborder les souvent déprimants risques absolus, par exemple. Que plus jamais des séances de formation médicale continue esquivent ces données de base. 
  4. Benoit Soulié n'a pas abordé ce point : l'innumérisme est sans doute une volonté délibérée de garder le pouvoir des chiffres et cet innumérisme est trop souvent feint dans le but de généraliser des procédures qui n'ont pas fait la preuve de leur efficacité.
  5. Si les autorités ne proposent pas des données claires en mettant en avant le risque absolu vs le risque relatif, en comparant la réduction du risque absolu et du risque relatif, ou ne ne citant pas le nombre de malades à traiter, ce n'est pas par innumérisme mais par malhonnêteté.
  6. Car les agences gouvernementales, pour l'obtention de nouvelles AMM par exemple, ne s'occupent pas du risque absolu, elles s'occupent du risque relatif sur des critères de substitution pour permettre une commercialisation (parfois accélérée) de molécules qui n'ont pas fait la preuve réelle de leur efficacité.
  7. Ainsi, l'innumérisme supposé des chercheurs qui publient des études pour faire de argent, du buzz, de l'auto promotion ou pour d'autres raisons que mon esprit pur et naïf ne peut même pas imaginer, est-il un écran de fumée (il serait quand même étonnant, non, je ne suis pas moqueur, qu'un grand professeur de médecine ne sache pas ces données de base). Quand on lit dans de grandes revues internationalement reconnues : réduction de 50 % de la survenue d'un infarctus du myocarde, d'une verrue plantaire ou d'une exacerbation de bronchite chronique...
  8. Benoit Soulié demande des données robustes, des infographies claires, des données complètes, mais il oublie que cet enfumage des données fournies par les industriels, les agences, les Leaders d'opinion, les médecins twitter (une étude a montré que les médecins twitter qui disaient du bien des produits sur twitter avaient des liens d'intérêts avec les firmes commercialisant les-dits produits), les communiqués de presse, les visiteurs médicaux, est voulue.
  9. L'exemple des vaccins anti Covid est pertinent : les "informations" fournies ici et là sont d'une extrême imprécision : efficacité vs efficience, critères absolus vs critères intermédiaires, études prospectives vs études rétrospectives, études randomisées vs études de cohorte, et cetera. Sans oublier un détail : la comparaison des systèmes de santé.
Donc, article essentiel.

(J'ai utilisé une image sortie d'ICI)

27 commentaires:

Olive verte a dit…

Merci pour la publication de cet article. Ce devrait pourtant être une évidence.

Ce que je ne comprends pas par contre c'est qu'avec ces données là et leur contexte, beaucoup de médecins dont vous êtes globalement d'accord avec le principe de cette vaccination anti covid 19.

Plus le NNT est grand (87 pr Moderna, 141 pour Pfizer si j'ai bien compris) plus les conclusions devraient être prises avec des pincettes.

D'autant plus s'il y a eu des entorses au protocole, ce qui semble être le cas ici : pas de réel double aveugle, très faible différence de mortalité entre groupes,données de base filtrées avant transmission aux autorités sanitaires, ... Bref je ne comprend toujours pas cet engouement. Car ça voudrait dire que les données sont ininterprétables dans un sens ou un autre.

En parallèle les différentes courbes de mortalité dans les pays prennent plus ou moins les mêmes chemins, avant ou après vaccination, avec les confinements qui ont continué aussi : ça monte, brusquement parfois, il y a souvent un pic parfois un plateau, et ça redescend. Le confinement semble le seul à permettre de ralentir cette épidémie. Que ce soit une horreur à vivre pour les plus précaires c'est sûr, mais c'est une autre histoire.

Bref cet exemple du NNT appliqué ici, et les éléments de contexte associés, ne plaident pas pour moi pour une décision de vaccination généralisée. Peut être pour les personnes les plus à risque "au cas où" et uniquement avec les vaccins qui paraissent les moins bricolés et les plus fiables.

Je ne comprends toujours pas cet engouement. Les vaccins anti-covid ont été mieux étudiés que les vaccins contre la grippe dirait-on , beaucoup mieux que les pseudo-produits miracles alternatifs contre le covid, mais on partait de tellement loin.

D'ailleurs ma réflexion sur le NNT s'applique en général à tous les médicaments : dès qu'un NNT dépasse pour moi 10 ou 20 personnes, 50 comme j'ai lu ailleurs ... (quel seuil choisir ?) ne faudrait-il pas se poser beaucoup de questions ?

odg a dit…

Par manque d'aisance avec quelques notions de bases en probabilité, il est facile de se laisser "berner" par certains chiffres.
Par exemple, même pour un test qui affiche a priori d'excellentes performances (positif à 99% sur une personne malade et à 0.1% sur une personne non malade), en cas de maladie rare (par exemple touchant 1 personne sur 10000) un résultat positif au test est inexploitable: il n'y a alors que 9% de chances qu'une personne positive au test soit effectivement malade!

Pour permettre à chacun de comprendre comment cela est possible et pour s'approprier bien d'autres chiffres il me semble fondamental de renforcer la formation en "mathématiques"(au sens très très large du terme) (à commencer par celles des "soignants"). Mais la réforme du bac risque de conduire bon nombre de futurs soignants à ne plus faire de spécialité mathématiques en Terminale. Pas sure que cela aille dans le bon sens...

Dr MG a dit…

Bonjour

En 2017, j'ai fait un billet sur le sujet où je tentais d'expliquer avec 2 exemples, la différence :

http://www.hippocrate-et-pindare.fr/2017/01/01/resolution-2017-non-au-risque-relatif-oui-au-risque-absolu/

Présenter un bénéfice ou un risque de façon relative et non absolu, fait partie de stratégie marketing qui se base justement sur l'innumérisme de l'homme.
C'est vrai dans d'autres domaines comme le montre un autre ouvrage capital : "Système 1, Système 2" du prix nobel d'économie et pourtant non économiste Daniel KAHNEMAN

https://fr.wikipedia.org/wiki/Syst%C3%A8me_1_/_Syst%C3%A8me_2_:_Les_deux_vitesses_de_la_pens%C3%A9e




Bernard Guennebaud a dit…

A priori on pourrait penser que les épidémiologistes et biostatisticiens seraient à l'abri de cet innumérisme, mot inventé par des sociologues en correspondance avec l'illettrisme. Rien n'est moins sûr. J'avais écrit en 2017 un texte rigoureusement documenté montrant dans quelles dérives statistiques l'épidémiologie française et internationale pouvait entrainer l'analyse de données médicales en avançant des conclusions définitives.

L'épidémiologie a validé des méthodologie complètement aberrantes comme vous pourrez le découvrir dans mon texte.
http://questionvaccins.canalblog.com/archives/2017/09/12/35668286.html
Le plus aberrant de tout consiste sans doute à tester en cas-témoins sur des délais ou fenêtres temporelles. Pour des tests dits cas-témoins, le facteur d'exposition est de la forme "avoir été exposé à tel produit". Sur des délais il devient "la maladie est apparue dans l'année qui suit une vaccination par exemple". Ce n'est pas du tout de la même forme, c'est évident.
Par exemple, si vous avez 100 cas et 1000 témoins la première année qui suit cette vaccination et aussi 100 cas et 1000 témoins la seconde année, l'odds ratio vaudra 1.
Mais si vous aviez la seconde année 20 cas et 200 témoins, l'odds ratio vaudrait aussi 1 (100/20 divisé par 1000/200).

On voit aussitôt sur cet exemple très simple que le test cas-témoins ne fait pas la différence entre les 2 situations alors que tout le monde conviendra que 100 malades dans l'année qui suit une vaccination contre 20 l'année suivante donne un signal très fort comme le confirme le test par une loi de Poisson, le seul test adapté à une telle situation.

Comme vous pourrez le voir dans mon texte, cela conduit en pratique à des affirmations médicales complètement fausses.

Et ce n'est pas tout sur ce seul test car ils laissent trainer dans les calculs les cas et témoins non vaccinés pour lesquels le délai entre la vaccination qui n'existe pas et l'apparition de la maladie n'existant pas, ils sont tous classés "non exposés". Cela revient à utiliser des souris non fécondées pour étudier une durée de gestation !!! Le ridicule de tue pas ! Par contre les conclusions fausses auxquelles l'expertise arrive ainsi pourraient tuer.

Une telle erreur n'est pas seulement le fait des auteurs, elle est d'abord celle des logiciels utilisés les yeux fermés en épidémiologie.

Daniel Corcos a dit…

Le plus souvent, le niveau de mathématique requis pour éviter d'être trompé est du niveau collège, mais les praticiens n'ont pas suffisamment de temps à consacrer à vérifier les affirmations. Il est donc important d'agir au niveau des autorités sanitaires en criminalisant la tromperie.

Bernard Guennebaud a dit…

Avez vous remarqué que l'article de Benoît Soulié parait limiter l'analyse statistique de données médicales à des comparaisons à vue d'indicateurs type Rc, Ri RRR etc ...Or l'appréciation de tels indicateurs devrait être placé sous la dépendance des tailles des échantillons. Une même valeur de Ri par exemple n'aura pas la même fiabilité selon les tailles des échantillons qui en définissent la valeur. C'est la base même de l'analyse statistique : LA TAILE DES ECHANTILLONS !

Pour les premières annonces d'efficacité des vaccins ARNm par exemple, personne ne semble avoir noté que la moindre des choses aurait été d'associer à ces valeurs impressionnantes de 95% un intervalle de confiance qui sera d'autant plus large que l'échantillon sera faible. Vu que c'était plusieurs dizaines de milliers de personnes qui avaient été suivies pour l'étude d'efficacité on pourrait penser que cet intervalle devait être très étroit et qu'il n'y avait donc pas de problème.

Mais ATTENTION, ce qui compte dans l'affaire c'est le nombre de contaminés et le nombre de malades parmi ces contaminés. Or ces personnes, une fois vaccinées, étaient renvoyées dans la société en attendant de voir lesquelles allaient être contaminées. Il n'y en eut que peu, fort heureusement d'ailleurs ! Aussi ces intervalles de confiance ont au contraire toutes chances d'être très larges.

Un fait avéré : aucun de ces laboratoires n'a éprouvé le besoin de publier de tels intervalles de confiance et personne ne leur en a fait la remarque, PERSONNE, y compris les critiques de ces vaccins, ce qui confirme l'importance et la gravité de l'innumérisme, état de fait culturel très largement partagé, y compris au plus haut niveau de l'expertise.

alben a dit…

Salut, merci pour le super article

Daniel Corcos a dit…

@Bernard Guennebaud
Et si vous commenciez par lire les articles ?
https://www.nejm.org/doi/full/10.1056/nejmoa2034577

Louis a dit…

@Daniel Corocos

Oui, il faut lire l'article, et en particulier la dernière page du Supplementary Appendix dans le supplementaty material , il y a les IC à 95% pour l'efficacité sur les covids sévères (les autres formes ne sont pas évaluées de manière objective).
Avec une efficacité située on ne sait où entre 20 et 100 % sur les formes graves elles-mêmes présentes chez moins de 0.5/1000 des cobayes placeboïsés, il y a de quoi se poser des questions...
Notamment : Se peut-il que parmi les personnes à risque de covid grave remplissant les critères d'exclusion, la vaccination ait un effet suffisamment délétère pour perdre le bénéfice de 0.4/1000 complications graves évitées ? Spoiler : Oui.

Autrement dit, pour un bénéfice optimal de 0.04% de vies potentiellement sauvées (fort probablement beaucoup moins), peut-on raisonnablement fermer les yeux sur un risque -non évalué mais suffisamment élevé pour constituer un critère d'exclusion- au prétexte d'une efficacité de 95% sur les cas qui guérissent bien spontanément ? Spoiler : Non.

Inutile d'aller chercher dans l'innumérisme. Même sans savoir compter, quand on voit une étude qui mesure les avantages d'une molécule en prenant soin d'exclure la majeure partie de sa population cible des patients testés, c'est une fraude.

En ce qui concerne les autorités administratives et les leaders d'opinion, entre autres, il me semble bien plus opportun d'aller chercher dans la corruption, dans la veulerie conformiste et dans l'évitement circonstancié de toute réflexion rationnelle qui s'en suit que dans l'ignorance.

Daniel Corcos a dit…

@Louis
L'intervalle de confiance 95% dans la publication du NEJM, qui donnait une efficacité comprise entre 89,8 et 97,6%, concernait toutes les formes et non les formes sévères. Mais on pouvait facilement en déduire une efficacité similaire sur les formes sévères. C'est d'ailleurs ce qu'ont montré toutes les études observationnelles, en Israël d'abord, puis dans tous les autres pays.

Bernard Guennebaud a dit…

L'intervalle de confiance donnée dans la publication citée est très contestable pour la raison suivante :
la publication donne 162 cas chez les non vaccinés contre 8 chez les vaccinés, ce qui donne un IC 95% [90,3% 97,6%]. Ce résultat est correcte comme j'ai pu le vérifier : je trouve 90,2% et 97,7% avec une formule ; 90,50% et 97,8% avec des calculs numériques approchés réalisés sur machine.
Cette vérification montre clairement ce que les auteurs ont fait : ils ont considéré que les 162 cas apparus chez les non vaccinés seraient apparus de même chez les vaccinés, les 2 groupes étant numériquement identiques. Ils considèrent donc, c'est très habituel dans ce genre de situation, que ce 162 serait transposable tel quel du groupe non vacciné au groupe vacciné.

Il n'en est rien bien sûr car le nombre de cas qui seraient apparus dans le groupe vacciné est lui aussi frappé d'une variation aléatoire par rapport aux non vaccinés, en supposant les 2 groupes parfaitement comparables, ce qui n'est pas évident non plus.

On peut modéliser par une loi de Poisson le nombre de cas qui apparaissent dans le groupe considéré. On estime alors le paramètre inconnu de cette loi (la moyenne théorique) par la valeur observée 162 et on recherche un intervalle de confiance (à 95%) dont la borne inférieure est 138,5. Avec 8 cas chez les vaccinés, la différence devient 130,5 au lieu d'être 154 avec 162. En calculant l'IC à partir de cette valeur on trouvera un IC dont la borne inférieure sera évidemment plus basse que celle trouvée avec 162 et 8.

L'oubli de cette variabilité pourtant évidente reste une faute technique indiscutable qui permet d'affirmer que les intervalles de confiance avancés dans les publications, mais absents dans le débat public, ne sont pas valables. Pourtant, les soirs d'élections, tous les Français voient s'afficher les fourchettes qu'ils constatent se réduire au fur et à mesure de l'avancement du dépouillement, illustrant le lien entre la largeur de l'intervalle et la taille de l'échantillon. Pour les élections, la problématique que je soulève ici n'existe pas.

Louis a dit…

@Daniel Corcos

Le calcul d'IC ne recouvre pas toutes les formes, à vrai dire, une proportion inconnue des patients qui ont eu le covid dans la cohorte est prise en compte (les formes PCR+ "asymptomatiques" sont exclues) et une proportion inconnue de ceux qui ne l'ont pas eu (les faux positifs aux tests antigéniques) est prise en compte à tort.
D'un point de vue technique, si les igG induites par vaccination minorent l'immunité spécifique, on aura l'illusion d'une plus grande proportion de personnes non vaccinées atteintes sans pour autant avoir la moindre idée de l'efficacité du vaccin.
Après, les études observationnelles confirmeront sans aucun doute ce que Boiron sait déjà. De là à y voir l'ombre d'une confirmation d'efficacité intrinsèque...

Bernard Guennebaud a dit…

Intervalle de confiance ou intervalle de méfiance ?

Voici un authentique intervalle de confiance (0 94,9%) ! Dument publié par l’InVS …

Voici un autre exemple illustrant parfaitement la "méthode" pour le moins contestable mais utilisée systématiquement dans les analyses épidémiologiques. Il s'agit d'un épisode de coqueluche dans l'école primaire de Montfavet. Elle a donné lieu à une étude réalisée par la Cire du Sud et publiée en mai 2006 [1]

Le tableau 10 de la publication (page 15) propose des intervalles de confiance à 95% : pour la classe de CM2 il s'étale généreusement entre 0 et 94,9% avec une efficacité moyenne de 76,5% et pour l'ensemble des classes il va de 0 à 91,8% ! Je précise que ce ne sont pas des coquilles ! Que penserait-on d'un institut de sondage qui annoncerait la victoire de Macron le dimanche soir à 20 heures avec 76% des voix et une fourchette entre 0 et 95% ?

On interprète communément l'intervalle de confiance comme donnant une localisation probable de la valeur cherchée mais la première information fournie par l'intervalle porte sur la qualité de cette localisation : s'il est extrêmement large, comme c'est le cas ici, cela signifie que la mesure est sans valeur et qu'alors il vaut mieux s'abstenir d’en proposer une estimation.

Comment font-ils pour obtenir de tels résultats ?

Dans la classe de CM2 de 23 élèves il y avait 6 enfants non vaccinés dont 3 avaient fait une coqueluche, soit 1 sur 2. En admettant que des enfants non vaccinés étaient tous susceptibles, c'est à dire qu'ils auraient fait une coqueluche s'ils avaient été contaminés, ils admettent un taux de contamination de 50% pour les 6 enfants non vaccinés puis ils l’appliquent aux 17 élèves vaccinés pour affirmer la valeur théorique moyenne de 8,5 enfants contaminés. Ils appellent cela le taux d’attaque. En nommant ainsi ce procédé ils l’institutionalisent alors qu’il est pour le moins contestable.

Comme il n'y eut que 2 cas parmi les vaccinés et qu’ils sont forcément parmi les 8,5 contaminés, ils en déduisent alors que 6,5 enfants sur 8,5 avaient évité la maladie grâce à la vaccination ! D'où la valeur 6,5/8,5=76,47%. Puis ils demandent au logiciel de leur fournir l'intervalle de confiance qu'ils publient sans s'interroger davantage alors qu’il pourrait/devrait provoquer l'hilarité générale.

1] J'ai retrouvé ce document pdf de pages en tapant les mots clés : enquête sur des cas de coqueluche à Montfavet Cire du Sud InVs. J'ai obtenu en premier un lien qui permet de télécharger le pdf de 30 pages.
J'avais étudié en détail ce document en 2008 dans
http://questionvaccins.canalblog.com/archives/2008/11/08/11285447.htm

Daniel Corcos a dit…

@Bernard Guennebaud
Concernant l'article du New England (je n'ai pas l'intention de discuter sur le reste), les chiffres qui ont permis le calcul de l'intervalle que j'ai mentionné (89,8-97,6) sont dans la figure 3 : 9 cas chez les vaccinés et 172 chez les contrôles (il s'agit des résultats observés >7 jours après la 2ème dose). Je n'ai pas refait les calculs, mais étant donné que l'essentiel de la variance provient des résultats des vaccinés, l'IC 95% semble correct.

Bernard Guennebaud a dit…

@ Daniel Corcos

J'avais fait des vérifications avec les valeurs données dans le texte, 162 et 8, pour trouver les mêmes résultats à très peu près. En faisant les calculs avec 172 et 9 et une modélisation binomiale je trouve 89,9% pour la borne inférieure et 97,02 pour la borne sup.

J'avais soulevé un autre problème qui avec 172 est le même qu'avec 162 : ces valeurs obtenues sur un échantillon de 22 000 personnes environ sont transportées sur l'autre échantillon. Elles sont donc sujettes à des variations aléatoires qui pourraient être importantes En modélisant par une loi de Poisson j'avais montré qu'avec 162 la borne inférieure de l'IC à 95% était 138,5. Avec les lois de Poisson, les variations peuvent être importantes. Avec 172 je trouve 147,5. Cela devrait donné des bornes inférieures plus basses que celles publiées. J'ai alors cherché à comprendre :

Dans le texte de la publication on lit au § analyse statistique : "L'intervalle de crédibilité de 95,0% pour l'efficacité du vaccin et la probabilité d'efficacité du vaccin supérieure à 30% ont été calculés à l'aide d'un modèle bêta-binomial bayésien."

Sur Wikipédia https://fr.wikipedia.org/wiki/Loi_b%C3%AAta-binomiale on lit :"En théorie des probabilités, la loi bêta-binomiale est une loi de probabilité discrète à support fini, correspondant à un processus de tirages Bernoulli dont la probabilité p de succès est aléatoire."

Donc avec ces lois ce serait ici la probabilité p d'évitement de la maladie par le vaccin qui serait considérée comme aléatoire. Or, dans la situation qui nous occupe, c'est le n des notations utilisées, c'est à dire le nombre de contaminés qui est aléatoire !

C'est une situation classique en probabilité où l'on combine une loi de Poisson avec une loi binomiale : la taille n de l'échantillon binomiale est donnée de façon aléatoire par une loi de Poisson. Par contre dans ce modèle la probabilité p du tirage binomial est fixe. Cela s'étudie et les 2 lois se combinent très bien pour donner des formules utilisables.

Ma conclusion est donc que les auteurs n'ont pas utilisé la loi qui correspond à la situation dans laquelle ils sont. Ils n'ont pas choisi la bonne modélisation.

Mais cela soulève une autre question : il faut que la probabilité p d'éviter la maladie quand on a été vacciné puisse être considérée comme étant la même pour tous les contaminés. La même par exemples pour les hommes et les femmes, pour les personnes âgées et les adultes de 50 ans. Il est fort possible que ce soit cette possibilité très vraisemblable qui ait guidée les auteurs à faire ce choix de modélisation. Mais on ne peut pas gérer cela par une loi de probabilité.

La réponse à cette problématique est de rechercher sur les valeurs observées d'éventuelles écarts significatifs puis de réaliser des partitions en traitant séparément par exemple les hommes et les femmes, les personnes âgées et les adultes plus jeunes.

En tout cas je vous remercie sincèrement, par vos remarques, de m'avoir poussé à approfondir ma réflexion sur ces questions.

Bernard Guennebaud a dit…

J'ai poursuivi ma réflexion sur cette histoire d'intervalle de confiance par une loi béta-binomiale (excusez du gros mot ...) alors je vous en fait part. Il s'agit donc d'estimer un paramètre, la probabilité p d'éviter une maladie par un vaccin pour ceux qui ont été contaminés.

Il est capital de savoir si p existe !!! cela n'a l'air de rien ou pourrait passer pour du coupage de cheveux en 4 mais non, c'est essentiel ! Si cette probabilité était de 95% pour les femmes et de 50% pour les hommes il serait essentiel de mettre cela en évidence et non pas de rechercher une estimation de la moyenne globale. On retrouve ainsi la problématique classique en médecine des facteurs de confusion. Il serait donc essentiel de s'assurer, sur les observations disponibles, s'il est possible d'en identifier comme le sexe, l'âge, les facteurs de comorbidités voire des facteurs plus cachés comme le groupe sanguin ou le système HLA. Je n'ai pas vu que les auteurs de l'étude précisaient qu'ils avaient fait de telles recherches et qu'elle étaient négatives.

Acceptant donc implicitement que cette probabilité ne subit que de faibles variations, cela a alors un sens d'en rechercher une estimation mais ça irait mieux en le disant ! Cette carence est une constante dans les études épidémiologiques même quand la non existence de p est flagrante. Vous voulez un exemple ? Dans la publication Mikaeloff-Tardieu de déc 2007 sur la sclérose en plaques et la vaccination hépatite B chez les enfants d'au plus 16 ans, la proportion de vaccinés HB chez les enfants inclus dans l'étude varie, selon les classes d'âges, de 27% à 75% en passant par 45-50% chez les vaccinés à l'adolescence. Les auteurs prennent la moyenne observée chez les cas pour la comparer à la moyenne observée chez les témoins. Constatant que ces moyennes ne sont pas significativement différentes, ils en déduisent que les probabilités d'avoir été exposés à la vaccination HB est la même pour les cas et les témoins. le problème est que ces probabilités n'existent pas ! (plus rigoureusement, ont une probabilité extrêmement faible d'exister). Ainsi, on déclare égales 2 probabilités qui n'existent pas ! Cela a permis, volontairement ou non, de neutraliser des signaux très forts comme les taux de conversion en SEP de ceux qui avaient fait une première atteinte démyélinisante après leur vaccination : 52% chez les vaccinés HB contre 32% chez les non vaccinés.

Pour revenir à l'exemple de la publication sur l'efficacité des vaccins à ARNm, l'idée d'attribuer à p des variations aléatoires se conçoit mais uniquement si ces variations sont faibles. Mais c'est un réglage fin, un raffinement de détails comme le confirme d'ailleurs le constat qu'en calculant les IC par une loi binomiale où p est fixe donne à peu près les mêmes résultats qu'avec la modélisation par une loi béta-binomiale où p varie de façon aléatoire.

Par contre, ce qui n'est pas un réglage fin, est le fait que le nombre de contaminés devenus malades trouvé chez les non vaccinés (162 ou 172 selon les tests) est soumis à des variations aléatoires qui peuvent être importantes quand on l'applique aux vaccinés. Or cette valeur est transportée telle quelle alors qu'il existe une loi de probabilités pour gérer cette question (Poisson + binomiale).

Autre question importante : les 2 groupes sont-ils vraiment comparables du point de vue du risque d'avoir été contaminé ? Il y aurait là aussi beaucoup d'objections à formuler.

Daniel Corcos a dit…

@Bernard Guennebaud
En gros, 9 cas chez les vaccinés et 172 chez les contrôles, moi ça me suffit, du moment qu'on n'extrapole pas trop aux populations non représentées (personnes âgées). Après, le calcul de l'intervalle de confiance 95% de la protection, c'est une grosse prise de tête, mais la proportion de femmes n'a pas réellement d'intérêt si l'échantillon de participant.es est représentatif pour cette classe d'âge.

Louis a dit…

@Daniel Corcos

L'étude a une définition du terme "cas" qui fait qu'il est tout-à-fait possible qu'il n'y ait strictement aucune différence d'incidence ou de gravité entre le groupe témoin et le groupe vacciné et que 162 vs 9 ainsi que 9 vs 1 soient des artefacts dus à des choix méticuleux destinés à mettre en évidence une efficacité inexistante.

Un essai avec un âge médian de 52 ans signifie que plus de la moitié des participants a moins de 10 fois moins de risques d'être atteinte d'une forme grave que la moyenne de l'autre moitié. La stratification mélange par ailleurs dans la moitié la plus à risque une majorité de personnes à très faible risque avec une minorité de patients à plus haut risque, si bien que tout signal significatif en faveur comme en défaveur d'une efficacité différentielle est masqué. On n'a aucune idée par exemple de la proportion de 55-65 ans par rapport à celle de 75-85 ans. Calculer un IC sur cette moyenne lissée est inapproprié. Pire, quand on a un âge médian de 52 ans dans chaque groupe et un âge moyen de 50.5 dans le groupe vacciné pour un écart-type de 15 à 65 VS un âge moyen de 50.3 dans le groupe placebo pour un écart-type de 15 à 72), on se retrouve avec un énorme sur-risque dans le bras placebo (qui soit dit en passant ne peut être le résultat d'une allocation aléatoire vis-à-vis du facteur âge).(https://www.fda.gov/media/144246/download page 32)

Bernard Guennebaud a dit…

Attention au mythe de l'échantillon représentatif ! Quand il s'agit d'évaluer la valeur intrinsèque d'un paramètre. Par exemple évaluer le prix moyen des choux sur des observations. Sur une étale on a 6 choux pas bios à 1€ et 4 bios à 2€ ; le total faisant 14€, le prix moyen du choux est 1,40. Sur une autre étale, il y a 6 choux bios à 2€ et 4 non bios à 1€, ce qui fait 16€. Le prix moyen est donc de 1,6€.

On en déduira que le second marchand vend ses choux plus chers que le premier alors qu'ils sont aux mêmes prix. Aux mêmes prix au pluriel, c'est là le problème ! Il y a des écarts très significatifs entre les prix des choux. Si on veut traiter correctement la question il faudra évidemment s'en apercevoir et dissocier entre les 2 types de choux. C'est incontournable et ce genre de problématique se retrouve constamment en épidémiologie. Les épidémiologistes parlent de facteurs de confusion. Ils en parlent souvent comme je l'ai constaté dans les congrès de santé publique auxquels j'ai pu assister mais ils n'en tiennent pas toujours compte.

Si l'efficacité de la vaccination est très différente chez les hommes (50% par ex) et chez les femmes (90% par ex), pour prendre un exemple simple à formuler et que les hommes et les femmes sont à égalité numérique dans la population, il ne faut surtout pas croire que la moyenne va vous donner la bonne efficacité. Elle fait 70% ce qui sous évalue fortement le 90% pour les femmes et sur évalue tout autant pour les hommes. Il y a 2 efficacités très distinctes et pour les trouver il faut faire 2 groupes afin d'avoir 2 réponses. Il n'y a pas d'autres moyens !

Pour les sondages électoraux, les instituts de sondages qui eux travaillent correctement, découpe les électeurs potentiels en strates, par exemple, pour faire simple, les ruraux et les citadins. Bien que pour une élection, seule le résultat global compte, contrairement à la médecine, ils recherchent comment votent les ruraux et les citadins séparément. Ainsi, s'il y a 20% de ruraux et qu'ils ont droit à 100 personnes dans l'échantillon, ils ne prennent pas 20 ruraux et 80 citadins, ils prennent 50/50 afin d'évaluer avec la même précision le vote des ruraux et des citadins puis ils reportent selon les proportions réelles.

Chacun croit que l'échantillon de 1000 personnes utilisé pour faire un sondage électoral est représentatif. Il n'en est rien. Une même personne, par ex une femme de 50 ans tenant un commerce dans une petite ville, pourra appartenir à plusieurs strates.

De plus, les proportions de ruraux et de citadins parmi les votants ne sont pas forcément identiques à celles des listes électorales : s'il fait beau, les citadins seront partis à la plage avec les enfants ! Le jour de l'élection, ils peuvent ainsi corriger par de petits calculs en fonction des répartitions réelles ce jour là.

Pour ne pas se ridiculiser à 20h le dimanche soir, il faut travailler correctement avec une méthode consistante. Elle ne consiste pas à rechercher des échantillons représentatifs. Oui, c'est plus compliqué que le niveau école primaire. Il faudrait faire de même avec les données épidémiologiques mais là il n'y a pas le Juge de Paix donnant son verdict à minuit !

Bernard Guennebaud a dit…

Je n'avais pas vu le commentaire de Louis (16h41) alors que j'écrivais le mien (16h59). Je constate qu'il explique autrement la même chose que moi : "Calculer un IC sur cette moyenne lissée est inapproprié."

Comme je l'ai déjà dit ici, il faudrait s'assurer de l'existence de la probabilité d'éviter la maladie une fois contaminé. Ce qui signifie que cette probabilité est à peu près la même pour tous, ce qui n'a rien d'évident. Si l'on devait partager l'effectif en 2 pour cette raison, la réduction très importante des effectifs dans chacun de 2 groupes entrainerait un intervalle de confiance beaucoup plus large pour chacune des 2 valeurs trouvées.

Cette éventualité reste très vraisemblable sans parler du fait que les vaccinés peuvent avoir un comportement modifié du fait de leur responsabilité : ils participent à un essai historique d'où pourrait dépendre l'avenir de l'humanité. Avec un tel poids sur leurs épaules, ils peuvent inconsciemment chercher à éviter les contaminations avec un zèle particulier pour ne pas nuire au vaccin salvateur. Il est évident que c'est plus gratifiant pour eux d'avoir contribué à la promotion d'un vaccin efficace que dans le cas contraire.

Daniel Corcos a dit…

@Bernard Guennebaud @Louis.
Je crains que vous n'ayez pas compris ce que signifie "tirage au sort" et quelles en sont les implications.

Bernard Guennebaud a dit…

Un dernier mot et après j'arrête cet échange. Le thème de l'article commenté porte sur l'innumérisme en particulier dans ses manifestations dans l'étude de données épidémiologique. La publication commentée dans ces commentaires est d'actualité brûlante. Elle porte sur l'évaluation de LA probabilité pour un vacciné covid contaminé, d'éviter la maladie. Trois points fondamentaux que je rappelle :

1- On doit se demander si LA probabilité en question EXISTE !!! Ou si elle pourrait avoir 2 valeurs (ou plus) suffisamment éloignées pour que leur écart ne puisse être attribué à de simples variations aléatoires. Par exemple entre les personnes âgées et les adultes autour de 50 ans. CONSTAT: les auteurs n'ont pas étudié cette question. C'est une faute méthodologique indiscutable. C'est bien le thème de l'article.

2- Le nombre de contaminés qui seraient tombés malades en l'absence de vaccination est déclaré égale au nombre de malades observé dans le groupe non vacciné. Il devrait paraître EVIDENT que même si les 2 groupes étaient parfaitement comparables, il est frappé de variations aléatoires qu'il était possible de gérer comme je l'ai expliqué. Cela n'a été ni réalisé ni même envisagé par les auteurs. C'est une faute méthodologique indiscutable. C'est bien le thème de l'article.

3- Même en admettant que les 2 groupes soient parfaitement comparables a priori, à l'issu du tirage au sort qui se produit AVANT la vaccination et même en admettant que le nombre de malades eut été le même dans les 2 groupes en l'absence de toute intervention, la nature humaine reste la nature humaine. Le seul fait d'être vacciné, qui plus est dans un tel contexte, a forcément un impact très fort sur les vaccinés qui peuvent se sentir investis d'une très lourde responsabilité. Cela est plus que suffisant pour modifier très significativement leur comportement social et en particulier les conduire, même inconsciemment, à réduire les risques de transmissions.

FIN de mes commentaires sur ce thème. MERCI à tous !

Daniel Corcos a dit…

@Bernard Guennebaud
Il s'agissait d'un essai contre placebo. Par ailleurs, il a été suggéré que le fait d'être vacciné augmentait les contaminations dans les premiers jours du fait d'un relâchement des gestes barrières.

Louis a dit…

@Daniel Corcos

Nonobstant les considérations relatives à la nullité de l'IC, je crains que vous vous berciez d'illusions sur la réalité du caractère aléatoire de la distribution des patients. Des patients en moyenne plus vieux et un écart-type significativement plus resserré dans le groupe vacciné cela signifie beaucoup moins de personnes très âgées dans ce même groupe (et pour un échantillon si large, ce ne peut raisonnablement être le fruit du hasard).
Personnellement, si les données brutes de l'étude me disent "ceci ne correspond pas à une distribution aléatoire" je considère que la randomisation n'est pas "random" sur le critère de l'âge.

François Pelamourgues a dit…

Les intervalles de confiance ont été publiés dans le compte rendu des essais cliniques voyons.
Le voici par exemple pour ce qui est de son efficacité à éviter la maladie:


"Le taux de protection observé sur l'ensemble de la cohorte au moins 7 jour après la seconde injection est de 95 % (IC 95% : 90,3-97,6), avec 8 cas de COVID-19 symptomatique confirmée dans le groupe vacciné"

Olive verte a dit…

@ Louis :

Help ... je rame à la lecture de plusieurs commentaires.

Par exemple quand vous écrivez "D'un point de vue technique, si les igG induites par vaccination minorent l'immunité spécifique, on aura l'illusion d'une plus grande proportion de personnes non vaccinées atteintes sans pour autant avoir la moindre idée de l'efficacité du vaccin." je ne comprend pas ce raisonnement, pouvez-vous l'expliciter svp ?

Ceci étant, les études des deux vaccins qui paraissent à ce jour les plus sûrs, pfizer et moderna, ont été menées en "observer-blinded", donc pas en double-aveugle, et ensuite désaveuglées (ou encoure plus désaveuglées) rapidement, à partir d'un nombre d'évènements très réduits.

A partir de là est-ce que les analyses chiffrées qui suivent, quelles qu'elles soient, ont un sens ?

Louis a dit…

Une personne vaccinée va produire des anticorps induits par la vaccination, qu'elle soit contaminée ou non.
En cas de test, il est possible qu'une personne qui a contracté le covid après avoir été vaccinée n'ait pas développé d'anticorps hors ceux vaccin-induits, n'ait plus aucune trace du virus et ait des marqueurs sériques vaccinaux bas. Cette personne aura eu le covid (plus ou moins symptomatique), aura été vaccinée et ne rentrera pas dans les statistiques de vaccinés qui ont eu le covid.
Il est moins probable qu'une personne non vaccinée ne développe pas d'anticorps spécifiques si elle est contaminée.

Pour déterminer le bénéfice d'une immunité induite par vaccination, il faut étudier l'impact sur la morbi-mortalité et non les seuls critères de séroconversion qui ne sont que des marqueurs intermédiaires peu fiables (les séronégativations en phase précoce sont légion). En modifiant la réponse immunitaire, le vaccin peut aussi modifier certains symptômes induits par une réponse immunitaire naturelle (abaisser la fièvre par exemple) sans forcément avoir d'impact positif sur les symptômes délétères (thromboses par exemple). Si bien qu'on peut se retrouver avec 80% de contaminés apparents en moins dans le groupe vacciné et 80% de cas symptomatiques en moins mais quatre fois plus de décès par crise cardiaque par exemple (et cet essai n'a pas une puissance statistique suffisante pour évaluer l'impact du vaccin sur la mortalité par covid, même si cette dernière était quadruplée, ce qui à l'échelle d'une population comme la nôtre commence à faire du monde).

Pour ce qui est du sens des analyses chiffrées de l'étude, oui, elles en ont un, ou plutôt une utilité : elles servent à faire cesser la réflexion des gens devant ce qui est ni plus ni moins qu'une publicité et c'est effarant le nombre de lecteurs qui croient ce qui est écrit sans y réfléchir du moment qu'ils trouvent un chiffre avec un IC.