Quand on le cherche, on le trouve !

Bien lire une étude : être dans les (bons) petits papiers.

Tout le monde sait comment on fait des bébés, mais personne sait comment on fait des papiers scientifiques. Avant que nous soyons face à un journal avec un gros titre impressionnant sur une découverte majeure dans le domaine scientifique, le papier fait du chemin. Quand nous parlons d’étude scientifique, cela peut signifier bien des choses, parmi lesquelles :

  • Des correspondances ou lettres à l’éditeur, qui ne sont pas des travaux scientifiques mais des textes argumentés d’un chercheur envers les chercheurs d’un même domaine de recherche. Elles sont écrites le plus souvent en réaction à une publication, ces textes ont une écriture moins formelle que les articles et études dont nous parlerons plus en détail plus bas, et la longueur est de quelques paragraphes tout au plus.
  • Des articles de recherche : ceux-ci sont destinés à faire avancer l’état de la connaissance dans un domaine précis et permettent d’apporter des nouvelles perspectives quant à des sujets de recherches bien identifiés. C’est le plus gros de ce qu’on retrouve sous l’appellation d’études scientifiques.
  • Les méta-analyses : elles sont ce qui rassemble un grand nombre d’articles de recherche afin d’en dégager des preuves concrètes permettant d’établir des faits par rapport au domaine de recherche auxquelles elles appartiennent.
  • Les revues systématiques de littérature : c’est un niveau au-dessus des méta-analyses. Elles reprennent de manière rigoureuse l’ensemble des connaissances pour en sortir un “état des arts” sur une question précise. Cela peut rassembler jusqu’à plusieurs centaines d’articles sélectionnés sur des critères réfléchis et cherchant une totale transparence. C’est le plus haut niveau de preuve dont on dispose dans le domaine scientifique.

Cependant, nous allons nous intéresser ici principalement à un papier “classique”, le type que l’on retrouve le plus, l’article de recherche.

En premier, il doit être écrit après que la recherche ait été menée, afin d’expliciter les découvertes, généralement en 5 à 10 pages. Ensuite, les auteurs du papier l’envoient à une revue spécialisée dans le domaine de cette recherche, revue elle-même gérée par des chercheurs. Vient alors un des éléments les plus importants de la recherche, la relecture par les pairs. Cette relecture est effectuée par 2 à 3 scientifiques qui cherchent à vérifier la méthode employée et la validité des résultats, les coquilles, et tout ce qui permet de juger de la fiabilité de l’écriture et la crédibilité de ce qui est présenté. Le processus de relecture par les pairs est plus ou moins rigoureux en fonction des journaux de publication, garantissant ainsi une certaine qualité de publication aux journaux les plus exigeants comme Nature ou Science.

Après relecture, l’éditeur se permet de refuser ou d’accepter de publier l’article dans sa revue. Il est donc primordial lorsque vous lisez un journal en ligne, lorsque vous avez vent d’une information sur Facebook ou Twitter, ou encore lorsque quelqu’un vous affirme un fait plus ou moins “important” de par son affirmation (qui peut paraître extraordinaire ou pas en fonction de vos propres connaissances à ce moment-là), de vérifier la source.

La source, en l’occurrence, c’est le papier lui-même qui peut parfois s’avérer difficile d’accès.

Par exemple, si je vous affirme que l’on peut utiliser le 3,4-methylenedioxymethamphetamine afin de soigner le syndrome de stress post-traumatique, il ne serait pas rigoureux de ma part de ne pas prouver ce que j’avance. Il est difficile de prouver, ou même de dérouler un raisonnement, lorsque l’on s’exprime de vive voix, mais nous sommes ici sur un blog où il est d’une facilité déconcertante d’exposer des points de vue, de partager des informations, et d’argumenter sans se faire couper la parole ou remettre en doute parce qu’on se met à bégayer.

Je partage donc l’article en question qui me permet d’affirmer que l’on peut utiliser de la MDMA afin d’aider les gens en souffrance psychique, notamment dans le cadre du PTSD, vu sur Reddit.

https://www.nature.com/articles/s41591-021-01336-3.pdf
Received: 5 February 2021;
Accepted: 2 April 2021;
Published: 10 May 2021.
Page une.

Il est important de repérer certaines informations essentielles afin d’appréhender l’information et de la comprendre. Tout d’abord le titre du papier. Nous voyons ici qu’il s’agit bien d’un papier en rapport avec ce que j’ai évoqué plus tôt : MDMA-assisted therapy for severe PTSD: a randomized, double-blind, placebo-controlled phase 3 study.

Ensuite, le journal dans lequel le papier est publié. Ici, nous pouvons constater que c’est Nature Medicine qui a publié l’étude, et qui a un facteur d’impact de 36.130 en 2019, ce qui indique une fiabilité importante. Il est généralement admis qu’un journal avec un facteur d’impact de moins de 1 est à approcher avec plus de prudence, bien que des journaux comme The Lancet ou le The New England Journal of Medicine aient leurs faiblesses par certains moments. En plus de cela, une étude comme celle-ci a montré que “le facteur d’impact des journaux [publiant les études scrutées ici] étaient corrélées négativement avec la puissance de la reproductibilité. En supposant une gamme réaliste de probabilités a priori pour les hypothèses nulles, la probabilité de faux positifs est susceptible de dépasser les 50% pour toute la littérature. A la lumière de nos découvertes, les bas succès de réplications en psychologie récemment rapportés sont réalistes, et une pire performance peut être attendue en neurosciences cognitives.” Pour creuser ce problème, n’hésitez pas à aller sur mon article concernant la crise de la connaissance.

Il est important de garder à l’esprit que le facteur d’impact représente en quelque sorte la popularité du journal qui publie le papier, et que ce facteur d’impact est influencé en grande partie par la façon dont le journal est perçu par les gens. Cette vidéo de Fouloscopie explique bien les mécanismes d’une telle popularité variable.

Juste sous le titre, nous pouvons voir la liste des auteurs ayant participé à mener et élaborer l’étude. De la même manière qu’il existe un facteur d’impact pour le journal de publication, il existe un indice h afin de juger de l’impact des scientifiques, de leur productivité et d’une certaine manière de leur importance dans le domaine de la recherche. Ces données, facteur d’impact et indice h, ne sont pas sans biais mais sont malgré tout des éléments intéressants à connaître lorsque l’on veut creuser plus loin et s’assurer d’une certaine qualité dans les papiers que l’on consulte. De plus, concernant les auteurs, il est toujours intéressant de connaître les potentiels conflits d’intérêt, les financements, qui peuvent avoir un effet non-négligeable sur l’étude.

Page douze.

Nous pouvons voir à la page 12 les conflits d’intérêt annoncés en toute transparence par les auteurs de l’étude dans la section “Competing interests”. Il est donc donné à quiconque sera curieux de le faire de creuser et de voir les liens entre les scientifiques et certains organismes qui financent une partie de l’étude. Parfois une entreprise finance entièrement des recherches et paient des chercheurs à temps plein, comme ça pouvait être le cas par exemple à l’époque pour le tabac où Big Tobacco ne se privait pas de payer pour avoir des études allant dans le sens de leur marketing, sans se soucier de rigueur scientifique. Heureusement, nous avons aujourd’hui tous les moyens d’aller chercher les infos et de voir si certains conflits d’intérêts sont suffisamment questionnant pour demander des études, indépendantes de certains financeurs.

Intéressons-nous maintenant au contenu même du papier. Nous pouvons décortiquer ainsi :

  • Le résumé ou abstract
  • L’introduction
  • La méthode employée
  • Les résultats
  • La discussion

Le résumé est ce qu’on voit au tout début de l’étude. Il permet de se faire une idée globale de ce qu’on va lire et si les informations sont pertinentes pour ce qu’on recherche. Leur travail y est synthétisé et on peut y voir le but, les méthodes, les conclusions ainsi que les limites du travail effectué :

Ensuite vient l’introduction où les chercheurs présentent le contexte dans lequel s’inscrit leur démarche de recherche, quelle est la finalité de l’étude et les questions auxquelles ils essaient d’apporter des réponses :

Elle commence dans cette étude en page une…
… et se termine brièvement en page deux.

Dans cette étude, on peut voir que les résultats viennent avant la méthode, mais il est important de connaître la méthode avant de voir les résultats pour mieux comprendre et avoir un regard plus affuté sur les résultats qui, dans ce cas par exemple, peuvent paraître incroyables (la MDMA peut soigner des gens du PTSD ? Dingue !). On trouve dans la partie “méthodes” le détail du protocole de recherche utilisé, comment les chercheurs ont conduit leurs recherches pour obtenir des résultats tout en prenant en compte un maximum de biais et la raison des choix d’outils et de moyens.

On retrouve donc l’explication de la méthode employée dans les pages 10 et 11 du pdf :

Page dix.
Page onze.

L’intérêt de consulter la méthode est de voir la rigueur appliquée à la recherche mais surtout de savoir de qui on parle, de sujets humains ou d’animaux comme des souris ou des singes ? Est-ce qu’un groupe contrôle est présent ? Quelle est la taille des groupes ? Est-ce randomisé ? Ici nous voyons qu’effectivement les sujets de l’étude ont été séparés en deux groupes, un groupe qui reçoit effectivement la MDMA avec l’accompagnement psychothérapeutique, et un groupe qui reçoit le placebo avec le même suivi psychothérapeutique. Cela permet de contrôler au mieux et de considérer que la seule variable qui change entre les groupe, c’est l’administration ou non de la MDMA et du placebo. Ensuite, il est précisé que c’est en double aveugle, signifiant que l’expérimentateur ne sait pas ce qu’il donne, de la même manière que le patient ne sait pas ce qu’on lui donne ce qui élimine un certain nombre de biais pouvant venir fausser les résultats. De plus, les groupes ont été randomisés, c’est-à-dire que l’on n’a pas choisi qui irait dans quel groupe. L’intérêt de telles méthodes est d’éliminer tout ce qui peut venir perturber la subjectivité des scientifiques et des sujets de test. La randomisation permet de contrer les facteurs de confusion comme le sexe ou l’âge.

Tout ceci se fait dans l’idée que la corrélation n’est pas la causalité et qu’il est important d’être le plus sûr possible que les améliorations, s’il y en a, sont bel et bien dues à la MDMA et pas à un facteur relevant du hasard.

Maintenant, parlons des résultats :

Page deux.
Page trois.
Page quatre.
Page cinq.
Page six.
Page sept.

Les résultats doivent être présentés de manière brute et factuelle, sans interprétation. Ils permettent de voir la taille de l’effet et donc de comparer l’écart entre le groupe test (avec MDMA) et le groupe de contrôle (avec placebo). On se sert alors de la p-value qui par convention doit se situer à p < 0,05 max afin que l’on puisse considérer que l’effet est statistiquement significatif (qui ne soit donc pas lié à une fluctuation et donc au hasard). Plus la valeur p est basse, plus on considère qu’elle est solide statistiquement parlant. Attention cependant à la confusion concernant la p-value et à son utilisation en pratique. Cette vidéo de Lê Nguyên Hoang l’explique bien. Il est aussi important de garder en tête l’imperfection de la p-value.

Les résultats sont aussi présentés sous formes de tableaux et de graphiques dont la lecture est facilitée par l’explication en dessous de comment lire les données.

Enfin, en ce qui concerne la discussion à la fin de l’article :

Page sept.
Page huit.

La discussion permet une interprétation des résultats ainsi qu’une explications des limites liées à la méthode et au domaine de recherche (comme le cadre légal dans le cas de la MDMA). Mais cela permet aussi et surtout d’ouvrir sur des perspectives futures et parfois même des recommandations quant à l’usage de ce potentiel traitement.

Il ne faut évidemment pas oublier d’explorer les références bibliographiques qui sont aussi un moyen de voir où en est l’état de la recherche actuellement. Cela permet d’approfondir ses connaissances sur un sujet spécifique et de remonter plus loin, jusqu’à la genèse de l’idée de tester cette substance pour ces problèmes bien particuliers. C’est aussi l’occasion de découvrir différents auteurs de recherches qui peuvent mener dans bien d’autres domaines.

Maintenant que l’on sait tout ça, il est important d’avoir en tête que les études, même si elles ne sont pas lues par tout le monde, ont des implications importantes et très concrètes. Elles permettent de prendre des décisions politiques mais ont aussi un impact sur la manière dont les gens perçoivent le monde. Par le passé, et nous en verrons sûrement d’autres à l’avenir, des études ont tellement influencé le comportement de la population que cela a pu provoquer des effets néfastes. Par exemple une étude parue à la fin des années 1990 faisant le lien entre le vaccin ROR (rougeole-oreillons-rubéole) et de nombreuses pathologies dont l’autisme. Cet article de l’Association Française pour l’Information Scientifique (AFIS) explique les conséquences de cette croyance encore présente aujourd’hui en France.

Qu’est-ce que la démarche scientifique ?

La science, ce qui rassemble les connaissances dont on dispose dans tous les domaines que l’on étudie de manière scientifique, se nourrit quotidiennement de la recherche d’un nombre important de chercheurs. Cette recherche vient repousser, chaque jour, les limites de nos connaissances. Il arrive quelque fois que des découvertes soient si importantes que l’on en vienne à changer de paradigme. Autrement dit, notre représentation du monde, le modèle que l’on s’en fait grâce à nos connaissances, change lorsque l’on atteint une somme suffisante de connaissances pour mieux comprendre de nombreux phénomènes. La science n’est donc pas la vérité absolue, mais elle est ce que l’on a de mieux pour représenter la réalité, la comprendre, jouer avec. C’est à partir d’observations empiriques que l’on arrive à construire des hypothèses, mises à l’épreuve par des expérimentations, puis des théories (ensemble de lois et d’hypothèses rendu cohérent par l’observation et l’expérimentation), que l’on arrive à rendre crédibles et valables grâce au rasoir d’Ockham. Si vous voulez en savoir plus sur le changement de paradigme, Thomas S. Kuhn a écrit La structure des révolutions scientifiques.

La science n’est évidemment pas sans défaut mais elle est la meilleure manière que l’on ait aujourd’hui pour accumuler du savoir auquel on peut se fier. Les consensus scientifiques sur divers sujets sont le plus haut degré de certitude auquel nous pouvons prétendre, même si un nombre non négligeable de personnes clame haut et fort que certaines choses sont fausses ou vraies, comme la forme de la Terre ou le lien entre la Lune et les naissances, sans prendre en compte, ou en rejetant, le consensus scientifique sur ces questions.

Un cas pratique pour mieux comprendre.

Il est importer de parler des outils qui permettent de chercher des études et des méta-analyses. Personnellement, j’utilise Google Scholar comme départ à mes recherches, en tapant des mots-clés comme : MDMA, therapy, PTSD. Tout ce qui peut avoir un quelconque intérêt en fonction de ce que je cherche. Par exemple si un ami vous parle d’un potentiel effet du glyphosate sur votre santé au travers d’une consommation de céréales, alors vous pouvez taper : glyphosate, toxicity, humans. Vous pourrez ainsi explorer les résultats du moteur de recherche, en faisant attention par la même occasion au nombre de citations des articles proposés. Le nombre de citation est un indicateur de plus à prendre en compte, puisqu’il permet de voir en un coup d’oeil l’importance du travail effectué et l’effet qu’il a eu sur la communauté scientifique, tout en gardant en tête qu’un article très cité peut l’être justement pour le démonter, comme le fait cet article par rapport à la croyance sur les vaccins causant l’autisme.

Je précise que la recherche se fait majoritairement en anglois de la perfide Albion, puisque c’est le langage le plus utilisé dans le domaine de la recherche. Vous pourrez trouver des choses en écrivant en français, mais ce sera bien moins fructueux qu’une recherche en utilisant l’anglais.

Il arrive que les articles ne soient pas entièrement accessibles via la page du journal de publication, qui n’hésitera pas à vous demander de l’argent pour que vous ayez accès au papier. C’est là que Sci-Hub entre en jeu et sauve votre porte-monnaie et alimente votre curiosité. Il est possible que vous n’ayez pas accès à ce site sans un VPN qui vous permet de vous connecter comme si vous n’étiez pas en France, puisque nombre de fournisseurs d’accès internet bloquent purement et simplement son accès. Cependant, j’arrive à y aller via Mozilla Firefox sans VPN, sans trop savoir pourquoi. Dans tous les cas, ce n’est pas très difficile d’accéder à la majorité des études.

Nous en avons fini avec la façon globale dont on doit aborder les connaissances et les sources. Il vaut mieux, à mon avis, passer 15-30 minutes à lire des papiers scientifiques plutôt que croire sur parole le medium qui nous le fait passer, surtout quand on voit ce genre de vidéo (edit 16/08/2021, le lien est désormais mort, il renvoyait vers une vidéo d’Arte dénonçant de soi-disant effets néfastes de la 5G sur l’humain) qui n’est pas sans rappeler les “revues prédatrices“.

Fort heureusement, lorsque les commentaires sont ouverts, nous pouvons trouver des gens qui font preuve de l’esprit critique dont nous devrions tous user dès que l’occasion s’y prête :

6:38 Voici le lien de l’étude en question, avec Manservisi F. comme chercheuse dans cette même étude (conflit d’intérêt ?) : https://www.ncbi.nlm.nih.gov/pubmed/29530389

C’est marrant mais l’étude ne dit pas la même chose que son discours : “An increase in the incidence of malignant glial tumors was observed in treated female rats at the highest dose (50 V/m), although not statistically significant.”

Pour information, l’exposition de 50 V/m est extrême lorsqu’on sait que la limite européenne est de 6 V/m, et même lorsqu’on est dans l’extrême, et bien l’étude dit aussi qu’il n’y a pas de lien statistiques significatifs entre ces cancers et l’exposition aux ondes, alors que les rats sont exposés a ~10 fois la limite autorisée pendant toute leur vie depuis avant la naissance (et non pas 3 ans comme ils disent dans le reportage). Pourtant cette Fabiana Manservisi nous dit le contraire, et donc elle ment.

A quoi ça sert de participer en tant que chercheur dans une étude si tu répands des faux résultats… Et merci ARTE de relayer l’intox. Également, je tiens a ajouter que les rats ne sont pas des humains. Ces études sur les animaux ou in-vitro ne permettent jamais de faire des liens, ils permettent juste de tâter le terrain avant de faire de véritables études, et certainement pas de tirer des conclusions comme ici.

Aussi, faudrait se mettre d’accord :

1:04 “10 fois plus puissant que la 4G”

7:04 “4 fois plus puissant que la 4G”

9:15 “classement 2B par l’OMS comme potentiellement cancérigène”

Voici la description de ce classement : “This category is used for agents, mixtures and exposure circumstances for which there is limited evidence of carcinogenicity in humans and less than sufficient evidence of carcinogenicity in experimental animals.” https://en.wikipedia.org/wiki/List_of_IARC_Group_2B_Agents_-_Possibly_carcinogenic_to_humans

Autrement dit, pour les substances avec des preuves limitées de risque cancérigène, et des preuves moins que suffisantes de risque cancérigène pour les animaux. Autrement dit, ça ne veut absolument rien dire, c’est juste un discours alarmiste sans preuve. Mais évidemment, les grand méchants SwissCom ou je sais plus trop quoi, dans un conflit d’intérêt comparable a la chercheuse du début, essaye de montrer que ce n’est pas dangereux, mais la c’est pas pareil j’imagine. J’en ai trop vu, j’arrête la.

-ExodusS

L’effort à fournir afin de faire quelques rapides recherches et d’expliquer nos trouvailles n’est pas insurmontable et si chacun s’y mettait quelques minutes par jour, je n’ai aucun doute qu’en suivant une méthodologie rigoureuse et critique de ce qu’on nous sert comme la vérité absolue (tout en se contredisant sinon c’est pas marrant), nous aurions une société bien plus saine et sympathique à habiter.

Pour approfondir un peu plus le sujet de la publication scientifique, je partage deux vidéos traitant du sujet. Une de l’Envers de la Blouse, et une venant de l’INRA de Dijon.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *