Comment ne pas avoir peur de l'article scientifique

15 Jul 2016

Savoir qu’on nous ment n’est pas rassurant..

J’ai regardé avec Alexandre, très récemment la dernière vidéo de Léo Grasset de Dirty Biology (chaîne qu’on adore et recommande 100%). Dans cette vidéo, intitulée “Les OGMs sont-ils nocifs ? (non)”, Léo nous parle du fait que les infos scientifiques que l’on voit dans les médias sont souvent de mauvaise qualité, et essaye de comprendre pourquoi (spoilers: ce n’est pas toujours la faute de la presse grand public).

Avec cette vidéo toujours fraîche dans sa tête, Alexandre est tombé sur un article de Quartz sur la musculation et ayant envie de comprendre si c’est du bullshit, il m’a demandé comment faire. Léo Grasset lui a ouvert les yeux aux périls, mais Alexandre s’est senti sans défense face à eux. C’est, donc, mes réponses à Alexandre qui m’ont encouragée à écrire ce guide destiné à toute personne curieuse ou juste prudente.

Pour vous donner un peu de recul sur le sujet, je vais commencer en vous expliquant comment les articles scientifiques sont produits. En suite, je vais suivre un exemple récent pour illustrer comment quelqu’un qui n’est pas un expert peut vérifier ce qu’il vient de lire dans un article de vulgarisation.

Comment publier un article scientifique.

1. Vous faites le travail
2. Vous rédigez un article
3. Bien plus tard que prévu, l’article est ‘fini’ et vous le soumettez à un journal ou une conférence
4. L’éditeur ou organisateur cherche (désespéramment) des experts du domaine qui vont travailler gratuitement pour lui et vont vouloir relire votre article et donner leur opinion.
5. Le comité d’experts (peer reviewers) relit votre article et s’exprime sur sa qualité et son intérêt. Il fait ça à la dernière minute ou même plus tard ou parfois ne répond pas et l’éditeur est furieux. Vous, vous êtes de toute manière angoissés.
6. Votre article peut être accepté tel qu’il est (ouaaah!), accepté avec des modifications, refusé avec des commentaires constructifs et encouragements, ou refusé sans chi-chis.
7. Vous faites les modifications nécessaires et vous le renvoyez (si accepté avec modif) jusqu’à la satisfaction. Ou vous le renvoyez à d’autres journaux et/ou conférences, en baissant vos standards chaque fois.
8. Félicitations, vous êtes publiés! Recommencez dès le debut.

PS. À noter qu’il n’y a pas de profit dans cette liste.

Un exemple récent

Tout au long de ce guide, je vais utiliser un exemple (spoilers: positif) récent pour expliquer comment comprendre si on se fout de notre gueule. C’est l’exemple qui a attiré l’attention d’Alexandre et m’a mené à écrire ce post. Toutefois, le guide reste générique et il couvre tout ce que j’ai pu imaginer être pertinent.

Je me base sur cet d’article de vulgarisation sur Quartz, ayant comme titre (en anglais, sur Quartz) : “Lighter weights do as much for building muscle as heavier ones, new research says”.

Les premières lignes de cet article nous racontent que:

“When it comes to building muscle, it’s probably not the size of your weights or the number of repetitions that matter. Research (pdf) from McMaster University in Ontario, Canada argues it’s actually the degree to which you exhaust yourself during your weightlifting session.”

Examinons, alors, cet article.

Les questions à se poser

1. L’article scientifique est-il fiable?

La communauté scientifique a mis en place beaucoup de mécanismes pour vérifier -dans une quelque mesure- la ‘qualité’ d’un article. Même si aucun système n’est infallible, vous pouvez en profiter pour vous renseigner.

a. L’article de source, est-il déjà publié?

Ou s’agit-il d’un communiqué, d’ un article pas encore confirmé? Pour être sûr qu’un article a reçu le traitement de vérification de sa qualité attendue par la communauté scientifique, il faut que cet article fasse sujet d’une publication dans une revue ou une conférence éditée par de tiers et qu’il ne soit pas le résultat d’un communiqué ou d’auto-publication (rapports techniques, communiqués de presse etc). Ou peut être il s’agit d’une pièce d’opinion ou commentaire, un éditorial, ce qui ne veut pas nécessairement dire que ce n’est pas bien fondé, mais c’est mieux d’être au courant si c’est le cas!

Alors comment on sait si cet article est publié? Si on a le lien, comme dans notre exemple, tout en haut (ou tout en bas ailleurs) on trouvera la mention de la revue, ici:

J Appl Physiol 121: 129–138, 2016. First published May 12, 2016; doi:10.1152/japplphysiol.00154.2016.

Ce qui nous apprend que cet article a été publié en mai 2016 dans le ‘Journal of Applied Physiology’* .

Un journal alors pour notre exemple, sachant qu’en général les journaux sont des revues “peer-review” ou d’ “évaluation par les pairs”. Ce genre de journal est l’idéal parmi toutes les alternatives qui existent. Même si en général la mention ‘publié’ dans un journal devrait suffire, vous pouvez trouvez plus d’informations sur comment reconnaître un article ‘peer-reviewed’ ici. Le ‘Journal of Applied Physiology’ est un journal d’évaluation par les pairs, et cet article est un article classique et pas un éditorial.

*Note: Ce genre d’abbreviations comme J pour Journal, Appl pour Applied, etc sont communs et une simple recherche sur le net vous donnera le nom de la revue complet si vous n’arrivez pas à comprendre.

Comment faire si le reportage ne donne pas le lien vers l’article.

Basés sur les informations que vous avez, recherchez l’article sur Google Scholar et vous obtiendrez au minimum une entrée bibliographique contenant titre, noms d’auteurs et résumé. Si l’article de vulgarisation ne vous donne pas d’outils pour faire cette recherche en ne faisant aucune référence utilisable à la publication scientifique, méfiez vous et considérez qu’il s’agit de bullshit. Il s’agira souvent d’une traduction d’un article anglophone basé sur un communiqué de presse d’une université (re: la vidéo de Dirby Biology).

Bon à savoir: Le doi (qui accompagne le nom du journal dans la citation ci-dessus) est un identifiant unique et universel pour chaque œuvre publiée, un peu comme le ISBN pour les bouquins. Il vous permettra de rechercher plus d’informations si vous voulez. Un autre type d’identifiant que vous pouvez croiser c’est le PubMed id, ou PMID, qui est un identifiant relatif à une base de publications scientifiques dans le domaine biomédical, PubMed. Ces identifiants pourront vous aider à rechercher l’article sur d’autres sources (Scholar, PubMed, etc) et retrouver l’original si vous le souhaitez.

b. Cet article, date-t-il de plus que 6 mois ?

Si jamais vous êtes en train de lire quelque chose sur un article qui n’est pas tout récent, c’est à dire qui date de plus que 6 mois, vous avez de la chance. Vous pouvez directement consulter les réactions des scientifiques vis à vis de cet article!

Dirigez vous vers Google Scholar et cherchez pour l’article en question pour voir comment la communauté a réagi. Dans le cas de l’exemple qu’on suit ici, pas de chance, il est tout récent et donc le nombre de citations n’est pas significatif.

Si on prend comme exemple pour cette expérience un autre article d’un des auteurs qui date de 1997 on peut voir qu’il a 857 citations selon Google Scholar, et il continue d’être cité régulièrement, même 20 ans plus tard. Tout ça nous fait imaginer qu’il s’agit d’un article de qualité ou au moins très important dans son domaine.

Le nombre de citations attendues pour un article de qualité n’est pas facile à estimer. Il dépend d’un nombre de facteurs: la taille de la communauté de ce domaine, le style de publication de ce domaine (on a tendance à faire plus de citations dans quelques domaines que dans d’autres), la présence numérique des publications de ce domaine et les biais relatifs à ceci, et finalement la pure chance.

Être mal cité ne veut pas dire que l’article n’est pas de valeur, il a été contrôlé et relu et validé par la revue ou la conférence qui l’a accepté. Mais être bien cité nous donne une bonne estimation sur l’impact de cet article, et l’intérêt qu’il a attiré. À noter, finalement, qu’un article peut être cité pour de raisons négatives et les auto-citations (citations par les mêmes auteurs qui sont prolifiques) peuvent influencer ce genre de mesures, mais ne devenez pas paranoïaque, en règle générale le nombre de citations vous donne une bonne estimation.

c. Conférence ou revue

Dans la majorité de domaines les conférences sont une opportunité pour présenter de premiers résultats ou de nouvelles approches et, conséquemment, les articles présentés là ont profité d’un contrôle moins stricte. Les conférences sont vues comme de lieux d’échange entre scientifiques et si vraiment un travail aboutit, il finira publié dans un journal. Par conséquence, les articles publiés dans des journaux, sont considérés comme des sources ayant plus de valeur.

À noter que le domaine d’informatique est un peu différent en cet aspect, et les conférences peuvent avoir un poids très important, souvent étant considérées aussi ou même plus importantes que des journaux.

d. La crédibilité de la revue (ou conférence)

Le facteur d’impact

Cette crédibilité est bien sûr difficile à déterminer, vu que même les plus prestigieux de journaux scientifiques ont eu à faire de rétractions d’articles ou de publier d’articles peu intéressants. Néanmoins, il existe une mesure pour estimer quelle est l’importance aperçue d’une revue par sa communauté et on appelle cette mesure l’ “impact factor” (IF) ou facteur d’impact (FI) (article wikipédia). Cette mesure correspond au nombre moyen de citations vers les articles de cette revue et elle est calculée annuellement. Ce que cela signifie c’est que les articles publiés dans cette revue attirent l’attention d’autres auteurs scientifiques qui les citent dans leurs travaux respectifs.

À noter que les biais cités ci-dessus par rapport aux citations négatives et auto-citations peuvent influencer cette mesure aussi, mais en tout cas le FI donne une idée de l’impact que cette revue a pour la communauté, et c’est probablement la seule mesure qu’on peut calculer facilement à ce propos.

Le facteur d’impact, cette plaie

Si on demande à Google ‘what is a good impact factor’ on se rend compte qu’on n’est pas les seuls à se poser cette question, que ça ne marche pas pour toutes les disciplines et qu’il y a beaucoup de scientifiques qui sont désillusionnés par cette mesure.

Bonnes nouvelles

Mais, heureusement tout n’est pas perdu. Dans des domaines comme la médecine (qui est souvent la cible d’articles de vulgarisation) le facteur d’impact est assez souvent pertinent. Un journal avec un facteur plus que 10 est généralement considéré comme correct, et les journaux avec plus que 30 sont très prestigieux. (e.g. cette liste par l’institut national de santé des US). Cette course est très compétitive et moins que 2% de journaux arrivent à plus que 10 points de FI (source).

Règle générale

Pour résumer, faites une recherche sur la reputation du journal ou de la conférence citée, et vous aurez sans doute une première estimation de sa qualité aperçue. Ce n’est toujours pas sans erreur, mais le faire peut vous aider.

Finalement, il existe un nombre de listes de ‘top publications’ par domaine comme la liste de Google, ou Microsoft Academic. Ce dernier d’ailleurs vous permet assez facilement de chercher par nom de journal pour avoir plus d’informations, voir l’exemple sur le journal de l’article-source de notre exemple.

Retournons à notre exemple

L’article de notre exemple a été publié dans un journal (bon signe), le “Journal of Applied Physiology”, ayant un facteur d’impact de 3, ce qui parait correct mais un peu bas hors contexte. En cherchant pour “journal of applied physiology impact factor” on tombe sur cette liste de journaux du domaine où on voit que, exempté le tout premier (FI de 30), les journaux de physiologie n’ont pas de FI trop élevés, et que notre journal ici, est selon cette liste ~10ème dans son domaine. On voit d’ailleurs sur MS Academic que ce journal a publié pas mal d’ articles très bien cités. On conclut donc que ce journal n’est pas une blague ou une arnaque.

2. Les auteurs, sont-ils des experts?

a. Travail d’équipe -> liste d’auteurs

Comme Dirty Biology nous dis très bien, malgré ce que les articles sensationnels des journaux non-scientifiques veulent nous faire croire parfois, en réalité l’innovation et les résultats importants ne viennent pas de génies adolescents isolés mais d’équipes de nombreux chercheurs expérimentés. Même si un ou deux membres de l’équipe sont des chercheurs en debut de carrière (doctorants, post-doctorants ou même étudiants, et stagiaires), ces membres là ne vont pas mener de recherches sans encadrement ou participation de chercheurs expérimentés. Et ces derniers figureront dans la liste d’auteurs de la publication scientifique, sauf dans le cas de monographs comme une thèse -mais ces dernières font rarement sujet de vulgarisation scientifique dans les journaux grand public.

C’est souvent le cas que l’ordre de mention dans la liste d’auteurs a une logique. Si ce n’est pas par ordre alphabétique, les premiers auteurs mentionnés vont être les membres, souvent plus junior, qui ont été les principaux contributeurs à ce travail. Suivis par les autres membres de l’équipe et à la fin de la liste on trouvera le(s) membre(s) senior qui ont encadré ces travaux.

b. Comment évaluer l’expérience d’un auteur

Une petite recherche sur Google Scholar va vous donner une idée sur les auteurs en question.

En cherchant par exemple pour le premier auteur de l’article exemple, Robert W. Morton on a du mal à le retrouver facilement, donc on imagine qu’il s’agit d’un jeune chercheur du domaine probablement. Effectivement, avec un peu plus d’effort on voit qu’il est un jeune doctorant.

En cherchant par contre pour Stuart M. Phillips, le dernier auteur, on confirme qu’il est bien senior (Professeur en Kinésiologie) et en lisant en diagonale tous les titres de ses publications, il a l’air d’être un expert du domaine de la musculation, comme toute la première page de ses articles les plus cités a comme mots-clés muscle et exercise. Il a d’ailleurs au total 19031 citations vers les articles qu’il a publiés, ce qui nous dit qu’il a l’air d’être quand même fort (ET prolifique), ou au moins d’avoir beaucoup d’influence (et une grande équipe d’étudiants encadrés qui publient comme des machines).

3. L’article scientifique dit-il vraiment ça?

Alors maintenant qu’on sait que l’article-source n’est pas non-scientifique, comment peut-on comprendre si les informations de l’article ont été exagérées ou interprétées très librement?

Vous êtes bien sûr invités à lire tout l’article si cela vous fait plaisir, mais comme vous risquez de vous y perdre, je vais examiner les sections les plus courtes et riches en information, pour faciliter votre vie. La liste par ordre de facilité et densité d’information est la suivante:

1. Le titre. Vous serez surpris combien de fois un article de vulgarisation ne fait même pas attention au titre de l’article source, et contredit ce que les chercheurs ont trouvé.
2. Le résumé (abstract). Il est toujours disponible publiquement et indispensable pour la publication d’un article. Il résume ce que les chercheurs ont testé et trouvé. Souvent, c’est tout ce que vous avez à lire.
3. Introduction et discussion. Si vous avez accès à l’article source complet, focalisez vous sur ces deux sections. La première vous donne le contexte et la seconde présente et interprète les résultats obtenus dans leur contexte.

Dans la suite, je vais me limiter aux deux premiers éléments, le titre et le résumé pour ne pas vous bombarder avec trop d’information.

a. Le titre

Retournons à notre exemple d’article cité par Quartz. Le titre de l’article est

Neither load nor systemic hormones determine resistance training-mediated hypertrophy or strength gains in resistance-trained young men.

Les titres de publications scientifiques sont souvent très succincts. En tout cas, les auteurs essayent de mettre un maximum d’informations dans le titre, ce qui fait que parfois ils sont difficiles à comprendre. Décortiquons-le!

Phrases-clés:

• “Neither load nor systemic hormones” -> ni la charge ni les hormones du système
• “resistance training” -> Une recherche sur google nous emmène à cet article et plein d’autres qui nous dit qu’il s’agit de l’entrainement pour la musculation tout simplement
• “-mediated” -> étant le résultat de (par la définition de mediate “bring about (a result such as a physiological effect) “ source: recherche google)
• “hypertrophy” -> élargissement, de muscles dans ce cas

Donc si on résume, le titre nous dit qu’ils ont étudié de jeunes hommes qui font de la musculation et ils ont trouvé que ni la charge ni les hormones systémiques de ces hommes n’étaient la cause déterminante du grossissement de leur muscles ou de l’augmentation de leur puissance.

Déjà tout ça c’est un bon signe, comme ça confirme ce que Quartz nous raconte. Mais il ne faut pas rester au titre qui peut souvent être très laconique ou ne pas couvrir tout la portée des résultats.

b. Le résumé

Passons au résumé de l’article, d’habitude appelé en anglais “Abstract”. Dans l’article scientifique en question, le résumé ne porte pas le titre ‘Abstract’, mais dans tous les cas il se retrouvera au tout début de l’article, juste après les mentions d’auteurs, affiliations, etc. Si vous n’avez pas accès à l’article complet, sur la page auprès du site de l’éditeur ou l’entrée bibliographique que vous regardez, vous pourrez sans doute trouver un résumé puisqu’il est obligatoirement publique.

Puisque il s’agit d’un texte un peu plus long, je vais le découper en plus petit morceaux thématiques et commenter directement. J’ai mis en gras le résumé du résumé.

“We reported, using a unilateral resistance training (RT) model, that training with high or low loads (mass per repetition) resulted in similar muscle hypertrophy and strength improvements in RT-naïve subjects.

Ici ils font référence à leurs précédents travaux, qui avaient testé l’effet que les charges plus ou moins fortes avaient sur des individus qui ne faisaient pas de musculation avant. Ils ont trouvé que la charge ne changeait rien.

Here we aimed to determine whether the same was true in men with previous RT experience using a whole-body RT program and whether postexercise systemic hormone concentrations were related to changes in hypertrophy and strength.

Ils ont donc voulu voir si la même chose est vraie pour les gens expérimentés en musculation, et en même temps étudier si il y a une relation avec les concentrations d’hormones dans le système de ces individus après l’exercice. Simple, non?

Forty-nine resistance-trained men (23 1 yr, mean SE) performed 12 wk of whole-body RT. Subjects were randomly allocated into a higher-repetition (HR) group who lifted loads of 30-50% of their maximal strength (1RM) for 20 –25 repetitions/set (n  24) or a lower-repetition (LR) group (75–90% 1RM, 8 –12 repetitions/set, n  25), with all sets being performed to volitional failure. Skeletal muscle biopsies, strength testing, dualenergy X-ray absorptiometry scans, and acute changes in systemic hormone concentrations were examined pretraining and posttraining. In response to RT, 1RM strength increased for all exercises in both groups (P  between groups (HR, 9 1, vs. LR, 14 1 kg, P  0.012). Fat- and bone-free (lean) body mass and type I and type II muscle fiber cross-sectional area increased following training (P  0.01) with no significant differences between groups.

La partie ci-dessus donne les détails de la configuration de leur expérimentation. Ce n’est pas en gras parce qu’il n’y a pas une information à retenir, mais c’est important de jeter un coup d’œil à cette partie même si vous n’êtes pas scientifique, pour vous faire une idée de l’ampleur et l’importance de ces résultats. Dans ce cas, nous voyons -en tant que non-experts tous, moi incluse- qu’ils ont l’air d’avoir bien choisi leurs mesures et leurs prélèvements etc, mais qu’il ne s’agit que de 49 personnes. Donc je dirais que même si probablement il n’y a rien à reprocher à leurs expériences, il faudrait tester sur un nombre de personnes plus important pour que ceci devienne la nouvelle bible.

No significant correlations between the acute postexercise rise in any purported anabolic hormone and the change in strength or hypertrophy were found.

La partie sur les hormones qu’on n’est pas trop en mesure de comprendre en tant que non-experts.

In congruence with our previous work, acute postexercise systemic hormonal rises are not related to or in any way indicative of RT-mediated gains in muscle mass or strength. Our data show that in resistance-trained individuals, load, when exercises are performed to volitional failure, does not dictate hypertrophy or, for the most part, strength gains.”

Mais heureusement il y a du plus facile à digérer pour nous les plus simples. Recherche rapide sur le net pour ‘volitional failure’ nous apprend que c’est quand on lift jusqu’à ce qu’on ne peut plus lifter. La charge donc ne joue pas de rôle quand on fait de la musculation! C’est juste pour frimer :D

Ce qui rejoint la citation à la fin de l’article sur Quartz:

“If you exercise until you’re completely wiped, you’re going to be in good shape,” Morton said.

Pour conclure, Quartz a fait un bon reportage de vulgarisation de cet article. Si seulement c’était toujours comme ça…

C’est à vous!

Allez, maintenant vous avez des outils pour évaluer ce que vous lisez. Lâchez-vous sur les rubriques de vulgarisation scientifique de la presse grand public, munis de vos nouveaux armes, et faites moi un retour si vous voulez sur @torobotaki.

Et pourquoi pas, vous pouvez me faire un retour sur la clarté et la valeur (scientifique?) de mon article de vulgarisation de la vulgarisation scientifique (meta-vulgarisation???).