Y’a quelque chose qui cloche là-dedans !

29 septembre 2012  - Ecrit par  Marc Lavielle Voir les commentaires (6)

« L’affaire NK603 »

Mardi 18 septembre après-midi : coup de téléphone d’un journaliste d’un grand quotidien : « une nouvelle étude de 2 ans de G.E.Séralini montre des effets du maïs NK603. Le Nouvel Obs sort demain un dossier sur le sujet. Nous allons nous aussi sortir un papier. Qu’en pensez-vous ? au fait… j’ai dû signer un accord de confidentialité,vous ne pouvez donc pas lire l’article de Séralini en question avant sa publication demain 15h00 »

Euh… un peu comme si on me demandait ce que je pense du prochain disque de Mireille Matthieu sans avoir le droit de l’écouter…

Bien que faisant partie du Conseil Scientifique du Haut Conseil des Biotechnologies (en tant que statisticien), j’ai dû me résigner à faire comme le commun des mortels (vous savez, tout ce qui n’est pas journaliste de grand hebdo ou quotidien) et patienter jusqu’à la levée de l’embargo, fixée au mercredi 15h00.

Entre temps, le « buzz » a commencé, on a appris par la presse qu’il avait été démontré de façon indiscutable et définitive que tous les OGM étaient des poisons (même à faible dose, dixit Guillaume Malaurie du Nouvel Obs)…

Bon… si les journaux le disent… c’est que ça doit être vrai !

Une fois l’article de Séralini atterri dans ma boîte mail à 15:01, il ne me restait plus qu’à le lire pour expliquer à mes collègues du HCB pourquoi nous allions tous mourir dans d’atroces souffrances si nous avions eu le malheur de consommer cet OGM (même à faible dose, j’insiste, dixit Guillaume Malaurie du Nouvel Obs).

JPEG - 9.7 ko

Ben tiens, c’est curieux… y’a quelque chose qui cloche là-dedans… j’y retourne immédiatement !

Les conclusions de l’étude

Y’a quelque chose qui cloche là-dedans !
JPEG - 27.2 ko

Un échantillon de 200 rats, constitué de 100 mâles et 100 femelles, a été randomisé en 20 groupes de 10 rats de même sexe : on dispose ainsi pour chaque sexe d’1 groupe contrôle et de 9 groupes expérimentaux (9 régimes à base de NK603 traité ou non avec du RoundUp et de RoundUp administré sous forme liquide).
L’étude a duré 2 ans durant lesquels plusieurs analyses ont été effectuées :

  • Une analyse de mortalité,
  • Une étude de pathologies anatomiques,
  • Une analyse de paramètres biochimiques.

Le corps de l’article se limite essentiellement à une description des résultats obtenus lors de cette étude. Les remarques concernant cette partie de l’article concernent le choix des différences observées mis en avant. En effet, une telle analyse descriptive ne devrait pas soulever de remarques particulières si les auteurs se contentaient de décrire de façon objective ce qu’ils ont observé chez les différents groupes de 10 rats (courbes de mortalité, pathologies anatomiques,…). Ils ont malheureusement parfois tendance à sélectionner soigneusement quelles comparaisons présenter. On peut ainsi lire §3.1 “Before this period, 30% control males (three in total) and 20% females (only two) died spontaneously, while up to 50% males and 70% females died in some groups on diets containing the GM maize (Fig. 1).” [1]. Mais si quelques groupes expérimentaux de mâles présentent en effet un taux de mortalité de 50% (5 rats morts) à la date de 600 jours, les groupes expérimentaux de mâles ayant reçu les plus grandes doses de NK603 et/ou de Roundup présentent des taux de mortalité de seulement 10% ou 20% (1 ou 2 rats morts). Pourquoi ne pas avoir décrit cette différence ?

Et pourquoi ne montrer que des photos de rats issus des groupes expérimentaux ? Les tumeurs des rats des groupes contrôles ne sont-elles pas semblables ? Là encore, comme pour les courbes de mortalité, une présentation partielle (et partiale) des résultats ne rend pas compte de l’expérience telle qu’elle a été réellement menée.

Le contenu de l’article devient franchement critiquable lorsque les auteurs sortent du domaine purement descriptif des observations en cherchant à expliquer les résultats obtenus et à les généraliser. On peut ainsi lire en conclusion :

  • The results of the study presented here clearly demonstrate that lower levels of complete agricultural glyphosate herbicide formulations, at concentrations well below officially set safety limits, induce severe hormone-dependent mammary, hepatic and kidney disturbances.
  • Altogether, the significant biochemical disturbances and physiological failures documented in this work confirm the pathological effects of these GMO and R treatments in both sexes, with different amplitudes. [2]

De telles affirmations ainsi formulées et ne laissant la place à aucun doute, devraient impérativement être rigoureusement justifiées et validées. Or, il est ici absolument impossible de conclure de façon définitive à la toxicité du NK603 sur la base de données aussi limitées.

Rappel : nous sommes dans un environnement incertain !

Ce n’est pas parce que seulement 2 rates parmi les 10 du groupe contrôle sont mortes à la fin de l’étude, contre 6 du groupe OGM 22% que l’on peut conclure que le risque de mourir dans les 2 ans pour une rate est 3 fois plus élevé si elle est nourrie avec un régime contenant 22% de NK603.

Le rôle de la statistique inférentielle consiste précisément à évaluer les incertitudes et les probabilités de se tromper en concluant à la présence ou à l’absence d’effets. Il est regrettable que les auteurs aient totalement négligé cet aspect de la statistique, tout en s’autorisant à des surinterprétations non justifiées de leurs résultats expérimentaux.

En suivant la démarche des auteurs (qui consiste à généraliser directement ce qui est observé sur un échantillon réduit à l’ensemble de la population), pourquoi ne pas avoir repris la différence observée entre mâles nourris au NK603 33% et le groupe contrôle pour conclure qu’une forte dose de NK603 réduit le taux de mortalité chez les mâles ? (tout ceci est bien sûr ironique… personne n’oserait remettre en question le fait que cette différence n’est due qu’aux fluctuations d’échantillonnage… tout comme les autres différences observées…)

Le protocole et les outils statistiques utilisés souffrent de graves lacunes et faiblesses méthodologiques qui remettent totalement en question les conclusions avancées par les auteurs.
Une analyse statistique rigoureuse des résultats obtenus lors de cette étude ne met en évidence

  • aucune différence significative de la mortalité des rats dans les groupes contrôle et expérimentaux,
  • aucune différence significative des paramètres biochimiques.

Voir l’analyse statistique détaillée.

Autres études, autres conclusions

Y’a quelque chose qui cloche là-dedans !

Mais la presse nous réserve aussi des surprises… On pouvait ainsi lire en février 2009

JPEG - 45 ko

Ou, plus récemment

PNG - 36 ko

Cette « une » se base elle aussi sur une publication scientifique de Snell et al. (publiée… toujours dans la même revue Food and Chemical Toxicology). Cet article passe en revue 24 études sur le sujet et conclut

- The studies reviewed present evidence to show that GM plants are nutritionally equivalent to their non-GM counterparts and can be safely used in food and feed. [3]

Mais là encore, la conclusion telle qu’elle est formulée par les auteurs de l’article va bien au-delà de ce que les études permettent de dire. Rappelons en effet que beaucoup d’études portent sur des groupes de seulement 10 animaux (parfois même 5 ou 3). On peut faire aux auteurs les mêmes reproches qu’à Séralini : conclure systématiquement de façon aussi définitive sur la base d’informations aussi limitées n’a pas de sens ! D’autre part, les tests mis en œuvre dans ces études sont des tests statistiques de comparaison qui n’autorisent en rien à conclure sur l’absence totale de risque ou sur la notion d’équivalence biologique. L’outil de statistique inférentielle théoriquement adapté à cette question est le test statistique d’équivalence.

L’évaluation des risques suit une stratégie dite « d’équivalence substantielle » basée sur la comparaison de caractéristiques diverses entre la PGM et son équivalent non transgénique.

Une telle évaluation se base sur une analyse de données expérimentales. La statistique joue alors un rôle incontournable dans un tel cadre d’analyse, mais son rôle décisionnel reste limité. En effet, ce ne sont pas de seuls arguments statistiques qui permettent de conclure à l’innocuité ou la dangerosité d’un PGM.

Un test statistique sert à évaluer le risque de se tromper en prenant une décision. Ainsi, un test statistique de comparaison permet d’évaluer la probabilité de se tromper en concluant à tort à l’existence d’une différence. Les conclusions que l’on peut tirer d’un tel test sont limitées pour différentes raisons :

  • Une différence biologiquement significative peut ne pas être statistiquement significative si les données disponibles sont insuffisantes. Une analyse de puissance est donc indispensable pour évaluer quelle taille d’effet peut être détectée avec une taille d’échantillon donnée,
  • Une différence statistiquement significative n’est pas nécessairement biologiquement significative. En effet, le test de comparaison cherche à détecter des différences, et ce quelle que soit leur taille. Or, avec une taille d’échantillon suffisamment grande, une différence même infime sera presque toujours détectée et donc statistiquement significative.

Un des rôles du statisticien est d’éviter que des raccourcis soient pris sans précaution. Ainsi,

  • l’étude de Séralini conclut à la toxicité des OGM car elle emprunte un raccourci assez surprenant (que personne n’avait encore osé emprunter...) :

Effet observé => Effet statistiquement significatif => Effet biologiquement significatif

=> DANGER !
  • les pétitionnaires et de nombreuses études concluent à l’innocuité des OGM en empruntant allègrement des raccourcis très fréquentés (surtout par nos collègues biologistes...) :

Effet statistiquement non significatif => Effet biologiquement non significatif => Equivalence OGM/non OGM

=> PAS DE DANGER !

Le rôle des agences et d’instances comme l’AESA, l’ANSES et le HCB est de signaler l’utilisation de tels raccourcis, et de fournir des recommandations pour un meilleur usage de l’outil statistique.

Ainsi, de nouvelles lignes directrices de l’EFSA recommandent la mise en œuvre de nouvelles procédures statistiques comme l’analyse de puissance,

L’ANSES a également publié des Recommandations pour la mise en œuvre de l’analyse statistique des données issues des études de toxicité sub-chronique de 90 jours chez le rat dans le cadre des demandes d’autorisation de mise sur le marché d’OGM.

Ces nouvelles lignes directrices ne permettront pas de clore le débat de façon définitive, mais elles devraient permettre d’aboutir à l’avenir à un consensus sur les conclusions que l’on peut tirer d’une étude de toxicité.

L’attitude de certains médias

JPEG - 15.9 ko

Cette « une » du Nouvel Obs est emblématique. Elle illustre très bien le besoin toujours accru pour les journaux de publier le plus rapidement possible des sujets les plus médiatiques et vendeurs possible.
On peut le comprendre… mais de là à traiter les OGM comme les seins nus de la princesse d’Angleterre… pfff…
On peut quand même imaginer que le journaliste qui a conçu ce dossier a de solides connaissances scientifiques (je le crois vraiment). D’accord, mais sa culture statistique est-elle à ce point limitée pour ne pas savoir qu’une étude portant sur des groupes de 10 rats a immanquablement des limites ? que le niveau d’incertitude est terriblement élevé dans un tel contexte ?

JPEG - 8.4 ko

Quel raisonnement a-t-il pu suivre pour, à partir d’une étude sur des groupes de 10 rats, portant sur un unique OGM, en déduire que tous les OGM sont des poisons (sous-entendu, pour l’homme) ?

JPEG - 20.7 ko

... faible dose ? ... se révèle ? ... lourdement toxique ? ... souvent mortel ?
Mais sur quelles informations se base-t-il pour énoncer toutes ces affirmations en une seule et même phrase ?

Conclure de la sorte sur des bases aussi fragiles et sans avoir pris la peine de regarder de près les résultats de l’étude, est surréaliste et totalement irresponsable !

Je pense en effet à tous mes collègues scientifiques, et plus particulièrement statisticiens, chercheurs et enseignants, qui, travaillent inlassablement pour publier des articles prônant les bonnes pratiques statistiques, qui transmettent avec patience à leurs étudiants ou élèves la culture de l’environnement incertain. Mais que peuvent-ils penser aujourd’hui ? Quel message faire passer quand de telles contre-vérités peuvent être assénées à la une d’un grand hebdomadaire sans le moindre contrôle ?

De plus, il y a des précédents qui auraient dû alerter ces journalistes : plusieurs travaux de G.E.S avaient déjà été critiqués par la communauté scientifique. Pourquoi ne pas avoir alors pris le temps de s’assurer de la validité des conclusions de l’étude avant de publier ce dossier ?

L’article publié dans Food and Chemical Toxicology n’a été en ligne que le mercredi 19 septembre à 15h00… Le nouvel Obs était en kiosque le lendemain même ! Certains journalistes ont pu recevoir l’article bien avant sa mise en ligne, à la condition de signer un accord de confidentialité… et donc de ne pas le diffuser avant la date fatidique de sortie. De telles pratiques sont inadmissibles lorsque l’on sait pertinemment que des telles études réclament obligatoirement une contre-expertise (voir à ce sujet le billet de Sylvestre Huet ou celui de Pascal Lapointe).

Quelles seront maintenant les conséquences d’un tel battage médiatique ? Un amalgame entre lanceur d’alertes et lanceur d’alertes à la bombe... un amalgame entre véritable scandale et opération politico-médiatique montée de toutes pièces... un amalgame entre journalisme scientifique et journalisme à sensation... un amalgame entre intérêt général et intérêt personnel...

Une chose est sûre en ce qui me concerne... je saurai maintenant à quoi m’en tenir avec les unes du Nouvel Obs !

La crédibilité des scientifiques

Nous sommes confrontés à une situation paradoxale où l’expertise est reconnue comme incontournable par tous pour évaluer les risques sanitaires liés aux OGM, mais où les scientifiques ont énormément de mal à se faire entendre... et à être écoutés !

Il y a ainsi plusieurs choses vraiment frappantes pour un scientifique dans cette histoire :

1) Tout commentaire d’ordre purement scientifique est systématiquement assimilé à une prise de position !

J’en ai moi-même fait l’expérience à plusieurs reprises :

J’ai toujours été critique et intransigeant face à une étude qui prétend démontrer l’absence totale de risques sanitaires liés aux OGM (Le Monde, Les Echos). En effet, la méthodologie statistique mise en œuvre ne permet généralement pas de formuler de conclusions aussi définitives. Pour beaucoup, de telles prises de position « publique » faisaient de moi un anti-OGM !
J’ai, de la même façon, toujours été critique et intransigeant face à une étude qui prétend démontrer l’existence de risque sur la base d’arguments incorrects (Inf’OGM). M’exprimer ouvertement en ce sens m’a alors converti en pro-OGM !
Et bien non… comme la très grande majorité de mes collègues, je ne suis manipulé par aucun mouvement anti-OGM, ni par aucun lobby, et je ne suis financé par aucune industrie des biotechnologies. De la même façon que l’on peut dire en toute indépendance que non ! 2 et 2 ne font pas 5 ! on doit pouvoir affirmer que non ! l’expérimentation réalisée ne permet pas de conclure comme le font les auteurs de l’article.

2) Un avis scientifique argumenté n’a guère plus de poids qu’un commentaire infondé !

Tout d’abord, on ne peut pas indéfiniment continuer à accorder le même crédit scientifique à toute étude sous prétexte qu’elle a été publiée dans une revue scientifique internationale avec comité de lecture. Toute la communauté scientifique sait parfaitement bien que les 2 ou 3 referees en charge d’évaluer un article soumis à publication ne sont pas plus compétents que d’autres et qu’il est fréquent que des articles soient publiés alors qu’ils contiennent des imprécisions, des lacunes, voir des erreurs.
Un article publié ne contient pas que des vérités gravées dans le marbre. On en trouve une illustration particulièrement savoureuse dans le même numéro du même journal où un article de Zhu et al. prétend démontrer l’innocuité d’un maïs OGM tolérant au Glyphosate. On peut ainsi lire dans le résumé « These results indicated that the GM glyphosate-tolerant maize was as safe and nutritious as conventional maize ». Ces deux articles ont suivi le même processus de révision et ont été acceptés tous les deux… Tout le monde peut être satisfait puisqu’on peut, au choix :

  • affirmer que les OGM sont des poisons grâce à l’article de Séralini,
  • affirmer que les OGM sont sans danger grâce à l’article de Zhu.

Cet exemple illustre bien le fait que la crédibilité scientifique d’un article peut et doit être continuellement remise en cause. C’est bien évidemment le rôle d’instances comme le Conseil Scientifique du HCB d’émettre un avis scientifique sur le contenu scientifique de telles études. Mais c’est aussi le rôle de tout scientifique de porter un regard critique sur une étude, même publiée. Lorsqu’il y a une telle controverse, il ne s’agit pas pour la communauté scientifique de distribuer des bons et des mauvais points, de donner raison à l’un et tort à l’autre, mais de faire preuve « d’autorité ». C’est-à-dire rappeler ce que la connaissance scientifique actuelle autorise à dire et écrire.

Dans le cas particulier qui nous intéresse, les très nombreuses faiblesses méthodologiques décrites plus haut sont indiscutables. Aucun statisticien ne peut raisonnablement les réfuter ! Aucun statisticien ne peut justifier rigoureusement les conclusions que l’on trouve dans cet article. Mais qu’importe… certains médias, certains politiques ne s’encombrent visiblement pas de telles considérations pour répéter inlassablement les mêmes contre-vérités.

Plusieurs articles précédents de G.E. Séralini ont été largement médiatisés (sans atteindre le niveau de cet article sur le NK603) mais aussi largement critiqués par la communauté scientifique pour leur manque de rigueur et leurs faiblesses méthodologiques.

Une mémoire bien courte :
Un article de G.E. Séralini paru en 2007 prétendait démontrer la toxicité du maïs MON863.

JPEG - 28.8 ko

Une contre analyse de cette étude a été menée et a clairement montré que cet article comportait plusieurs erreurs (confusion entre effets fixes et effets aléatoires pour analyser les courbes de poids, mauvaise prise en compte de la multiplicité des tests statistiques). Ces erreurs remettent totalement en question les conclusions de l’article qui ne démontre en fait aucun signe de toxicité (je n’affirme pas pour autant que les OGM ne sont pas toxiques : je me contente de dire que l’étude en question ne permet absolument pas de conclure à la toxicité). Ce processus de contre-analyse est tout à fait sain et souhaitable : on peut s’en réjouir et penser que puisqu’il a été démontré que le contenu scientifique de cet article est faux, alors il ne devrait en aucun cas à nouveau être cité pour démontrer une éventuelle toxicité du MON863. Et bien non… certains journaux comme le Nouvel Obs ressortent cette étude 5 ans plus tard sans aucun état d’âme…

JPEG - 22.6 ko

La même histoire recommence 2 ans plus tard avec cette fois-ci un nouvel article qui prétend mettre en évidence la toxicité de 3 maïs OGM. Même scenario : des journaux s’emparent de cette étude, n’hésitant pas à parler de « preuve » et de « démonstration » ( !!!)

JPEG - 22.1 ko

Une contre-expertise réfute dans la foulée les conclusions de cette étude (toujours pour des raisons méthodologiques…)

Malgré ce passif, la nouvelle étude de G.E. Séralini sortie en 2012 a été prise pour argent comptant par la plupart des médias et publiée sans le moindre contrôle, sans la moindre vérification…

JPEG - 8.4 ko

Pas de doute… y’a quelque chose qui cloche là-dedans !

Notes

[1Avant cette période, 30% des mâles contrôlés (3 au total) et 20 % des femelles (seulement 2) sont morts spontanément, tandis que jusqu’à 50 % des mâles et 70 % des femelles sont morts dans certains groupes ayant un régime contenant du maïs GM.

[2- Les résultats de l’étude présentée ici démontrent clairement que de
faibles niveaux de préparations complètes d’herbicide agricole à base
de glyphosate, à des concentrations bien inférieures aux limites de
sécurité fixées officiellement, induisent des troubles
hormono-dépendant sévères d’ordre mammaire, hépatique et rénal.

  • Au final, les perturbations biochimiques significatives et les
    troubles physiologiques présentés dans ce travail confirment les
    effets pathologiques de ces traitements OGM et R pour les deux sexes,
    avec des amplitudes différentes.

[3Les études passées en revue démontrent que les PGM sont
nutritionnellement équivalentes à leur contrepartie non transgéniques
et peuvent être utilisées en toute sécurité.

Partager cet article

Pour citer cet article :

Marc Lavielle — «Y’a quelque chose qui cloche là-dedans !» — Images des Mathématiques, CNRS, 2012

Commentaire sur l'article

  • L’étude a au moins un mérite

    le 29 septembre 2012 à 09:53, par Samuel

    Bonjour,

    Merci pour cet article salvateur. C’est regrettable, mais il faut reconnaître à l’étude de Séralini et al quelques bienfaits :

    1) La production de votre réponse, comme il en fleurit en ce moment beaucoup sur le web
    (Lire par exemple ceci ou ça ou encore ceci (payant), et dans la presse en général, française ou étrangère. Bref, enfin on parle de science dans les médias, et surtout pour rappeler quelques bonnes pratiques scientifiques.

    2) Il est beaucoup plus sexy d’annoncer un résultat que d’annoncer : on ne peut pas conclure. Or toutes les études pro-OGM, financée par des intérêts privés, qui annoncent en fait qu’on ne peut pas conclure, sont converties médiatiquement en : « OGM sans risque ». En face, la riposte scientifique tempérant ces affirmations est inaudible. La riposte de Seralini, avec de mauvaises armes, expose au choix : que les armes scientifiques des pro-OGM sont mauvaises, que les OGM ne sont peut-être pas sans risque, qu’on ne sait finalement pas grand chose. Et cela, de manière très médiatique.

    La contrepartie en terme de crédibilité scientifique est certes lourde. Mais ne faut-il pas passer par ces excès de médiatisation de mauvaise science pour que le grand public prenne conscience du brouillard dans lequel nous sommes sur ces sujets ?

    Répondre à ce message
    • L’étude a au moins un mérite

      le 4 octobre 2012 à 08:36, par Marc Lavielle

      Samuel, vous écrivez « Or toutes les études pro-OGM, financée par des intérêts privés, qui annoncent en fait qu’on ne peut pas conclure, sont converties médiatiquement en : « OGM sans risque » »

      Ce n’est pas tout à fait exact. Comme je le signale dans le § « Autres études, autres conclusions », les différentes études publiées que vous évoquées concluent systématiquement à l’absence de risque (« as safe as »...) plutôt que d’être un peu plus prudent et conclure modestement que l’étude en question n’a pas révélé de signes de toxicité.

      Marc

      Répondre à ce message
      • L’étude a au moins un mérite

        le 4 octobre 2012 à 09:56, par Samuel

        Merci pour cette précision. Ma mauvaise lecture est probablement due au fait que je ne vois pas dans l’absolu quel test on peut faire scientifiquement pour conclure « sans risque ». Il me semble qu’il y a toujours une probabilité de se tromper. Comment dans la pratique décide-t-on d’écrire « sans risque » plutôt que « pas de signe de toxicité détecté » ?

        Répondre à ce message
  • Y’a quelque chose qui cloche là-dedans !

    le 30 septembre 2012 à 08:03, par nonos

    Bonjour,

    oui, il y a quelque chose qui cloche : comment peut-on appeler « contre-expertises » ce qui de toute évidence aurait du être des « expertises » ?

    Expertises que l’on a soigneusement évité de faire alors même qu’elles étaient réclamées depuis des années ...

    Et ces mêmes organismes, qui ont évité de prendre leur responsabilité pendant toutes ces années, crient au loup aujourd’hui ?

    Répondre à ce message
  • Y’a quelque chose qui cloche là-dedans !

    le 3 octobre 2012 à 23:28, par Bruno Sévennec

    Monsieur, pourriez-vous nous expliquer ce qu’est le principe d’équivalence en substance qui dispense les OGM des tests de toxicité ? Son origine légale ? Quel ex-cadre de Monsanto a rédigé la loi correspondante sous le gouvernement Reagan ?
    Qu’est-ce qui cloche, vraiment ?

    Répondre à ce message
  • Y’a quelque chose qui cloche là-dedans !

    le 4 octobre 2012 à 08:40, par Marc Lavielle

    Bonjour,

    Ces questions sont pertinentes dans le cadre d’un débat sur les OGM mais ce n’est absolument pas l’objet de ce billet :
    je ne suis ni biologiste, ni toxicologue, ni écologue, ni juriste pour prétendre être compétent sur ces sujets...

    Marc L

    Répondre à ce message

Laisser un commentaire

Forum sur abonnement

Pour participer à ce forum, vous devez vous enregistrer au préalable. Merci d’indiquer ci-dessous l’identifiant personnel qui vous a été fourni. Si vous n’êtes pas enregistré, vous devez vous inscrire.

Connexions’inscriremot de passe oublié ?

Suivre IDM