Eine epidemiologische Studie bringt mehr als nur einen Bissen neue Erkenntnisse. Die Forschenden beweisen, dass die Analyse einer Beobachtungstudie abhängig von der gewählten statistischen Variante zu stark unterschiedlichen, sich gar widersprechenden Resultaten führen kann. Sie zeigen damit den geringen Erkenntnisgewinn durch gängige Ernährungsstudien auf. Darüber hinaus impliziert die Studie, dass der Wert von Beobachtungstudien in der Medizin hinterfragt werden muss.

Hintergrund

Vor einigen Jahren hat das British Medical Journal (BMJ) in seiner berühmten Weihnachtsausgabe eine Vielzahl von Studien zu Nahrungsmitteln zusammengestellt, die während eines Jahres in grossen Fachzeitschriften publik gemacht wurden und die diametral unterschiedliche Effekte des gleichen Nahrungsmittels auf die Gesundheit nachwiesen. Im Editorial wurden die Resultate dieser epidemiologischen Beobachtungsstudien als wertlos taxiert, und es wurde augenzwinkernd vorgeschlagen, alle epidemiologischen Institute zu schliessen und stattdessen das Geld in randomisierte Studien zu investieren. Leider sind randomisierte, kontrollierte Ernährungsstudien über mehrere Jahre hinweg praktisch nicht durchführbar. Es bleiben nur Beobachtungsstudien mit ihren Limitationen, wobei der Selektionsbias die wichtigste Limitation darstellt. Wenn wir zum Beispiel eine Menschengruppe, die rotes Fleisch isst, mit einer Menschengruppe vergleichen, die kein rotes Fleisch isst, können sich diese Gruppen in bedeutsamer Weise unterscheiden. Diese Unterschiede und nicht das zu untersuchende Nahrungsmittel bestimmen das Ergebnis (Selektionsbias). Weitere Limitationen sind mögliche ungenaue oder unvollständige Daten (Informationsbias), unkontrollierbare Störfaktoren (confounding factors), eine Variabilität der Nahrungsaufnahme sowie Untersuchungen in geografisch verschiedenen Populationen. Eine wegweisende Studie aus Kanada hat nun gezeigt, dass diametral widersprechende Studienresultate allein durch die unterschiedliche Wahl der statistischen Methode entstehen können (1).

Ausgangspunkt für die Beobachtung war eine umfassende Meta-Analyse von 61 Arbeiten, die den Effekt auf die Gesundheit durch die Reduktion oder den Verzicht auf rotes Fleisch bei insgesamt über 4 Millionen Teilnehmern untersuchten (2). Die Autoren kamen zum Schluss, dass keine sichere Empfehlung für oder gegen die Einnahme von rotem Fleisch abgegeben werden kann. Denn in den Studien fand sich in etwa der Hälfte Evidenz, dass rotes Fleisch gesund ist, und in der anderen Hälfte, dass rotes Fleisch ungesund ist. Auffällig war, dass in den 61 Studien 70 verschiedene Varianten von statistischen Analysen angewendet worden waren. Ob eine Variante zuverlässiger oder korrekter ist, kann nicht festgestellt werden.

Methode der Spezifikationsanalyse

Die Forscher haben daraufhin überlegt, wie viele Varianten oder Spezifikationen der statistischen Analyse überhaupt möglich sind. Die Zahl ist sehr, sehr gross. Denn die Statistiker wählen eine von vielen möglichen statistischen Berechnungsmethoden (z. B. logistisch, Poisson etc.) und eine Auswahl von Kovariaten. Die Kovariaten fliessen unterschiedlich in die Berechnung ein. So können das Alter, die Menge des Fleischkonsums etc. linear oder in Kategorien eingefügt werden. Kovariaten können einbezogen oder weggelassen werden. Jede Variation potenziert die Anzahl der Varianten. Die Autoren haben nun untersucht, ob es nicht sinnvoll wäre, die Daten nicht nur mit einer, sondern mit allen möglichen, d. h. tausenden von Varianten zu analysieren, um der Wahrheit näher zu kommen. Genau das haben sie dann gemacht. Sie bestimmten 1200 Varianten (oder Spezifikationen), die in epidemiologischen Studien schon verwendet worden waren. Die NHANES-Kohortenstudie wurde mit all diesen 1200 Spezifikationen durchgerechnet. Die statistischen Berechnungen waren also 1200-mal so aufwändig wie für eine normale epidemiologische Arbeit. Die Methode nannten die Autoren Spezifikationskurvenanalyse.

Resultate

Wie üblich ergab jede Berechnung eine Hazard Ratio (HR) für den Zusammenhang zwischen dem Verzehr von rotem Fleisch und der Mortalität. Die Spannbreite dieser HR war gross. Sie reichte von 0,51, d. h. einer 49 %igen Reduktion des Risikos für eine frühe Mortalität, bis zu einer HR von 1,75, d. h. einem erhöhten Risiko von 75 % für die Mortalität durch den Genuss von rotem Fleisch. Die HR lag in 36 % über 1,0 und in 64 % unter 1,0. Die mediane HR betrug 0,94 (IQR, 0,83–1,05) und war nicht signifikant. Am eindrücklichsten war, dass nur 48 von 1200 Analysen (4 %) ein statistisch signifikantes Resultat (p < 0,05) ergaben. Vierzig Analysen zeigten einen Überlebensvorteil durch den Konsum von rotem Fleisch, und acht eine erhöhte Mortalität. Die einzig mögliche Interpretation dieser Ergebnisse ist, dass rotes Fleisch keinen Einfluss auf die Sterblichkeit hat.

Bedeutung der Studie

Warum ist die Studie so bedeutend? Die Autoren gaben der Arbeit den Titel «Grilling the Data». Das ist genau das, was bei vielen Beobachtungsstudien passiert. Forscher können ihre Daten nicht publizieren, wenn die Resultate nicht statistisch signifikant sind (Publikationsbias!). Es wird daher mit den Daten gespielt; sie werden «gegrillt», bis eine Signifikanz gefunden ist und die Studie publizierbar ist. Noch prominenter lassen sich Arbeiten publizieren, deren Resultate dem jeweiligen Zeitgeist entsprechen. Es ist offensichtlich, dass Daten gegrillt werden können, bis das gewünschte Ergebnis gefunden ist. Mit der Methode der Spezifikationskurvenanalyse wäre die Gefahr einer Falschinterpretation oder eines manipulierten Ergebnisses deutlich geringer. Sicherlich würden sich auch viele signifikante Assoziationen als nicht haltbar erweisen. Dies würde gerade bei Ernährungsstudien viel Klarheit bringen.

Diese Arbeit lehrt uns ausserdem, dass Beobachtungsstudien, wie schon die Editoren des BMJ erkannt haben, ziemlich wertlose Erkenntnisse liefern. Wenn wir bedenken, wie viele gängige Behandlungsempfehlungen auf Beobachtungsstudien beruhen, dann müssen wir bescheiden werden. Es scheint, dass wir beim Wissen aus Beobachtungsstudien nur vom «gegenwärtigen Stand des Irrtums» sprechen können. Wir dürfen uns nicht wundern, wenn fest verankerte Wahrheiten sich plötzlich ins Gegenteil kehren.