RCT, Beobachtungsstudie, Metaanalyse: Studien richtig einordnen
Fast jedes Supplement wird mit "wissenschaftlich belegt" beworben. Das ist selten gelogen und trotzdem fast immer irreführend, weil der Satz nicht sagt, wie stark der Beleg ist. Zwischen einer Zellkulturstudie und einer großen randomisierten Studie liegen mehrere Größenordnungen an Aussagekraft, und der Preis eines Produkts richtet sich fast nie danach.
Du musst keine Statistik studieren, um das einzuordnen. Es reichen ein paar Fragen, die du in wenigen Minuten an jede Studie oder jede Produktseite stellen kannst. Dieser Artikel zeigt sie dir.
Die Evidenzpyramide: Wer darf was behaupten
Studientypen unterscheiden sich nicht in "gut" und "schlecht", sondern darin, welche Art von Aussage sie tragen können. Eine Beobachtungsstudie kann einen Zusammenhang finden. Ob dieser Zusammenhang ursächlich ist, kann sie nicht klären.
| Studientyp | Was gemessen wird | Kann sie Ursache zeigen? | Typische Schwäche |
|---|---|---|---|
| Zell- und Tierstudie | Mechanismus im Labor oder im Tier | nein | Übertragbarkeit auf den Menschen ist historisch schlecht |
| Fallbericht / Fallserie | Einzelne Verläufe | nein | Kein Vergleich, keine Kontrolle |
| Querschnittsstudie | Momentaufnahme in einer Gruppe | nein | Ursache und Wirkung nicht unterscheidbar |
| Kohorten-/Beobachtungsstudie | Zusammenhänge über Zeit | nein, nur Hinweise | Confounding, gesunde Nutzer verzerren das Bild |
| Randomisierte kontrollierte Studie (RCT) | Effekt einer Intervention | ja, im Rahmen ihrer Größe | Oft klein, kurz, an selektierten Personen |
| Systematisches Review / Metaanalyse | Zusammenfassung mehrerer Studien | nur so gut wie die eingeschlossenen Studien | Schlechte Einzelstudien bleiben auch zusammengefasst schlecht |
Die wichtigste praktische Regel daraus: Wenn eine Werbeaussage über einen konkreten Nutzen spricht ("senkt", "verbessert", "verlangsamt") und die zugrunde liegende Studie eine Beobachtungsstudie oder ein Tierversuch ist, dann geht die Aussage über die Daten hinaus.
Warum Metaanalysen nicht automatisch oben stehen
Metaanalysen gelten als Spitze der Pyramide, sind aber nur so belastbar wie ihr Material. Wenn zwanzig kleine, methodisch schwache Studien zusammengerechnet werden, entsteht daraus keine starke Evidenz, sondern eine präzise wirkende Zahl auf schwacher Grundlage. Achte darauf, ob die Metaanalyse die Qualität der Einzelstudien bewertet hat, ob große Studien und kleine Studien in dieselbe Richtung zeigen und ob auf Publikationsbias geprüft wurde.
Confounding: Der häufigste Grund für falsche Schlagzeilen
Menschen, die Nahrungsergänzungsmittel nehmen, unterscheiden sich systematisch von Menschen, die keine nehmen. Sie rauchen im Schnitt seltener, bewegen sich mehr, haben häufiger höhere Bildung und gehen regelmäßiger zum Arzt. Dieser Effekt hat einen Namen: Healthy-User-Bias. Er sorgt dafür, dass in Beobachtungsdaten fast jedes Supplement gut aussieht.
Die Wissenschaftsgeschichte hat dafür eindrückliche Beispiele, in denen randomisierte Studien den Beobachtungsbefund nicht nur relativierten, sondern umkehrten:
- Beta-Carotin: Beobachtungsdaten legten einen Schutz vor Lungenkrebs nahe. Die randomisierten Studien ATBC (1994) und CARET (1996) fanden bei Rauchern eine erhöhte Lungenkrebsrate unter Beta-Carotin. CARET wurde vorzeitig abgebrochen.
- Vitamin E: Beobachtungsstudien deuteten auf kardiovaskulären Schutz. In großen RCTs wie HOPE und der SELECT-Studie zeigte sich kein Nutzen, in SELECT ein erhöhtes Prostatakrebsrisiko.
- Hormonersatztherapie: Kohortendaten sprachen für einen Herzschutz, die randomisierte Women's Health Initiative (2002) fand für den untersuchten Arm ein anderes Risikoprofil und veränderte die Praxis grundlegend.
Diese Fälle sind der Grund, warum Fachleute bei Beobachtungsdaten zurückhaltend sind. Sie sind nicht wertlos, sie erzeugen Hypothesen. Aber sie ersetzen keinen Test.
Relatives und absolutes Risiko: Der wichtigste Zahlentrick
Das ist der Punkt, der beim Lesen am meisten bringt. Angenommen, eine Studie berichtet: "Risiko um 50 Prozent reduziert." Das kann bedeuten:
- Von 2 von 100 Personen auf 1 von 100. Absolute Reduktion: 1 Prozentpunkt.
- Von 2 von 10.000 auf 1 von 10.000. Absolute Reduktion: 0,01 Prozentpunkte.
Beides ist "50 Prozent weniger". Der praktische Unterschied ist enorm. Werbung nennt fast immer die relative Zahl, weil sie größer klingt.
Eine nützliche Ergänzung ist die Number Needed to Treat (NNT): Wie viele Menschen müssen die Substanz einnehmen, damit ein einziger davon profitiert? Bei einer absoluten Reduktion von 1 Prozentpunkt sind das 100 Personen. Bei 0,01 Prozentpunkten sind es 10.000. Wenn eine Quelle die absoluten Zahlen nicht nennt, fehlt dir die entscheidende Information.
Konfidenzintervall statt p-Wert
Der p-Wert sagt dir nur, wie unwahrscheinlich ein Ergebnis unter der Annahme wäre, dass es keinen Effekt gibt. Er sagt nichts über die Größe des Effekts. Das Konfidenzintervall dagegen zeigt dir die Spannbreite plausibler Werte. Ein Ergebnis mit einem Intervall von "2 bis 40 Prozent Reduktion" ist statistisch signifikant und praktisch trotzdem kaum interpretierbar, weil das untere Ende bedeutungslos wäre.
p-Hacking, Endpunkt-Wechsel und andere stille Fehler
Eine Studie mit zwanzig gemessenen Endpunkten findet mit hoher Wahrscheinlichkeit mindestens einen "signifikanten" Zusammenhang, selbst wenn die Substanz nichts tut. Das ist kein Betrug, sondern Statistik. Problematisch wird es, wenn anschließend nur dieser eine Endpunkt kommuniziert wird.
Worauf du achten kannst:
- Präregistrierung: War der primäre Endpunkt vorher festgelegt, etwa in einem Studienregister? Seriöse Publikationen benennen den primären Endpunkt eindeutig.
- Primär oder sekundär: Wurde der beworbene Effekt am primären Endpunkt gemessen oder ist er ein sekundärer Befund? Sekundäre Befunde sind Hypothesen für die nächste Studie, keine Belege.
- Subgruppen: "Wirkte besonders gut bei Frauen über 60" ist ein klassisches Warnsignal, wenn der Gesamteffekt neutral war.
- Fallzahl und Dauer: Eine Studie mit 20 Teilnehmern über vier Wochen kann Sicherheit und Machbarkeit prüfen, aber keinen Alterungseffekt.
- Abbrecher: Wenn ein großer Teil der Teilnehmer die Studie verlässt, kann das Ergebnis allein daraus entstehen, wer geblieben ist.
Surrogatendpunkte: Wenn der Marker nicht das Ziel ist
Ein Surrogatendpunkt ist ein Messwert, der stellvertretend für das eigentliche Ziel steht: NAD⁺-Spiegel statt Lebensdauer, Telomerlänge statt Gesundheit, ein Entzündungsmarker statt Krankheitsereignissen. Surrogate sind praktisch, weil man sie schnell und günstig messen kann. Sie sind aber nur dann aussagekräftig, wenn die Verbindung zum echten Endpunkt belegt ist.
Die Medizin kennt gut dokumentierte Fälle, in denen dieser Schritt schiefging. Das Medikament Torcetrapib hob in der ILLUMINATE-Studie (2007) den HDL-Wert deutlich an, also genau den Marker, auf den man gezielt hatte, und erhöhte trotzdem die Sterblichkeit. In der CAST-Studie unterdrückten Antiarrhythmika erfolgreich Rhythmusstörungen und erhöhten dennoch die Mortalität.
Für Longevity-Produkte ist das besonders relevant, weil dort fast ausschließlich mit Surrogaten argumentiert wird. Ein erhöhter NAD⁺-Spiegel im Blut ist ein Beleg dafür, dass die Substanz aufgenommen wird. Er ist kein Beleg dafür, dass dir das nützt.
Biologisches Alter aus dem Testkit
Epigenetische Altersuhren sind wissenschaftlich interessant, aber ihre Messgenauigkeit für Einzelpersonen ist begrenzt, und dass eine Intervention die geschätzte Zahl senkt, bedeutet nicht, dass sie das Altern verlangsamt. Bewerte solche Ergebnisse wie jeden anderen Surrogatmarker.
Interessenkonflikte und Finanzierung
Industriefinanzierung macht eine Studie nicht automatisch falsch. Viele große, methodisch saubere Studien werden von Herstellern bezahlt, weil sonst niemand sie bezahlen würde. Empirisch zeigen von der Industrie finanzierte Studien aber im Schnitt häufiger herstellerfreundliche Ergebnisse als unabhängig finanzierte, unter anderem durch Studiendesign, Wahl des Vergleichs und Publikationsentscheidungen.
Praktisch heißt das: Interessenkonflikte sind ein Grund für genaueres Hinsehen, nicht für automatisches Verwerfen. Achte darauf, ob die Finanzierung offengelegt ist, wer die Daten ausgewertet hat und ob es unabhängige Replikationen gibt. Eine Aussage, die nur auf herstellerfinanzierten Studien beruht und nie unabhängig bestätigt wurde, ist schwächer belegt, als die Anzahl der Studien vermuten lässt.
Die Fünf-Minuten-Prüfung
Wenn du wenig Zeit hast, arbeite diese Punkte in dieser Reihenfolge ab:
- Mensch oder Tier? Tierdaten beenden die Prüfung hier. Sie sind eine Hypothese.
- Randomisiert oder beobachtend? Ohne Randomisierung keine Ursachenaussage.
- Wie viele Teilnehmer, wie lange? Kleine, kurze Studien können keine langfristigen Endpunkte zeigen.
- Primärer Endpunkt getroffen? Oder wird ein sekundäres Ergebnis beworben?
- Echter Endpunkt oder Surrogat? Blutwert oder Krankheitsereignis?
- Absolute Zahlen genannt? Ohne sie kannst du die Größe des Effekts nicht beurteilen.
- Wer hat bezahlt, gibt es unabhängige Replikation?
Diese Liste beantwortet nicht, ob eine Substanz wirkt. Sie beantwortet, wie sicher man sich sein kann. Und genau das ist die Information, die beim Preisvergleich fehlt.
Was das für Kaufentscheidungen bedeutet
Ein fairer Preisvergleich braucht zwei Achsen. Die erste ist der Preis pro Tagesdosis bei gleicher Wirkstoffmenge, denn dort entstehen die größten vermeidbaren Kosten. Die zweite ist die Belegqualität der Substanz selbst.
Beide Fragen sind unabhängig voneinander. Du kannst das günstigste Angebot für eine schwach belegte Substanz finden und trotzdem Geld für eine Hypothese ausgeben. Umgekehrt kannst du für eine gut belegte Standardsubstanz das Dreifache zahlen, ohne einen Gegenwert zu erhalten. Wer beide Fragen trennt, trifft bessere Entscheidungen als jemand, der nur auf den Preis oder nur auf die Studienlage schaut.
Ein einfacher Filter zum Schluss: Je größer das Versprechen, desto stärker sollte die Evidenz sein. Wenn ein Produkt mit Lebensverlängerung wirbt, aber nur eine kleine Studie über acht Wochen an einem Blutmarker vorweisen kann, dann stimmt das Verhältnis nicht.
Fazit
Studien einzuordnen ist keine Frage von Fachwissen, sondern von wenigen konsequent gestellten Fragen: Mensch oder Tier, randomisiert oder beobachtend, primärer Endpunkt oder Nebenbefund, echter Endpunkt oder Surrogat, relative oder absolute Zahlen. Beobachtungsdaten erzeugen Hypothesen, randomisierte Studien prüfen sie, und die Geschichte von Beta-Carotin und Vitamin E zeigt, dass diese Prüfung manchmal das Gegenteil ergibt.
Wer diese Prüfung gewohnheitsmäßig durchführt, erkennt schnell, dass ein großer Teil der Longevity-Werbung auf der schwächsten Ebene der Evidenzpyramide steht, während die Preise am oberen Ende liegen.
Wir wenden genau diese Kriterien auf jeden Wirkstoff im Katalog an — wie, steht auf der Methodik-Seite. Der Unterschied lässt sich an zwei Beispielen ablesen: Für Kreatin gibt es zahlreiche randomisierte Studien und Meta-Analysen, für Spermidin im Wesentlichen Beobachtungsdaten und kleine Interventionsstudien.
Hinweis
Dieser Artikel dient der allgemeinen Information und ersetzt keine medizinische Beratung, Diagnose oder Behandlung. Die genannten Studien dienen als Beispiele für Methodik und sind keine Empfehlung für oder gegen ein bestimmtes Präparat. Wenn du Vorerkrankungen hast, regelmäßig Medikamente einnimmst, schwanger bist oder stillst, besprich Entscheidungen über Nahrungsergänzungsmittel oder Therapien mit deiner Ärztin oder deinem Arzt und setze verordnete Medikamente nicht eigenmächtig ab.