Wie wir bewerten

Was wir bewerten — und was nicht

Wir bewerten die Studienlage zu einem Wirkstoff, nicht einzelne Produkte. Ob eine bestimmte Kapsel gut ist, sagen wir nicht; wir sagen, was zu dem Stoff darin untersucht wurde und wie belastbar diese Untersuchungen sind.

Wir sprechen keine Empfehlungen aus und ersetzen keine ärztliche Beratung. Preise stammen unverändert aus den Shops und werden täglich neu gelesen; für den Kauf gilt der Preis im Shop.

Unsere Einstufung ist eine redaktionelle Entscheidung nach offengelegten Kriterien — keine Messung. Das gilt auch für die Regel weiter unten: Sie macht die Entscheidung nachvollziehbar und nachrechenbar, aber sie macht sie nicht objektiv.

Die vier Stufen je Wirkstoff

Das Etikett auf jeder Wirkstoffseite — Studienlage umfangreich, Studienlage begrenzt, Studienlage unzureichend oder Ohne belegten Nutzen — folgt einer Regel, die aus den hinterlegten Studien rechnet. Als Beleg zählt eine Studie nur, wenn alle vier Bedingungen erfüllt sind:

  • Sie ist randomisiert gestützt: eine randomisierte kontrollierte Studie, eine Meta-Analyse oder ein systematisches Review. Kohortenstudien, Fallberichte und sonstige Arbeiten zählen nie.
  • Ihre Aussagekraft ist mindestens „gering“ — Studien mit „sehr gering“ zählen nicht.
  • Sie hat einen stützenden Befund. Studien, die keinen Unterschied fanden, zählen nicht als Beleg.
  • Sie lief nicht an einer Patientengruppe. Evidenz aus einer diagnostizierten Erkrankung oder einer arzneilichen Anwendung überträgt sich nicht auf gesunde Erwachsene.

Daraus ergibt sich die Stufe:

  • Studienlage umfangreich: Es gibt mindestens eine Meta-Analyse oder ein systematisches Review mit hoher oder mittlerer Aussagekraft, die einen spürbaren Endpunkt an gesunden Erwachsenen misst.
  • Studienlage begrenzt: Es gibt eine Meta-Analyse oder ein systematisches Review mit hoher oder mittlerer Aussagekraft und spürbarem Endpunkt — auch an einer engeren Gruppe. Oder es gibt mindestens eine zählende Quelle an gesunden Erwachsenen.
  • Studienlage unzureichend: alles andere, sofern die Ausnahme unten nicht greift.
  • Ohne belegten Nutzen: siehe die Ausnahme unten.

Eine Ausnahme geht allem vor: Findet eine Meta-Analyse oder ein systematisches Review mit hoher oder mittlerer Aussagekraft keinen Unterschied — oder spricht der Befund gegen den Wirkstoff —, lautet die Stufe „Ohne belegten Nutzen“ — unabhängig davon, wie viele Einzelstudien stützen. Eine Zusammenfassung vieler Studien wiegt schwerer als verstreute positive Einzelbefunde.

Diese Ausnahme spiegelt die vierte Bedingung von oben: Lief die Arbeit ohne Unterschied ausschließlich an einer Patientengruppe und maß dabei nur einen Laborwert, greift sie nicht. Was nicht für einen Wirkstoff zählen darf, darf auch nicht ohne Weiteres gegen ihn zählen. Maß sie dagegen einen spürbaren Endpunkt, greift sie auch an Kranken: Wo eine Wirkung am ehesten sichtbar würde und trotzdem nichts passiert, ist das aussagekräftig.

Studienlage unzureichend und Ohne belegten Nutzen sagen ausdrücklich Verschiedenes. Das eine heißt: Wir wissen es nicht. Das andere heißt: Es wurde nachgesehen und nichts gefunden.

Wenn unsere Einstufung von der Regel abweicht

Eine Regel bildet nicht jeden Fall ab. Weicht unsere Einstufung von ihr ab, steht das auf der Wirkstoffseite unter dem Etikett — mit beiden Stufen und der Begründung. Ohne Begründung lassen wir eine Abweichung technisch gar nicht erst zu.

Zwei Beispiele aus dem laufenden Katalog: Bei NAC rechnet die Regel „Studienlage begrenzt“, wir stufen „Zu wenig untersucht“ ein, weil die tragenden Studien aus der arzneilichen Anwendung stammen. Bei NR rechnet die Regel ebenfalls „Studienlage begrenzt“, wir stufen „Studienlage unzureichend“ ein, weil die einzige zählende Studie den NAD-Spiegel misst — einen Laborwert, keine spürbare Wirkung.

Die Aussagekraft je Studie

In der Studienliste steht hinter jeder Arbeit eine Aussagekraft: hoch, mittel, gering oder sehr gering. Sie folgt dem GRADE-Schema und richtet sich nach der Studienlage, nicht nach dem Ansehen der Zeitschrift.

Ein Körper randomisierter Studien beginnt bei „hoch“, Beobachtungsdaten beginnen bei „gering“. Von dort ziehen wir für jeden Mangel eine Stufe ab:

  • Verzerrungsrisiko — fehlende Verblindung, hohe Abbrecherquote, herstellergesponserte Prüfung genau des eigenen Produkts
  • Inkonsistenz — der Effekt tritt in einer Dosisgruppe auf, in der höheren nicht; widersprüchliche Einzelstudien
  • Indirektheit — ein Laborwert statt eines spürbaren Endpunkts, oder eine Gruppe, die nicht zur Leserschaft passt
  • Unpräzision — kleine Teilnehmerzahl, das Konfidenzintervall streift die Null
  • Publikationsbias — auffällig viele kleine positive Studien, keine negativen

Aufwerten können wir nur Beobachtungsdaten, und nur bei sehr großem Effekt, klarer Dosis-Wirkungs-Beziehung oder wenn plausible Störgrößen den Effekt eher unterschätzen.

Was die Kennzeichnungen bedeuten

  • Beobachtungsdaten — die Studie zeigt einen Zusammenhang. Ob er ursächlich ist, kann sie nicht klären.
  • Tier- oder Zellstudie — nicht am Menschen untersucht. Die Übertragbarkeit ist historisch schlecht.
  • kein Unterschied gefunden — die Studie wurde sauber durchgeführt und fand keinen Effekt. Sie steht bewusst in der Liste.
  • spricht dagegen — der Befund läuft der erhofften Wirkung entgegen oder dokumentiert einen Schaden.
  • Patientengruppe — untersucht wurden Menschen mit einer Diagnose oder unter arzneilicher Anwendung.
  • enge Gruppe — etwa nur ein Geschlecht, nur Kinder oder nur Hochbetagte.
  • Ersatzgröße — gemessen wurde ein Laborwert, der für einen Nutzen stehen soll, nicht der Nutzen selbst.

Wir zeigen höchstens drei dieser Etiketten je Studie. Treffen mehr zu, stehen die folgenreichsten vorn.

Wie wir Preisverläufe berechnen

  • Wir erfassen jeden Morgen den Preis jedes Angebots und rechnen ihn in den Preis pro Tagesdosis um.
  • Die Tagesdosis ist eine feste Vergleichsgröße je Wirkstoff, keine Verzehrempfehlung. Wir orientieren uns an der Menge, an die eine zugelassene Angabe gebunden ist, oder an gängigen Studiendosen. Einzelne Produkte können niedrigere Höchstmengen haben, etwa Algenöl je nach Algenstamm. Maßgeblich ist immer die Angabe auf der Packung.
  • Der Bestpreis eines Tages ist das günstigste lieferbare Angebot. Die Fläche darüber reicht bis zum Median aller lieferbaren Angebote — sie zeigt, was man typischerweise zahlt. Sie erscheint erst ab drei Angeboten.
  • Konnten wir einen Preis an einem Tag nicht abrufen, gilt der zuletzt bekannte — das ist der Preis, den die Seite an diesem Tag angezeigt hat. Nicht lieferbare Angebote zählen an diesem Tag nicht mit.
  • Neue Angebote fließen ab ihrem ersten erfassten Preis ein, entfernte Angebote samt ihrem Verlauf nicht mehr.

Unsere redaktionellen Regeln

  • Jede Aussage über eine Wirkung trägt eine Fußnote zur Quelle. Kein Satz über einen Effekt ohne Beleg.
  • Keine Krankheitsbezüge. Nahrungsergänzungsmittel dürfen weder heilen noch behandeln noch vorbeugen. Wir schreiben über das, was untersucht wurde — nicht über das, was ein Stoff bewirkt.
  • Beobachtete Zusammenhänge werden im Text als solche benannt, nicht als Ursache dargestellt.
  • Tier- und Zellstudien werden im Text als solche gekennzeichnet.
  • Wir schreiben „untersuchte Dosis“, nie „empfohlene Dosis“.
  • Jeder Wirkstofftext hat einen Pflichtabschnitt Was die Studien nicht zeigen. Er ist der Grund, dem Rest zu glauben.
  • Quellen werden vor der Veröffentlichung am Original geprüft, nicht aus zweiter Hand zitiert.
  • Gesundheitsbezogene Aussagen machen wir nur in dem Wortlaut, den die EU für einen Stoff zugelassen hat, und mit der Menge, an die diese Zulassung geknüpft ist. Für Pflanzenstoffe ist bislang keine solche Aussage zugelassen; dort berichten wir nur, was untersucht wurde.
  • Stoffe, die in der EU nicht als Lebensmittel zugelassen sind (nicht zugelassene neuartige Lebensmittel), führen wir nicht im Preisvergleich.

Was das Etikett sagt — und was nicht

Das Etikett beschreibt, wie umfangreich und belastbar die Studienlage zu einem Wirkstoff ist. Es ist keine Aussage darüber, dass ein Stoff oder ein Produkt wirkt. Bei Vitaminen und Mineralstoffen sind die Grundfunktionen im Körper gut bekannt und teils als EU-Angaben zugelassen; das Etikett bezieht sich dort auf die darüber hinaus untersuchten Fragen, nicht auf diese Grundfunktionen.

Wie wir Geld verdienen und welche Shops wir erfassen

Die Links „Zum Angebot“ sind Werbelinks. Kaufst du darüber, erhalten wir von teilnehmenden Shops eine Provision; für dich ändert sich der Preis nicht. Wir erfassen nicht den gesamten Markt, sondern eine Auswahl von Shops, die nach Deutschland liefern und deren Preise wir regelmäßig automatisch lesen können.

Die Reihenfolge der Angebote richtet sich allein nach dem Preis pro Tagesdosis. Ob und in welcher Höhe ein Shop Provision zahlt, beeinflusst weder die Reihenfolge noch die Einstufung der Studienlage. Der günstigste Preis wird ohne Versandkosten ermittelt; maßgeblich ist der Preis im Shop.