Hinweise zum Verständnis und zur Bewertung von Metaanalysen

Die Zahl wissenschaftlicher Veröffentlichungen nimmt jedes Jahr stark zu. Um Ärzten, Klinikern und Wissenschaftlern zu ermöglichen, sich zu einem Themengebiet rasch und umfassend zu informieren, werden Studien in Übersichtsarbeiten zusammengestellt. Eine Metaanalyse ist ein statistisches Verfahren, um in einer systematischen Übersichtsarbeit die Ergebnisse mehrerer Studien, die die gleiche Frage bearbeiten, quantitativ zu einem Gesamtergebnis zusammenzufassen und dadurch die Aussagekraft gegenüber den Einzelstudien zu erhöhen (1). Metaanalysen werden zunehmend in systematischen Übersichtsarbeiten eingesetzt. Allerdings beinhaltet nicht jede systematische Übersichtsarbeit eine Metaanalyse (2).

In jeder kontrollierten klinischen Studie wird der Therapieeffekt mittels einer Maßzahl geschätzt, bei binären Zielgrößen beispielsweise häufig als Relatives Risiko oder Odds Ratio. In einer Metaanalyse wird aus den Ergebnissen der Einzelstudien, die nach ihrem Informationsgehalt gewichtet werden, ein gemeinsamer Schätzer berechnet. Dazu werden verschiedene statistische Methoden verwendet, wie z.B. das Modell fester Effekte (englisch: „fixed effect model“) oder das Modell zufallsbedingter Effekte („random effects model“). Sie unterscheiden sich durch unterschiedliche Annahmen zu den Unterschieden der Therapieeffekte. Die angewendete Methode sollte in der Publikation benannt und begründet werden (2).

Meist werden die Effektschätzer der Einzelstudien und des gepoolten Schätzers in einem Forest plot graphisch dargestellt (vgl. Abb. 1). Der Effektschätzer jeder Einzelstudie wird häufig als Quadrat repräsentiert mit Vertrauensintervallen, die durch horizontale Linien dargestellt werden. Pfeile zeigen an, dass das Konfidenzintervall größer ist, als im Diagramm dargestellt werden kann. Je größer die Fläche der Effektschätzer der Einzelstudie ist, desto größer ist das Gewicht der Studie, das u.a. auf der Studiengröße beruht. Ein kleines Quadrat mit einer langen horizontalen Linie bedeutet weniger Ergebnissicherheit als ein großes Quadrat mit einer kurzen Linie. Die gepoolten Effektschätzer werden meist in Form eine Raute dargestellt, deren seitliche Ecken das Konfidenzintervall anzeigen. Mit jeder Studie, die dem Forest plot hinzugefügt wird, kommen diese Ecken näher zusammen. Die Raute bewegt sich nach rechts oder links, wenn das Ergebnis einer Studie den gepoolten Schätzer in eine Richtung verschiebt. Eine vertikale Linie in der Mitte des Forest plot zeigt an, wo kein Effekt besteht. Wenn ein Schätzer oder Konfidenzintervall diese Linie berührt oder kreuzt, ist das Ergebnis statistisch nicht signifikant.

Zu möglichen Problemen von Metaanalysen gehören die Vermengung heterogener Daten (Äpfel-Birnen-Problem), die Nichtberücksichtigung unveröffentlichter Studien mit negativen und nicht signifikanten Ergebnissen (Schubladenproblem oder Publikationsbias) sowie die Aufnahme methodisch schlechter Studien, deren Qualität sich auf das Ergebnis der Metaanalyse überträgt („Garbage-in-Garbage-out“-Problem). Um zu prüfen, ob sich die Ergebnisse der einzelnen Studien sinnvoll zusammenfassen lassen, werden statistische Heterogenitätsmaßzahlen errechnet, wie beispielweise I². Diese Größe misst den Anteil der Gesamtstreuung, der auf systematischen Unterschieden zwischen den Studien und nicht auf Zufall basiert (I² = 0%: keine; I² = 75%: hohe Heterogenität). Ein möglicher Publikationsbias kann graphisch durch eine Trichtergraphik (Funnel-Plot) abgeschätzt werden. Zur standardisierten Bewertung der Qualität und des Verzerrungsrisikos von klinischen Studien wurden eine Vielzahl von Instrumenten entwickelt (3).

Diese Instrumente erfassen allerdings nicht absichtliche Fälschungen. Publikationen mit nachweislich gefälschten Studienergebnissen werden häufig nicht korrigiert oder nicht zurückgezogen (4). Am Beispiel von Apixaban (Eliquis^®) haben Craig Garmendia und Kollegen dargestellt, wie der Einschluss von Publikationen mit gefälschten Studiendaten Metaanalysen beeinflussen kann (5, vgl. 6). Bei der Durchführung der Zulassungsstudie von Apixaban (ARISTOTLE; 7) hatte die US-amerikanische Arzneimittelbehörde (FDA) in einem chinesischem Studienzentrum Unregelmäßigkeiten aufgedeckt: Beispielsweise erhielten Teilnehmer die falsche Medikation oder Dosierung, schwere Nebenwirkungen wurden nicht dokumentiert und Unterlagen geändert. Eine Untersuchung aus dem Jahr 2015 zeigte, dass diese Erkenntnisse in 7 Publikationen zur ARISTOTLE-Studie nicht berücksichtigt wurden (4). Garmendia und Kollegen suchten nun systematisch nach Metaanalysen, die mindestens eine Veröffentlichung zur ARISTOTLE-Studie mit gefälschten Daten enthielt. Eingeschlossen wurden 22 Metaanalysen, die auf durchschnittlich 9 Publikationen beruhten. In den Metaanalysen lag das mediane Gewicht der Publikation mit gefälschten Daten bei 37,3% (Spannweite 7%-100%). Bei Reanalysen der 22 Metaanalysen zeigte sich, dass bei fast der Hälfte (10/22, 46%) die Schlussfolgerungen durch den Einschluss der Publikationen mit den gefälschten Daten stark beeinflusst waren. Aus 32 von 99 Reanalysen resultierten Ergebnisse, die die Schlussfolgerungen veränderten. Bei 31 zeigte sich für Apixaban im Vergleich zu dem Vitamin-K-Antagonisten Warfarin sogar kein Vorteil mehr.

Um die Qualität systematischer Übersichtsarbeiten und Metaanalysen etwas schneller und einfacher einzuschätzen, schlägt die Gesundheitswissenschaftlerin Hilda Bastian in ihrem Blog 5 Fragen vor (8):

1. Gibt es in der Übersichtsarbeit klare, im Voraus festgelegte Kriterien dafür, welche Studien ein- und ausgeschlossen wurden? Dies lässt sich beispielsweise daran überprüfen, ob vorab ein Studienprotokoll mit den Kriterien in einem Register oder einer Zeitschrift veröffentlicht wurde.

2. Haben die Autoren Vorkehrungen getroffen, alle Studien zu finden, die zu der Fragestellung durchgeführt wurden? Ob eine gute Literaturrecherche mit treffenden Suchbegriffen in mehr als einer Datenbank durchgeführt wurde, kann zum Beispiel im Appendix der Übersichtsarbeit dokumentiert sein.

3. Wurde die Literaturrecherche in den letzten 5 Jahren durchgeführt? Der Zeitraum von 5 Jahren kann als Faustregel für die Aktualität einer Übersichtsarbeit dienen. In Bereichen, in denen sich Wissen schnell verändert, kann eine Übersichtsarbeit aber auch nach einem Jahr bereits veraltet sein.

4. Gibt es eine Liste mit den Studien, die aus der Übersichtsarbeit ausgeschlossen wurden? Nützlich ist ein Flussdiagramm zur Literaturrecherche. Wenn eine Liste mit den ausgeschlossenen Studien aufgeführt ist, kann das ein Hinweis sein für die Transparenz und Genauigkeit der Übersichtsarbeit.

5. Wurde die Qualität der eingeschlossenen Studien bewertet? In guten Metaanalysen wird die Studienqualität der eingeschlossenen Studien in einer Tabelle dargestellt. Die Schlussfolgerungen der Übersichtsarbeit sollten die Qualität der Evidenz berücksichtigen.

Fazit: In einer Metaanalyse werden Ergebnisse mehrerer klinischer Studien zu einer Fragestellung quantitativ zusammengefasst und häufig in einem Forest plot graphisch dargestellt. Die Qualität systematischer Übersichtsarbeiten und Metaanalysen lässt sich anhand verschiedener Parameter abschätzen. Allerdings werden gefälschte Ergebnisse (wie z.B. hier in ARISTOTLE) in den eingeschlossenen Studien nicht erfasst.

Literatur

1. https://www.cochrane.de/de/cochrane-glossar#m Link zur Quelle
2. Ressing, M., et al.: Dtsch. Arztebl. Int. 2009, 106, 456. Link zur Quelle
3. https://www.cochrane.de/de/literaturbewertung Link zur Quelle
4. Seife, C.: JAMA Intern. Med. 2015, 175, 567. Link zur Quelle
5. Garmendia, C.A., et al.: JAMA Intern. Med. 2019, 179, 582. Link zur Quelle
6. AMB 2019, 53, 17 Link zur Quelle . AMB 2017, 51, 03. Link zur Quelle
7. Granger, C.B., et al. (ARISTOTLE = Apixaban for Reduction In Stroke and other ThromboembOLic Events in atrial fibrillation): N. Engl. J. Med. 2011, 365, 981 Link zur Quelle . Vgl. AMB 2011, 45, 73. Link zur Quelle
8. https://blogs.plos.org/absolutely-maybe/ 2018/04/30/systematic-reviews- meta-analyses-a-5-step-checkup/ Link zur Quelle