« Antwort auf Jan Schweitzer – DIE ZEIT: Homöopathie, Evidenz und Plausibilität | Home | Homöopathische Hochpotenzen enthalten Nanopartikel der Ausgangssubstanz »
Die Metaanalyse von Matthias Egger auf dem Prüfstand. Interview mit Rainer Lüdtke. (? The Lancet ? Homöopathie)
Von Claus Fritzsche | 19.Dezember 2010
Im Jahr 2005 veröffentlichte Prof. Matthias Egger von der Universität Bern eine Metaanalyse, die klinische Studien zur Homöopathie und Schulmedizin gegenüberstellte. Egger und Kollegen kamen damals zu dem Ergebnis, dass Homöopathie allein auf dem Placeboeffekt beruhe. Die Schriftleitung der angesehenen medizinischen Fachzeitschrift „The Lancet“ versah die Metaanalyse mit einem begleitenden Kommentar, in dem „das Ende der Homöopathie“ proklamiert wurde. Schon von Anfang an fragten sich Kritiker erstaunt, wie eine ganze Therapierichtung auf der Grundlage von nur acht Studien abschließend bewertet werden kann. Eine systematische Neuauswertung der Metaanalyse zeigt, dass die Hypothese, Homöopathie sei ein reines Placebophänomen, durch die Metaanalyse von Matthias Egger, Aijing Shang und Kollegen nicht so eindeutig und überzeugend gestützt wird, wie es die Autoren behaupten.
Dipl. Statistiker Rainer Lüdtke, Biometriker der Karl und Veronica Carstens-Stiftung, erläutert nachfolgend seine 2008 im „Journal of Clinical Epidemiology“ publizierte Re-Analyse der gerne falsch interpretierten Metaanalyse von Shang et al. 2005. Das Gespräch zeigt, wie stark Ergebnisse wissenschaftlicher Arbeiten durch die Paradigmen, Plausibilitätsvorstellungen und handwerklichen Fehler von Wissenschaftlern geformt werden können.
x
Interview mit Dipl.-Stat. Rainer Lüdtke:
x
Herr Lüdtke, im Rahmen der Qualifikation zur Fußball-EM 2012 spielt Deutschland am 11. Oktober 2011 – d. h. in etwa 10 Monaten – gegen Belgien. Haben Sie das Spielergebnis bereits mathematisch genau berechnet?
Rainer Lüdtke: Nein – als Statistiker kann ich zwar Daten auswerten und interpretieren, nicht jedoch zukünftige Ereignisse vorhersagen.
Zur Berechnung müssen Sie nur die durchschnittliche Fähigkeit aller deutschen und belgischen Fußballmannschaften ermitteln. Daraus lässt sich dann das Spielergebnis präzise ableiten – oder nicht?
Rainer Lüdtke: Ihre Frage ist eine Anspielung auf meinen Kommentar „Das Ende des deutschen Fußballs“ im Journal Forschende Komplementärmedizin (FK), in dem ich logische Ungereimtheiten der Metaanalyse von Frau Shang, Herrn Egger und Kollegen persifliert habe.
Es ist in der Tat so, dass die Ergebnisse von Shang et al. 2005 einen gravierenden interpretatorischen Fehler beinhalten, den ich durch meinen Fußball-Vergleich verständlich machen wollte. Die Autoren der Metaanalyse schlossen von der durchschnittlichen Wirksamkeit einer homöopathischen Behandlung auf den Einzelfall. Oder präziser: Sie schlossen von einem Pool von Studien zu äußerst unterschiedlichen Arzneimitteln und Krankheiten auf die Wirksamkeit jedes einzelnen Mittels bei jeder Erkrankung. Das ist ungefähr so, als ob man – um bei meinem FK-Vergleich zu bleiben – von der durchschnittlichen Fähigkeit aller deutschen und portugiesischen Fußballmannschaften auf das Ergebnis eines Spiels zwischen Bayern München und dem FC Vicela rückschließen würde.
Im Kontext Fußball fällt die Absurdität dieser unzulässigen Schlussfolgerung sofort auf. In der Metaanalyse von Prof. Egger ist dieser Aspekt den Autoren nicht aufgefallen.
Worum ging es genau in der Metaanalyse von Frau Shang und Herrn Egger?
Rainer Lüdtke: Aijing Shang, Matthias Egger und weitere Mitarbeiter haben jeweils 110 placebokontrollierte Therapiestudien zur Wirksamkeit der Homöopathie und der Schulmedizin in einer Metaanalyse zusammengefasst und bewertet. Sie rechneten verschiedene Fehlerquellen heraus, welche die Ergebnisse beeinflussen könnten. Danach blieb bei den Homöopathiestudien kein Therapieeffekt übrig, der über einen Placeboeffekt hinausgeht. Bei den schulmedizinischen Studien war dies anders.
Die Autoren interpretierten ihre Daten als Bestätigung der Annahme, dass klinische Effekte der Homöopathie durch Placeboeffekte zu erklären sind.
Das klingt nach einer ganz normalen Metaanalyse, nicht jedoch nach dem „Ende der Homöopathie“. Was erklärt Ihrer Meinung nach den späteren Kommentar in „The Lancet“ und das heftige Medienecho?
Rainer Lüdtke: Die Schweiz evaluierte zwischen 1998 und 2005 verschiedene komplementärmedizinische Therapierichtungen, um zu klären, ob diese dauerhaft in den Leistungskatalog der Grundversicherung aufgenommen werden sollen. Die Metaanalyse von Shang et al. 2005 war hier nur eine von mehreren wissenschaftlichen Arbeiten, die im Rahmen eines Health Technology Assessments (HTA) zur Homöopathie gemeinsam publiziert werden sollten. Der schlussendlich veröffentlichte HTA-Bericht stellte die Homöopathie in ein durchaus positives Licht, wurde jedoch von den Medien weder thematisiert noch überhaupt wahrgenommen.
Medial wahrgenommen wurde hingegen die Egger-Studie. Aus meiner Sicht gibt es deutliche Indizien dafür, dass diese wissenschaftliche Arbeit von dritter Seite – d. h. nicht von den Autoren der Metaanalyse selbst – für politische Zwecke instrumentalisiert und maßlos überinterpretiert wurde. Der wissenschaftliche Diskurs ist dabei in der öffentlichen Wahrnehmung leider viel zu kurz gekommen.
Es ist schade, dass sich viele Journalisten zu wenig für das Kleingedruckte und die Details wissenschaftlicher Kontroversen interessieren. Die mit ihnen verbundenen Diskurse sind kein Ärgernis sondern eine wichtige und sehr wertvolle Bereicherung der Wissenschaft. Aus heutiger Sicht lässt sich sagen, dass die Diskussion der Egger-Analyse in Fachkreisen sehr fruchtbar war. Wir haben heute eine neue Sicht auf diverse forschungsmethodische Fragen, die mit Metaanalysen zur Homöopathie verbunden sind. So wird z. B. das Poolen bzw. Zusammenwerfen heterogener Studien inzwischen viel differenzierter und kritischer gesehen als zuvor.
Was sind die zentralen Aussagen der Egger-Studie?
Rainer Lüdtke: Die Arbeit von Frau Shang, Herrn Egger und den beteiligten Mitarbeitern stellt zwei zentrale Behauptungen auf:
1. Die Qualität der meisten Studien zur Wirksamkeit der Homöopathie ist methodisch schlecht. Oftmals sind die untersuchten Patientenzahlen zu klein.
2. Rechnet man die Ergebnisse der Studien auf den höchsten methodischen Standard und große Fallzahlen um, so findet sich kein Unterschied zwischen der homöopathischen Behandlung und einer Placebobehandlung.
Die Feststellung, dass die methodische Qualität von Wirksamkeitsstudien zur Homöopathie oft zu wünschen übrig lässt, ist nicht neu. In der Regel werden hierfür mehrere Gründe genannt: fehlende methodische Ausbildung innerhalb der Homöopathie, fehlende Forschungsförderung, fehlende Forschungs-Infrastruktur zur Homöopathie und ein fehlendes Interesse zur Forschung bei konventionellen Medizinern mit fundierter methodischer Ausbildung.
Sie haben 2008 gemeinsam mit Herrn Rutten eine Re-Analyse der Egger-Arbeit publiziert, welche den „The Lancet“ herausgebenden wissenschaftlichen Fachverlag Elsevier zur Veröffentlichung der Pressemeldung „New evidence for Homeopathy“ veranlasste. Zu welchen Schlüssen kamen Sie in Ihrer Arbeit? Was werfen Sie den Autoren vor?
Rainer Lüdtke: Zunächst einmal lege ich Wert auf die Feststellung, dass ich Frau Shang und Herrn Egger nichts vorwerfe. Die kontroverse Diskussion von Studien ist in wissenschaftlichen Fachkreisen Alltag und erwünscht. Richtig ist allerdings, dass unsere Kritik an der Studie nicht Randaspekte berührt, sondern einen fundamentalen Charakter hat. Herr Rutten und ich halten die Schlussfolgerungen der Metaanalyse für erheblich übertrieben und für ungerechtfertigt. Die Studie beweist nicht, dass Homöopathie gleich Placebo ist. Und sie kann auch nicht das von der Lancet-Schriftleitung in ihrem begleitenden Kommentar proklamierte Ende der Homöopathie einläuten.
Was kritisieren Sie genau an der Metaanalyse?
Rainer Lüdtke: Herr Rutten und ich habe insgesamt vier zentrale Schwachstellen der Metaanalyse herausgearbeitet.
Die Studie ist zunächst einmal nicht in der Lage, verallgemeinernde Aussagen zu stützen, weil das Hauptergebnis, auf dem alle weiteren Schlussfolgerungen im Wesentlichen beruhen, lediglich auf der Grundlage von nur ACHT randomisierten placebokontrollierten Studien beruht. Frau Shang und Herr Egger haben zwar zunächst 110 randomisierte placebokontrollierte Studien betrachtet, sich anschließend aber auf die 21 Studien beschränkt, die die höchste methodische Qualität aufweisen. Aus diesen 21 Studien haben sie zum Schluss noch jene acht Studien ausselektiert, welche die größten Patientenzahlen haben. Damit kann die Metaanalyse kaum als repräsentativ und aussagekräftig für die gesamte homöopathische Medizin genommen werden.
Heißt das mit anderen Worten, dass eine hohe methodische Studien-Qualität für den Preis einer niedrigen statistischen Aussagekraft teuer erkauft wurde?
Rainer Lüdtke: So könnte man es ausdrücken. Ihre Wortwahl „teuer erkauft“ passt insofern, als das Grundanliegen einer Metaanalyse durch die starke Selektion komplett verloren ging. Metaanalysen verfolgen das Ziel, mehrere Studien zu einer identischen Fragestellung zu bündeln, um so eine im Vergleich zu Einzelstudien höhere Aussagekraft zu erhalten. Dieser Effekt geht jedoch verloren, wenn von ursprünglich 110 Studien nach Selektion zum Schluss nur acht Studien übrig bleiben und in die Bewertung einfließen.
Ein weiterer Aspekt, welcher die Aussagekraft der Studie einschränkt, ist die fehlende Berücksichtigung unterschiedlicher homöopathischer Schulen.
Will ich die Wirkung von Aspirin gegen Placebo testen, so ist dies methodisch relativ einfach. Die Homöopathie ist im Gegensatz dazu ein hoch komplexes und inhomogenes Therapiesystem mit unterschiedlichen Vorgehensweisen und Schulen. Diese wichtige Eigenschaft der Homöopathie wurde jedoch von Frau Shang und Herrn Egger in ihrer Metaanalyse nicht berücksichtigt.
In der Shang/Egger-Arbeit wurden z. B. neben Studien zur Klassischen Homöopathie, hier erhält jeder Patient auf der Grundlage der Simile-Regel ein individuelles homöopathisches Arzneimittel, auch Studien zur klinischen Homöopathie eingeschlossen. In der klinischen Homöopathie erhalten alle Patienten – ähnlich wie in der konventionellen Medizin – ein und dasselbe homöopathische Arzneimittel. Darüber hinaus bezog die Metaanalyse auch Studien zur Isopatie ein, in denen ein bekannter Krankheitserreger – zum Beispiel ein Allergen – homöopathisch potenziert wird. Und als vierte Kategorie wurden Studien zur Komplexmittelhomöopathie einbezogen, in denen mehrere homöopathische Arzneimittel zu einer Arznei kombiniert werden.
Es wurden somit vier fundamental unterschiedliche Homöopathie-Derivate auf der Grundlage von nur acht randomisierten Studien ausgewertet. Gab es in der Schriftleitung des Lancet und im Peer-Review niemanden, dem das aufgefallen ist?
Rainer Lüdtke: Diese Frage kann ich Ihnen nicht beantworten. Wer auch immer die Arbeit im Vorfeld geprüft hat, dem ist auch die Heterogenität der untersuchten Krankheitsbilder nicht aufgefallen.
Verknüpfe ich in der konventionellen Medizin z. B. jeweils 2 erfolglose Studien für die Indikationen Depression, Hypercholesterinämie und Bluthochdruck mit einer erfolgreichen Studie zu Asthma, so bedeutet dies nicht, dass die gesamte Pharmakologie ein Placebophänomen ist. Zunächst einmal würden so wenig Studien keine allgemeinen Aussagen zur Pharmakologie zulassen. Darüber hinaus würde man von einem erfolglosen Depressions-Mittel nicht auf die Wirksamkeit eines Asthma-Arzneimittels rückschließen. Ähnliches wurde jedoch in der Arbeit von Frau Shang und Herrn Egger gemacht. Sie warfen Studien zur
•  Vorbeugung von Erkältungen
•  Behandlung von Warzen
•  Vorbeugung des Muskelkaters
•  Behandlung einer Migräne
•  Behandlung von Durchfallerkrankungen bei Kindern
•  Behandlung von schweren Hirnverletzungen
alle in einen Topf. In unserer Reanalyse der Daten haben wir zeigen können, dass die negativen Ergebnisse bei Shang vor allem deshalb zustande gekommen sind, weil eine große Studie mit über 400 Patienten negativ war – jene zur Vorbeugung des Muskelkaters. Lässt man nur diese eine Studie aus der Analyse heraus, so sind die Ergebnisse für die Homöopathie deutlich positiver.
Es ist daher gut möglich, dass die Homöopathie bei einigen Erkrankungen wirkt und bei anderen nicht und dass die Shang/Egger-Analyse nur deshalb negativ ausgegangen ist, weil sie diese Heterogenität nicht berücksichtigt hat.
Oder mit anderen Worten: Wenn Sie in Ihrem Obstsalat einen faulen Apfel finden, dann können sie nicht darauf schließen, dass auch die Bananen und Weintrauben schlecht waren, nur weil Ihnen der Salat nicht geschmeckt hat.
Sie sprachen von insgesamt vier zentralen Argumenten, welche die Aussagekraft der Egger-Studie in Frage stellen. Was ist nach zu kleiner Studienanzahl, zu großer Heterogenität der Homöopathie-Verfahren und der Krankheitsbilder Ihr letzter gravierender Kritikpunkt?
Rainer Lüdtke: Hier geht es um ein statistisches Phänomen. Die Ergebnisse der Egger-Studie sind sensitiv gegenüber der Definition, wann eine Studie als groß angesehen wird. Wählt man nicht, wie Shang und Egger dies getan haben, die acht größten Studien sondern die 14 größten Studien aus, so bekommt man ein statistisch signifikantes Ergebnis zugunsten der Homöopathie.
Gibt es objektive Kriterien, nach denen Biometriker eine Studie als „groß“ und damit statistisch aussagekräftig einstufen?
Rainer Lüdtke: Es gibt unter Statistikern sicherlich Einigkeit darüber, dass Aussagen einer Studie mit 8 Probanden mit größerer Vorsicht zu bewerten sind als Aussagen einer Studie mit 1.000 Probanden. Es gibt jedoch keinen klar definierten Schwellenwert, der festlegt, was genau „groß“ und was nicht mehr „groß“ ist. Selbst Studien mit z. B. 10.000 Probanden – was in der klinischen Forschung eine relativ hohe Zahl ist – gelten nur unter den vielen Prämissen, unter denen sie erstellt wurden.
Mit Statistiken ist es wie mit Landkarten. Es handelt sich um den Versuch, Realität in stark vereinfachter Form abzubilden. Statistiken zeigen jedoch ebenso wie Landkarten keine Realität an sich. Schauen Sie sich Ihren Wohnort bei Google Maps an und werfen Sie einen Blick aus dem Fenster. Dann sehen Sie den Unterschied. Gleiches gilt auch für Statistiken. Statistiken erlauben zwar – genau wie Landkarten auch – durchaus sinnvolle Schlussfolgerungen. Man muss sich nur ihrer Beschränktheit und ihres vereinfachenden Charakters bewusst sein.
Bedeutet dies, dass die These der Egger-Studie zulasten der Homöopathie ebenso falsch ist wie die Aussage der Elsevier-Pressemeldung zugunsten der Homöopathie?
Rainer Lüdtke: „Falsch“ und „richtig“ sind Begriffe, mit denen Statistiker selten arbeiten. Hier werden in der Regel Grautöne betrachtet, also „mehr“ oder „weniger wahr“. So ist es auch mit der Eggerschen Metaanalye. Betrachte ich alle vier genannten Kritikpunkte, so erlaubt sie weder eine endgültig negative noch eine positive pauschalisierende Aussage zur Wirksamkeit der Homöopathie.
Herr Lüdtke, vielen Dank für dieses Gespräch.
Das Interview führte Claus Fritzsche.
x
Lesen Sie auch:
Homöopathie und die Placebo-These. CAM Media.Watch-Interview mit Dipl.-Stat. Rainer Lüdtke.
Erfahren Sie in diesem Interview, warum Homöopathie viel mehr ist als nur die Gabe eines homöopathischen Arzneimittels, zu welchen Ergebnissen Studien kommen, die Effekte einer schulmedizinischen und einer homöopathischen Behandlung 1:1 vergleichen und warum es sich lohnt, Aussagen von Prof. Edzard Ernst als Meinung einzustufen, die nicht repräsentativ für die Sichtweise der Scientific Community sein muss.
x
x
Über Dipl.-Stat. Rainer Lüdtke:
- Studium der Statistik und theoretischen Medizin an der Universität Dortmund
- wissenschaftlicher Mitarbeiter am Institut für Medizinische Biometrie der Georg-August-Universität Göttingen
- wissenschaftlicher Mitarbeiter im Biometrischen Zentrum Erfahrungsmedizin am Institut für Medizinische Informationsverarbeitung des Universitätsklinikums Tübingen
- seit 2000 Wissenschaftsreferent bei der Karl und Veronica Carstens-Stiftung in Essen
- ab 2012 Teamleiter und Stiftungsmanager im Stifterverband für die deutsche Wissenschaft (? Natur- und Technikwissenschaften)
x
Themenrelevante Veröffentlichungen von Rainer Lüdtke in den letzten Jahren:
x
Witt CM, Lüdtke R, Willich SN: Homeopathic treatment of patients with migraine: a prospective observational study with a 2-year follow-up period. J Altern Complement Med 2010;16:347-355.
Teut M, Hirschberg U, Lüdtke R, Schnegg C, Dahler J, Albrecht H, Witt C: Protocol for a phase 1 homeopathic drug proving trial Trials 2010;11:doi:10.1186/1745-6215-1111-1180.
Siegling-Vlitakis C, Martens H, Lüdtke R: In vitro examination of potentized atropine sulfate dilutions on the contractility of the isolated rat ileum. J Altern Complement Med 2009;15:1121-1126.
Nuhn T, Lüdtke R, Geraedts M: Placebo effect sizes in homeopathic compared to conventional drugs – a systematic review of randomised controlled trials. Homeopathy 2010;99:76-82.
Siebenwirth J, Lüdtke R, Remy W, Rakoski J, Borelli S, Ring J: Wirksamkeit einer klassisch-homöopathischen Therapie bei atopischem Ekzem. Eine randomisierte, placebokontrollierte Doppelblindstudie. Forsch Komplementmed 2009;16:315-323.
Lüdtke R, Willich S, Ostermann T: Therapeutic effects and Regression to the mean – A simple extension of Mee and Chua´s algorithm. Statistische Methoden in der empirischen Forschung 2009:467-478.
Brinkhaus B, Wilkens JM, Lüdtke R, Hunger J, Witt CM, Willich SN: Homeopathic arnica therapy in patients receiving knee surgery: Results of three randomised double-blind trials. Complement Ther Med 2006;14:237-246.
Lüdtke R: Zum Stand der Forschung in der Homöopathie. Springer Loseblattsammlung Naturheilkunde 2005.
Witt CM, Lüdtke R, Baur R, Willich SN: Homeopathic medical practice: long-term results of a cohort study with 3981 patients. BMC Public Health 2005;5:115.
Lüdtke R: Therapieforschung in Zeiten der Patientenpräferenz. Ztschr. ärztl. Fortbild. Qual. Gesundheitswes 2005;99:279-284.
Witt C, Lüdtke R, Weißhuhn TER, Willich SN: High homeopathic potencies are different from potentized solvent when investigated with the REDEM technology. Forsch Komplementärmed 2005;12(1):6-13.
Lüdtke R: Statistical comments on a re-analysis of a previous meta-analysis of homeopathic RCTs. J Clin Epidemiol 2002;55 (1):103-104.
Lüdtke R, Weber U, Fischer I, Friese KH, Moeller H: An example on the value of non-randomisation in clinical trials in complementary medicine. Forsch Komplementärmed 2002;9(2):105-109.
x
x
Themen: DZVhÄ Homöopathie.Blog | 11 Kommentare »
20th.Dezember 2010 um 15:10
Sehr geehrter Herr Lüdtke,
Danke für Ihre unaufgeregte Darstellung der Egger-Studie. Es tut gut, nach all der Marktschreierei (von pro- und contra-Seite) rund um diese Metaanalyse einmal etwas Sachliches zu lesen. Erlauben Sie mir vorerst nur eine kurze Anmerkung und eine Frage:
1. Zunächst würde ich gerne klarstellen, dass die in der Einleitung oben von Herrn Fritzsche getätigte Behauptung: Egger und Kollegen kamen damals zu dem Ergebnis, dass Homöopathie allein auf dem Placeboeffekt beruhe, so nicht stimmt. Egger et al kamen zum Schluss, dass die Daten zur Homöopathie mit der Placebohypothese kompatibel sind. Das ist m.E. ein wichtiger Unterschied.
2. Dann würde ich gerne ein vielleicht nicht unwesentliches Detail klären. Sie sagen, dass Sie zeigen, dass die negativen Ergebnisse bei Shang vor allem deshalb zustande gekommen sind, weil eine große Studie mit über 400 Patienten negativ war – jene zur Vorbeugung des Muskelkaters. Lässt man nur diese eine Studie aus der Analyse heraus, so sind die Ergebnisse für die Homöopathie positiv.
Verstehe ich Sie richtig? Die Ergebnisse für die Homöopathie aufgrund der 8 großen Studien sind zwar negativ, doch entfernt man die Vickers-Studie aus diesen 8 Studien, dann werden die Ergebnisse für die Homöopathie positiv?
In Ihrem paper schreiben Sie: If the Vickers’ trial was omitted from the Shang’s analysis of the eight largest high quality trials (Table 4), the overall OR reduced from 0.88 (see above) to 0.80 but remained statistically not significant (CI: 0.61-1.05; P=0.11).
Hier gibt es offenbar einen Widerspruch, oder?
MfG, Ulrich Berger
21st.Dezember 2010 um 12:27
Sehr geehrter Herr Berger,
vielen Dank für die lobenden Wort zu meinem Interview.
Wie so oft ist die Frage, zu welcher Schlussfolgerung Egger und Kollegen gekommen sind, nicht ganz so einfach zu beantworten. Sie haben recht, dass die Schlussfolgerung im Abstract der Studie lautet, dass die „Daten zur Homöopathie mit der Placebohypothese kompatibel sind“. In der Diskussion formulieren die Autoren etwas anders: „Unsere Ergebnisse stützen die Hypothese, dass die klinischen Effekte der Homöopathie […] unspezifische Placebo- oder Kontexteffekte sind.“ Und in einem Interview mit Spiegel online spricht Herr Egger von einer Therapie „[…] von der ich jetzt endgültig weiß, dass sie objektiv keine Wirkung hat“. Insofern finde ich Herrn Fritzsches Formulierung nicht ganz unzutreffend.
Aus meiner Sicht ist es zudem eindeutig, dass Vickers´ Studie zur Vorbeugung des Muskelkaters erheblichen Einfluss auf die Ergebnisse der Analyse genommen hat. In unserer Veröffentlichung haben wir beschrieben, dass es stark davon abhängt, welchen Datensatz (8 Studien, 21 Studien) man analysiert und welche Analysemethode man verwendet (Meta-Analyse, Meta-Regression), um zu entscheiden, ob die Herausnahme der Studie zu signifikanten Effekten zugunsten der Homöopathie geführt hätte. Unabhängig von der Frage der Signifikanz ändert sich aber die Größe des Effekts (Odds-Ratio) in jedem Fall.
Mit freundlichen Grüßen
Rainer Lüdtke
22nd.Dezember 2010 um 17:59
O.k., Eggers Daten sind mit der Placebohypothese kompatibel und stützen diese damit in gewisser Weise. Egger et al halten aber auch fest, dass sie die Wirkungslosigkeit der Homöopathie (schon aus methodologischen Gründen) nicht beweisen können. Sie selbst sagen im Interview, dass Sie die aus der Metaanalyse gezogenen Schlüsse für erheblich übertrieben und für ungerechtfertigt halten, weil Die Studie beweist nicht, dass Homöopathie gleich Placebo ist. Aber dass die Placebohypothese bewiesen sei, hat die Egger-Studie selbst ja nie behauptet.
Wenn ich das richtig verstehe, dann kritisieren Sie mit dieser Bemerkung also die oft übertriebenen Interpretationen der Metaanalyse, die z.B. in diversen Medien, aber auch im Lancet-Editorial geäußert wurden; nicht aber die Metaanalyse selbst.
Was die Vickers-Studie betrifft, so sind Sie meiner Frage ein bisschen ausgewichen. Dass das OR sich ändert, wenn man eine Studie herausnimmt, ist klar – das gilt aber für jede Studie. Im Interview klingt es aber so, als wäre die Vickers-Studie entscheidend für das negative Ergebnis gewesen. Und jetzt sagen Sie, es hänge vom Datensatz (8 od. 21) und der Analysemethode (MA od. MR) ab, ob die Vickers-Studie „entscheidend“ für das Ergebnis ist.
Das kann ich nicht nachvollziehen:
Es gibt hier 4 Kombinationen eines Datensatzes mit einer Analysemethode. Soviel ich aus Ihrem paper ersehen kann, ändert sich in keinem der vier Fälle das Ergebnis, wenn Sie die Vickers-Studie entfernen. Diese ist also in keinem der 4 Fälle „entscheidend“.
Bitte korrigieren Sie mich, wenn ich mich hier irren sollte!
Schöne Grüße und Frohe Weihnachten,
Ulrich Berger
10th.Januar 2011 um 15:00
Sehr geehrter Herr Berger,
Sie haben Recht, meine primäre Kritik richtet sich an die Interpretationen der Meta-Analyse. Sie stellt aber auch grundsätzlich in Frage, ob es sinnvoll ist, ein so heterogenes Konglomerat an Studien überhaupt zu poolen, bzw. gerade bei großer Heterogenität ein Beweis der Nicht-Wirksamkeit überhaupt gelingen kann.
Wie ich in meiner vorigen Antwort außerdem schon versucht habe zu klären, spricht die Publikation selbst nicht direkt vom Beweis der Nicht-Wirksamkeit, wohl aber Herr Egger selbst im Spiegel-Interview.
Und was die Vickers-Studie betrifft, ist es augenscheinlich eine reine Frage der Definition, was man „entscheidend“ nennt. Ohne die Vickers-Studie ändern sich aus meiner Sicht Odds-Ratios und p-Werte deutlich, oder eben „entscheidend“.
10th.Januar 2011 um 16:05
Hallo Herr Berger,
nach einem soeben mit Herrn Lüdtke geführten Telefonat habe ich (als Zugeständnis zu Ihrer konstruktiven Kritik) eine Passage des Interviews (im Einvernehmen mit Herrn Lüdtke) wie folgend geändert.
Herr Lüdtke antwortete ursprünglich:
„In unserer Reanalyse der Daten haben wir zeigen können, dass die negativen Ergebnisse bei Shang vor allem deshalb zustande gekommen sind, weil eine große Studie mit über 400 Patienten negativ war – jene zur Vorbeugung des Muskelkaters. Lässt man nur diese eine Studie aus der Analyse heraus, so sind die Ergebnisse für die Homöopathie positiv.“
Diese Passage habe ich soeben nachträglich korrigiert. Sie lautet nun:
„Lässt man nur diese eine Studie aus der Analyse heraus, so sind die Ergebnisse für die Homöopathie deutlich positiver.“
Diese Korrektur macht Sinn, weil die Daten nicht wirklich POSITIV FÃœR DIE HOMÖOPATHIE sind, wenn man die Vickers-Studie entfernt. Wenn ich Herrn Lüdtke richtig verstanden habe, dann ist dieser Aspekt (d.h. die Wortwahl „positiv“ versus „deutlich positiver“) auch nicht entscheidend für das, was er aussagen will.
Wesentlich für die Grundaussage des Interviews sind jene VIER ZENTRALEN KRITIKPUNKTE, auf die Sie in Ihren Kommentaren nicht eingegangen sind.
1. Studiendaten sind nicht repräsentativ
Die Daten der Metaanalyse sind NICHT REPRÄSENTATIV, „weil das Hauptergebnis, auf dem alle weiteren Schlussfolgerungen im Wesentlichen beruhen, lediglich auf der Grundlage von nur ACHT randomisierten placebokontrollierten Studien beruht.“
Die Grundidee einer Metaanalyse „mehrere Studien zu einer identischen Fragestellung zu bündeln, um so eine im Vergleich zu Einzelstudien höhere Aussagekraft zu erhalten“ ist so verloren gegangen.
2. heterogene Therapien
Die ausgewerteten Therapien sind hochgradig heterogen und nicht vergleichbar. Klassische Homöopathie, klinische Homöopathie, Isopathie und Komplexmittelhomöopathie wurden alle in einen Topf geworfen, obwohl die Konzepte über große Unterschiede verfügen.
3. heterogene Krankheitsbilder:
Zitat Rainer Lüdtke:
„Verknüpfe ich in der konventionellen Medizin z. B. jeweils 2 erfolglose Studien für die Indikationen Depression, Hypercholesterinämie und Bluthochdruck mit einer erfolgreichen Studie zu Asthma, so bedeutet dies nicht, dass die gesamte Pharmakologie ein Placebophänomen ist. Zunächst einmal würden so wenig Studien keine allgemeinen Aussagen zur Pharmakologie zulassen. Darüber hinaus würde man von einem erfolglosen Depressions-Mittel nicht auf die Wirksamkeit eines Asthma-Arzneimittels rückschließen. Ähnliches wurde jedoch in der Arbeit von Frau Shang und Herrn Egger gemacht.“
4. Sensitivität der Daten für die Studiengröße:
Zitat Rainer Lüdtke:
„Hier geht es um ein statistisches Phänomen. Die Ergebnisse der Egger-Studie sind sensitiv gegenüber der Definition, wann eine Studie als groß angesehen wird. Wählt man nicht, wie Shang und Egger dies getan haben, die acht größten Studien sondern die 14 größten Studien aus, so bekommt man ein statistisch signifikantes Ergebnis zugunsten der Homöopathie.“
Wenn Sie schon in statistische Aspekte einsteigen wollen, dann finde ich Punkt 4. viel spannender als den Ausschluss der Vickers-Studie. Berücksichtigt man die 14 größten Studien (statt nur die 8 größten Studien, wie es Shang et al. getan haben) so entsteht ein statistisch signifikantes Ergebnis zugunsten der Homöopathie. Das heißt: Eine wesentliche Aussage der Metaanalyse führt in Abhängigkeit von einer willkürlichen Eintscheidung (Definition der größten Studien: mal 8, mal 14) zu sehr unterschiedlichen Ergebnissen.
Beste Grüße
Claus Fritzsche
Redaktion DZVhÄ Homöopathie.Blog
17th.Januar 2011 um 08:11
[…] Die Metaanalyse von Matthias Egger auf dem Prüfstand. Interview mit Rainer Lüdtke. (→ The Lancet… | […]
17th.Januar 2011 um 18:47
Sehr geehrter Herr Lüdtke,
Nun gut, ich betrachte die Details um die Vickers-Studie damit als abgehakt und komme gerne auf Ihre vier zentralen Kritikpunkte an der Egger-Studie zurück:
1. „Studiendaten sind nicht repräsentativ“
Ich halte es für verfehlt, die Egger-Studie so darzustellen, als habe sie ausschließlich diese großen 8 RCTs analysiert. Ein ganz wesentlicher Punkt dieser Studie war schließlich der Nachweis und das anschließende „Herausrechnen“ des „small-study“ Effekts.
Was in den Diskussionen um die „großen 8“ stets unterging, ist ja, dass Egger neben der Metaanalyse der 8 RCTs auch eine Metaregression durchführte, in die alle 110 RCTs eingeflossen sind. Auf Basis der geschätzten Parameter hat er auf das OR der größten RCTs extrapoliert. Das so „prognostizierte“ OR ist nicht statistisch signifikant von 1 verschieden. Und dieses für die Homöopathie negative Resultat ist robust gegenüber der Zahl der eingeschlossenen RCTs, wie Sie selbst ja in Abb. 3 Ihres Artikels zeigen. Dies ist ein Aspekt der Egger-Studie und Ihrer eigenen Studie, der m.E. generell unbeachtet und unterbewertet blieb.
2. „heterogene Therapien“
In der Tat stammen die RCTs aus verschiedenen homöopathischen „Schulen“. Allerdings denke ich nicht, dass das der Egger-Studie anzulasten ist. Immerhin werden diese verschiedenen Homöopathie-Arten in der Praxis generell als „DIE Homöopathie“ wahrgenommen, bezeichnet und vermarktet. Mir ist auch nicht bekannt, dass in Homöopathenkreisen eine dieser „Schulen“ annähernd konsensual als „unecht“ oder „unwirksam“ abgelehnt würde – dies trifft allenfalls auf die „Neue Homöopathie“ zu, die aber ohnehin nicht mituntersucht wurde. Kurz gesagt, wenn von pro-Seite stets und ziemlich undifferenziert behauptet wird, DIE Homöopathie sei wirksam, dann muss es auch erlaubt sein, DIE Homöopathie zu testen.
Weiters haben Egger et al diese Problematik offenbar ebenfalls bedacht und anhand der Daten eigens geprüft, ob sich die verschiedenen Homöopathie-Typen in den Resultaten unterscheiden. Sie fanden keine signifikanten Unterschiede zwischen den Typen.
Alles in allem halte ich es daher sehr wohl für gerechtfertigt, „DIE Homöopathie“, d.h. die RCTs für verschiedene Homöopathie-Typen zu poolen und gemeinsam einem Test zu unterwerfen.
3. „heterogene Krankheitsbilder“
Wiederum meine ich, dass man die Datenlage nicht Herrn Egger zum Vorwurf machen kann. Die RCTs sind so wie sie sind. Analog zu Punkt 2 lässt sich auch hier beobachten, dass auf pro-Seite kein Konsens zu bestehen scheint, dass unter den angeführten Krankheitsbildern irgendwelche existieren, bei denen eine Wirksamkeit der Homöopathie ohnehin nie behauptet wurde und die man deshalb zu Recht aus der Analyse hätte ausschließen sollen.
Auch hier gilt übrigens: Die Variable „type of indication“ hatte in der Metaregression keinen signifikanten Einfluss auf die ORs.
4. „Sensitivität der Daten für die Studiengröße“
Im Hinblick auf das unter Punkt 1 oben gesagte halte ich das für wenig aufregend. Aufgrund des small-study Effekts ist zu erwarten, dass bei Hereinnahme von kleinerern Studien das OR irgendwann signifikant wird. Wie erwähnt: bei Metaregression passiert nicht einmal das.
Natürlich ist jede Festsetzung einer Schwellengröße ein Willkürakt. Entscheidend ist, dass die Festlegung geschieht, bevor die Daten analysiert werden. Das Kriterium – ein SE im untersten Quartil – ist auch keineswegs unplausibel oder merkwürdig, deshalb sehe ich da wenig kritikwürdiges. (Dass die Herren Rutten und Stolper in ihrem Homeopathy-paper offenbar dieses Kriterium überlesen haben und daher ein „post-hoc hypothesizing“ am Werke sehen, halte ich überigens für dieses journal und seine referees für beschämend.)
Auch hier kann man, wenn man sich an der willkürlichen Schwelle stößt, stattdessen die Metaregression ansehen, die dieses Problem nicht hat. Das Ergebnis wird aber dadurch für die Homöopathie keineswegs besser – ganz im Gegenteil.
Zusammengefasst: Wie schon mehrfach erwähnt, ist das negative Resultat der Egger-Analyse natürlich kein „Beweis“ für eine Nichtwirksamkeit „der Homöopathie“. Die Analyse war allerdings ein „fairer Test“ in dem Sinn, dass er im Prinzip für die Homöopathie positiv hätte ausfallen können – wie es ja bei konventioneller Medizin der Fall war. Dass der Test für die Homöopathie negativ ausgefallen ist, bedeutet für mich (wie für die meisten Kritiker), dass zumindest „DIE Homöopathie“ insgesamt nicht mehr länger ernsthaft als „nachgewisen wirksam“ bezeichnet werden kann – was viele Homöopathen unter Verweis auf Linde 1997 jahrelang ungeniert getan haben.
Schließlich möchte ich auch festhalten – und ich hoffe, da können Sie mir zustimmen – dass die Mär von der „schwer fehlerhaften“ („severely flawed“) Egger-Metaanalyse, die Elsevier anlässlich Ihres Artikels in die Welt gesetzt hat, unhaltbar ist. Das ist mir wichtig, weil diese Mär nicht nur in diversen Blogs weiterverbreitet, sondern auch von der ISCMR kritiklos übernommen wurde, und sogar heute noch vom „Wissenschaftsexperten“ der ÖGHM (!) als Faktum angeführt wird.
Beste Grüße, Ulrich Berger
16th.August 2011 um 10:29
[…] methodisch problematisch sind. Was damit gemeint ist, erläuterte Rainer Lüdtke hier im Blog (1). Willich und Witt schließen ihr Fazit mit den Worten: „Es ist also nicht belegt, dass […]
12th.Oktober 2011 um 16:47
Sehr geehrter Heer Berger, Herr Lüdtke, Herr Fritzsche,
wenn ich das richtig verstanden habe, dann haben sich Egger et. al. die verfügbaren Studien zur Homöopathie genommen und diese auf Durchführung und Signifikanz überprüft. Mit dem Ergebnis:
Es gibt keine sauber durchgeführte Studie zur Homöopathie, die mehr Wirkung als den Placeboeffekt nachweisen kann.
Das beweist aus meiner Sicht zunächst einmal nur, dass es keinen Nachweis für eine über den Placeboeffekt hinausgehende Wirkung gibt.
Wenn ich bisher richtig liege, folgt daraus, dass sämtliche Apotheker und Ärzte, die mir bisher gesagt haben, dass Homöopathie nachweislich wirke, sich auf Studien berufen, die dieses nicht belegen.
Das sagt mir weiterhin, dass es in zweihundert Jahren nicht gelungen ist, mit einer sauber durchgeführten Studie die Wirksamkeit der Homöopathie zu belegen.
Das ist zwar kein Gegenbeweis, reduziert die Homöopathie aber zu einer Hypothese. Anders ausgedrückt: der homöopathisch behandelnde Arzt sagt implizit: „Ich gebe Ihnen hier mal irgendwas, kann sein, das es wirkt, es gibt aber keine praktischen Hinweise dafür (signifikante Nachweise), und die dahinterstehende Theorie ist übrigens wissenschaftlicher Nonsens (weil im Widerspruch zur bestehenden wissenschaftlichen Erkenntnis und unbewiesen.)“
Sehe ich das richtig?
Mit besten Grüßen,
Klaus Blömeke
12th.Dezember 2011 um 16:06
[…] Anmerkung der Redaktion: Siehe hierzu auch das folgende Interview mit Rainer Lüdtke im DZVhÄ Homöopathie.Blog. […]
14th.Dezember 2012 um 05:19
Sehr geehrter Herr Blömeke
Zu Ihrer Anmerkung „reduziert die Homöopathie zu einer Hypothese“
zitiere ich hier Prof. Walach:
„Der Mangel an Beweisen von Wirksamkeit ist nicht der Erweis der Unwirksamkeit, auch wenn noch so viele echte oder falsche Experten dieser Meinung sind.
Wenn man so argumentiert, dann müsste man 89% der Kardiologie (1) und 93% (2) der Onkologie als unwirksam aussortieren. Denn nur 7% der onkologischen (2) und 11% der kardiologischen Verfahren (1) sind von absolut gesicherten Daten gestützt. Alles andere ist mehr oder weniger gut gesichert, manches gar nicht.“
Noch zur Vickers-Studie: Da wird untersucht, ob Arnika in homöopathischer Dosierung Muskelkater nach sportlicher Betätigung verhindern kann. Dies ist etwa so, wie wenn in der Schulmedizin ein Antibiotikum untersucht würde nach einem schmerzlindernden Effekt. Kann man machen. Aber falls die Studie ein negatives Resultat ergibt, wird man nicht daraus schliessen können, das Antibiotikum sei unwirksam. Die Vickers-Studie geht einer Fragenstellung nach, dessen Antwort, falls negativ, überhaupt nichts zur Frage der Wirksamkeit der Homöopathie beitragen kann! Deshalb gehört diese Studie von der Fragestellung her gar nicht in einer Metaanalyse berücksichtigt, welche die Frage nach der Wirksamkeit der Methode untersucht. Und nimmt man die Vickers-Studie aus der Gleichung heraus, entsteht ein für die Homöopathie zumindest positiveres Bild. Womit sich Ihre Aussage relativieren lässt und die Homöopathie, verglichen mit den allermeisten schulmdezinischen Anwendungen, bezüglich Wirksamkeitsnachweis durchaus mithalten kann. Und dies entspricht der Realität: mit beiden Methoden erzielt man gute bis sehr gute Resultate, mit beiden Methoden kommt es immer wieder zu einem Scheitern der therapeutischen Bemühungen.