Methodenlehre Teil 16: Was heißt „wissenschaftlich bewiesen“? – Das Replikationsproblem in der Forschung

Oder: Warum wir glauben, dass soziale Vorbilder die Stimmung beeinflussen („social priming“) aber nicht, dass Homöopathie wirkt oder Telepathie funktioniert

Wenn wir sagen, etwas sei „wissenschaftlich bewiesen“, dann meinen wir meistens, dass eine Serie von Bedingungen erfüllt ist, und zwar mindestens folgende:

  1. Ein Phänomen muss mit Methoden, die derzeitigen wissenschaftlichen Standards genügen, dokumentiert sein. Am besten ist es, wenn dies eine experimentelle Methode ist, also eine, bei der der Forscher einer Kontrollbedingung erzeugt hat und gezeigt hat, dass der interessierende Effekt in einer Experimentalbedingung auftritt, nicht aber in der Kontrollbedingung. Das tun etwa tierexperimentelle, klinische oder psychologisch experimentelle Untersuchungen. Dann wird Ratten oder Mäusen, oder Menschen, etwas gegeben, was Kontrollen nicht erhalten, und eine Variable gemessen, an der der Effekt ablesbar ist.
  2. Die Untersuchung muss publiziert und damit für alle verfügbar und prüfbar sein. Dieser Begriff ist gerade heute, zu Zeiten wo jeder alles rasch und kostengünstig im Internet veröffentlichen kann, nicht ganz leicht zu definieren. In der Regel ist die operationale Definition von „publiziert“: ein wissenschaftliches Ergebnis wurde einer begutachteten („peer reviewten“) Fachzeitschrift vorgelegt. Die Gutachter der Zeitschrift haben das Manuskript geprüft und gefunden, dass Stil, Inhalt und Methode momentan akzeptierten Standards und Gepflogenheiten entspricht; dass Methode und Ergebnisse geeignet sind, die Schlussfolgerungen der Autoren zu stützen, und die Herausgeber der Zeitschrift waren der Meinung, das Ergebnis sei interessant genug für die Leser der Zeitschrift. Außerdem muss die Zeitschrift von ihren Standards her von bibliographischen Fachleuten so bewertet werden, dass sie und damit die dort veröffentlichten Aufsätze in einschlägigen Datenbanken geführt werden.
    Damit können Menschen, die nach wissenschaftlichen Ergebnissen suchen, diese auch finden. Ein irgendwo veröffentlichter Befund, der etwa in einer Zeitschrift auftaucht, wo keine Fachleute den Inhalt prüfen, gilt nicht unbedingt als „wissenschaftlich publiziert“, und die reine Verfügbarkeit im Internet ist ebenfalls kein Kriterium für „publiziert“ in einem wissenschaftlichen Sinne. Der Umkehrschluss gilt allerdings auch: Nur weil etwas in einem wissenschaftlichen Organ publiziert wurde, ist es nicht notwendigerweise schon richtig, akzeptabel oder gar bewiesen. Peer Review, das haben viele Untersuchungen gezeigt, kann sich täuschen. Es ist eigentlich nichts anderes als ein sozialer Filter und kann allenfalls sagen, was derzeit akzeptabel, vermittelbar und für andere interessant und verständlich ist. Nicht mehr und nicht weniger. [1] Dabei gilt es besonders zu beachten, dass seit ein paar Jahren ein ganzer Wald von vermeintlich peer-reviewten Online-Journals aus dem Boden geschossen ist, die nichts anderes als Gelddruckmaschinen für die Herausgeber sind. Denn die Autoren zahlen zum Teil nicht unerhebliche Summen für die Publikation. Der Peer-Review existiert nur auf dem Papier, und es ist leicht möglich, alles dort zu publizieren, auch offensichtlich falsche Ergebnisse, wie einer Untersuchung gezeigt hat [2]. Der amerikanische Bibliothekar Beall unterhält eine Liste solcher Herausgeber und Journals im Internet.
  3. Das behauptete Phänomen muss robust sein und damit mehr als eine zufällige Schwankung im Meer unserer kollektiven Wahrnehmung. Wir kennen das aus unserem Alltag: wir meinen irgendwas spezielles gesehen zu haben und sagen dann zu unserer Partnerin: „Schau mal, da sitzt ein Steinbock im Gras“. Weil wir unsere Brille nicht dabei haben, verwechseln wir einen Stein mit einem Steinbock. Unsere Partnerin hat bessere Augen und kann den Wahrnehmungsfehler aufklären. So ist das in der Wissenschaft auch häufig. Eine Arbeitsgruppe oder ein Forscher entdeckt was, vielleicht sogar mit akzeptierten Methoden nach neuestem Standard. Er kennt sich mit der Methode gut aus und ist sich also sicher, dass es sich nicht um einen Fehler, ein Artefakt oder eine Wahrnehmungstäuschung handelt. Auch seine Kollegen, die den Befund für eine wissenschaftliche Zeitschrift begutachten, sind seiner Meinung. Die Studie wird publiziert. Ist es deswegen schon „wissenschaftlich bewiesen“? Natürlich nicht. Damit ist gerade einmal der Diskurs eröffnet. Jemand sagt: „Schaut her, ich hab was interessantes“. So wie ich im Sommer zu meiner Frau gesagt habe: „Schau mal, da sitzt ein Steinbock in der Wiese“. Wie wird aber nun aus diesem ersten, vielleicht sogar einmaligen Befund eine wissenschaftliche Tatsache? Damit wollen wir uns heute beschäftigen. Denn nur durch Replikation, möglichst durch unabhängige Replikation und auch durch Replikation unter erweiterten und erschwerten Bedingungen und durch die anschließenden Kommunikationsprozesse in der wissenschaftlichen Literatur und der wissenschaftlichen Gemeinschaft wird aus einem Befund eine wissenschaftliche Tatsache. Die soziale Seite sparen wir uns für einen anderen Themenblog. Diesmal geht es vor allem um die Replikation.

„Replikation“ bedeutet so etwas wie: ein anderer sieht mit seinen Augen auf das gleiche Phänomen. Wenn auch er oder sie einen Steinbock sieht und noch mehr andere Leute auch, dann sitzt dort höchstwahrscheinlich wirklich ein Steinbock. Wenn ich alleine glaube einen Steinbock zu sehen, und alle anderen sagen: das ist doch ein normaler Stein, oder ein Baumstumpf, dann liege ich wahrscheinlich falsch und muss zum Augenarzt. Der Begründer der Gestalttherapie Fritz Perls pflegte zu sagen: „Wenn einer sagt ‚Du bist ein Affe‘, kannst Du es ignorieren. Wenn es zwei oder drei sagen, dann wird es Zeit, dass Du Dir eine Packung Erdnüsse kaufst.“ [3] Das ist also Replikation: das wiederholte Feststellen eines Sachverhalts, idealerweise mit ähnlichen Methoden, aber aus unterschiedlicher Perspektive.

In der Wissenschaft bedeutet Replikation je nach Fachgebiet etwas sehr anderes. In der Physik zum Beispiel, []

Lesen Sie den ganzen Beitrag hier: http://harald-walach.de/methodenlehre-fuer-anfaenger/16-was-heisst-wissenschaftlich-bewiesen-das-replikationsproblem-in-der-forschung/

Veröffentlicht von

avatar

Prof. Dr. Dr. Harald Walach

Harald Walach ist Psychologe, Philosoph und Wissenschafts­historiker. Der Professor für Forschungs­methodik komplementärer Medizin und Heilkunde gilt in Fachkreisen als Forscher­persönlichkeit mit einem exzellenten Ruf und wird in der Zeitschrift „Explore“ als „einer der herausragendsten europäischen Forscher auf dem Gebiet der Komplementär- und Alternativmedizin“ bezeichnet.