Zwei Implikationen des Bayes-Theorems

Das Rev lehrt Ungewissheit.

In der Wissenschaft ist Fortschritt möglich. In der Tat, wenn man an den Satz von Bayes glaubt, ist wissenschaftlicher Fortschritt unvermeidlich, da Vorhersagen gemacht werden und Überzeugungen getestet und verfeinert werden . ~ Nate Silber

Wenn die Wahrscheinlichkeit, dass das Bayes-Theorem wahr ist, 0 ist, wie lautet die revidierte Wahrscheinlichkeit, dass es wahr ist, wenn wir die Hypothese, dass es falsch ist, bei p = .05 zurückweisen? ~ JIK

Thomas Bayes war ein englischer Geistlicher und Mathematiker, der unter anderem daran interessiert war, einen Gottesbeweis zu finden. Er konnte es nicht, aber er hinterließ eine Abhandlung und ein Theorem, das, nachdem es posthum veröffentlicht wurde (Bayes, 1764), zur Grundlage dessen wurde, was wir heute Bayessche Statistik nennen. Der Satz von Bayes beschreibt konzeptionell, wie vorbestehende Überzeugungen (Vermutung, Hypothese oder Ahnung) angesichts neuer Beweise (Beobachtungen, Daten) so aktualisiert werden sollten, dass es keine Widersprüche gibt. Mit anderen Worten, der Satz von Bayes garantiert Kohärenz und verspricht graduell zunehmende Glaubenssicherheitsgrade. Kein Wunder, dass viele Menschen (Statistiker, Psychologen, Maschinisten) das Theorem als Definition von Rationalität betrachten. In diesem leicht technischen Aufsatz zeige ich zwei Implikationen des Satzes von Bayes auf, die in der Mathematik nicht besonders tief verborgen sind, die aber tief in ihrer Relevanz für Forschung und Religion liegen. Aber zuerst müssen wir die Begriffe des Theorems einführen und wie sie zueinander in Beziehung stehen (was die Aufgabe des Theorems ist).

• Die Kolben der Liebe
• Wie man effektives Selbstgespräch konstruiert
• Was läuft wirklich bei der Arbeit?
• Zweck: Was treibt all die Dinge an, die wir tun?
• Fragst du dich, warum du einsam bist?

Abbildung 1. Bayes ‘Theorem.

Quelle: J. Krüger

Abbildung 1 zeigt den Satz. Die Wahrscheinlichkeit, dass eine Annahme (H für Hypothese von hier aus) wahr ist, wenn die Beweise (D für Daten) oder p (H | D) gegeben sind, ist gleich dem Produkt der vorherigen Wahrscheinlichkeit der Hypothese, p (H) dh, bevor die neuen Daten eingeführt werden, und das “Diagnoseverhältnis”. Dieses Verhältnis ist die Wahrscheinlichkeit, dass die Daten annehmen, dass die Hypothese wahr ist, p (D | H), über die Gesamtwahrscheinlichkeit der Daten, p (D ), dh die summierte Wahrscheinlichkeit der Daten unter allen Hypothesen. Um die Sache zu vereinfachen ( ja! ), Nehmen wir an, dass es nur eine alternative Hypothese gibt, ~ H, deren Wahrscheinlichkeit 1 – p (H) ist. Nun können wir sagen, dass p (D) = p (H) * p (D | H) + p (~ H) * p (D | ~ H) ist. Der Satz ist vollständig. Sehen Sie sich erneut Abbildung 1 an, um diese Tatsache zu schätzen.

• Ihre Begegnungen mit obdachlosen Menschen neu denken
• Im Gegensatz zu Religion ist Wissenschaft manchmal falsch
• Schnelle, einfache Möglichkeiten, die sexuellen Bewegungen von Liebenden zu trainieren
• Winde der Veränderung: Im Kopf der Alzheimer-Krankheit
• 10 Wege, um aufzuhellen, wenn Sie ein chronisches Problem haben

Die erste Implikation des Satzes von Bayes ist, dass der Reverend Gott in der Theorie bewiesen haben könnte, aber dass die notwendige Bedingung extrem ist. Es ist möglich, dass p (H | D) 1 ist, aber nur, wenn p (D | H) = 1 und p (D | ~ H) = 0 ist. Gewissheit der Gewissheit erfordert Sicherheit von Daten. Die Daten müssen angesichts der Hypothese von Interesse sicher sein und unter der alternativen Hypothese unmöglich sein. Wenn dieses letztere Paar von Bedingungen erfüllt ist, ist die vorherige Stärke des Glaubens (in Gott oder was auch immer) irrelevant. Beweis (dh die Kombination von p (D | H) = 1 und p (D | ~ H) = 0) beseitigt den Unterschied zwischen dem Anwalt und dem Skeptiker.

So viel zur Religion. In den meisten empirischen Wissenschaften ist ein unwiderlegbarer Beweis selten. Daten kommen mit Lärm und Unsicherheit, und Hypothesen und die Überzeugungen und Annahmen, die sie unterstützen, bleiben eher probabilistisch. Allenfalls könnten Forscher sagen, dass sie “moralische Gewissheit” haben, dass X wahr ist. Moral ist bekanntlich unvollkommen, die Tür für einen Sinneswandel angesichts neuer Daten ist nur angelehnt.

Die zweite Implikation des Satzes von Bayes ist relevant für die Frage, wie gut die Wahrscheinlichkeit der Daten unter der Hypothese, p (D | H), mit der späteren Wahrscheinlichkeit der Hypothese übereinstimmt, dh mit den Daten p (H | D). Diese Frage ist von Interesse für alle Forscher, die Hypothesen testen möchten und nicht nur, ob die Daten glaubwürdig sind. Diese Forscher wollen Rückschlüsse aus den Daten auf die Hypothesen ziehen. Sie wollen mit p (D | H) auf p (H | D) schließen. Um das zu tun, brauchen sie den vollständigen Satz. Sie müssen p (H), p (~ H) und p (D | ~ H) kennen (oder postulieren). Eine Folgerung von p (D | H) zu p (H | D) ist stark, da die beiden Terme miteinander korrelieren. Mithilfe von Simulationsexperimenten stellten wir fest, dass diese Korrelationen positiv sind, aber dass ihre Größe in vorhersehbarer Weise stark variieren kann (Krueger & Heck, 2017). Hier wollen wir die Bedingungen finden, unter denen p (D | H) und p (H | D) identisch sind.

Der Satz von Bayes zeigt, dass p (D | H) = p (H | D) genau dann gilt, wenn p (H) = p (D) ist. Betrachten wir nun den Fall von p (D | H) = .05, wo der Forscher nach der Konvention das Ergebnis für signifikant erklärt. Aller Wahrscheinlichkeit nach ist p (H | D) nicht so niedrig wie p (D | H), aber es könnte sein. Die Frage von heute ist: Was braucht es, um es so zu machen? Eine kleine Algebra zeigt, dass p (D | H) = p (H | D) ist, wenn p (D | ~ H) = (p (H) – p (D | H)) / p (~ H). Lass uns ein paar Beispiele ausprobieren. Wenn wir p (D | H) = .05 gewählt haben, haben wir vielleicht eine Hypothese, die am Anfang weder besonders wahrscheinlich noch unwahrscheinlich erscheint, dh p (H) = 0,5. Wenn nun p (D | ~ H) = .9 ist, haben wir die gewünschte Gleichheit von p (H | D) = p (D | H) = .05. Das ist ein schönes Arrangement. Die vorherige Annahme ist maximal unsicher (p (H) = 0,5); die Ergebnisse sind signifikant (p (D | H) = .05) und sehr wahrscheinlich unter der alternativen Hypothese (p (D | ~ H) = .9); und die Nullhypothese ist in der Tat ablehnbar (p (H | D) = .05, was bedeutet, dass p (~ H | D) = 0.95 ist.

Betrachten Sie nun die beunruhigenderen Konsequenzen, die sich ergeben, wenn wir von diesem Best-Case-Szenario abweichen. Was ist, wenn der Forscher eine riskante alternative Hypothese auswählt, dh einen Fall, in dem p (H) hoch ist? Wenn p (H) = 0,8 wäre, müsste beispielsweise p (D | ~ H) 3,75 sein, so dass p (D | H) = p (H | D) = 0,05 gilt. Ein unmögliches Ergebnis! Bayes ‘Theorem verbietet es. Wenn Sie risikoreiche Forschung betreiben (wenn p (H) hoch ist) und es schaffen, statistische Signifikanz zu erhalten, ist garantiert, dass die Hypothese nicht so unwahrscheinlich ist wie die Daten, die zu ihrer Ablehnung führen. Bei p (H) = 0,525 ist p (D | ~ H) = 1. Für jeden höheren Wert von p (H) gilt p (H | D)> p (D | H). Dies ist ein Horn des Dilemmas.

Das andere Horn entsteht, wenn die Forschung sicher ist. Wenn p (H) niedrig ist, das heißt, wenn die Wahrscheinlichkeit der Alternativ- oder Substantivhypothese p (~ H) a priori hoch ist, ist die Gleichheit von p (H | D) und p (D | H) leicht erhalten, aber für den Preis, dass p (D | ~ H) niedrig ist. Wenn beispielsweise p (H) = 0,1 und beide p (D | H) und p (H | D) = 0,05 sind, dann ist p (D | ~ H) = 0,056. Das mag wie ein groteskes Ergebnis erscheinen. Auf der einen Seite wird die alternative Hypothese sehr wahrscheinlich a priori (p (~ H) = .9) betrachtet, während auf der anderen Seite diese Hypothese eine Anpassung an die Daten liefert, die fast so schlecht ist wie die Übereinstimmung mit der Hypothese (H) das wird abgelehnt.

Die Moral der Geschichte ist, dass der Satz von Bayes uns nicht nur Kohärenz lehrt, sondern uns auch dazu drängt (wenn er sprechen könnte), unser Bestes zu geben, um Hypothesen mittlerer Wahrscheinlichkeit zum Testen zu wählen. Hier liefert die empirische Forschung die größten Belohnungen.

Beweis? Welcher Beweis? Als ich die erste Implikation niederschrieb (“Beweis beseitigt die Meinungsverschiedenheit zwischen dem Anwalt und dem Skeptiker”), wurde ich aus meinem Humean Schlummer gerissen. David Hume (1764) argumentierte bekanntermaßen ( und bewiesen! ), Dass Sie die Gültigkeit der Induktion nicht durch deduktive Mittel beweisen können (siehe hier in der Stanford Enzyklopädie). Das klischeehafte Beispiel für diese sehr tiefe Einsicht ist, dass egal wie viele weiße Schwäne du gesehen hast, du es nicht als bewiesen ansehen kannst, dass kein schwarzer Schwan existiert. Dies ist der Fall, wenn die Anzahl der möglichen Schwäne nicht begrenzt ist. Das Argument gilt nicht für eine endliche Population. Nun müssen wir fragen, ob p (D | H) 1 sein kann. Wenn wir im Land der Theorie arbeiten und eine gaußsche (oder unbeschränkte) Verteilung voraussetzen, ist es schwer zu sehen, wie das auf der Grundlage der Gaußschen Verteilung aussehen könnte Grundlage der Daten. Daten – wie sie in einer Messung vorkommen – sind endlich in ihrem numerischen Wert. Daher ist immer ein extremerer Wert möglich. Daher muss die Wahrscheinlichkeit, dass diese Daten oder Daten weniger extrem sind, kleiner als 1 sein. Daher ist das Argument, das ich gemacht habe, nämlich dass der Satz von Bayes uns erlaubt, bestimmte Überzeugungen aus beobachteten Daten zu extrahieren, nur in der Theorie, aber nicht in der Praxis gültig. Hume gewinnt (siehe hier für eine interessante historische Notiz, die darauf hindeutet, dass die Bemühungen von Bayes motiviert waren, Hume zu widerlegen).

Wir beenden mit einem Zitat von David Hume, nur um zu zeigen, dass der große Skeptiker einen schlechten Sinn für Humor hatte. “Ich habe über alle möglichen Themen geschrieben … aber ich habe keine Feinde; außer in der Tat alle Whigs, alle Tories und alle Christen “ (hier gefunden).

Bayes, T. (1764). Ein Essay zur Lösung eines Problems in der Chancenlehre . Philosophische Transaktionen der Royal Society of London, 53 , 370-418.

Hume, D. (1739). Eine Abhandlung über die menschliche Natur . Oxford, England: Oxford University Press.

Krüger, JI & Heck, PR (2017). Der heuristische Wert von p in der induktiven statistischen Inferenz. Grenzen in der Psychologie: Pädagogische Psychologie . https://doi.org/10.3389/fpyg.2017.0908