Mehr über Dunning-Kruger

Vor einigen Jahren schrieb ich einen Post über den Dunning-Kruger-Effekt. Zu der Zeit bekam ich noch meine metaphorischen Meeresbeine zum Schreiben und deshalb glaube ich nicht, dass der Beitrag so gut gelungen ist. Im Interesse, mich selbst auf einem höheren Niveau zu halten, habe ich mich heute dazu entschlossen, das Thema zu überdenken, um den ursprünglichen Beitrag zu verbessern und eine zukünftige Referenz für mich (und hoffentlich auch für Sie) bei der Diskussion mit anderen zu generieren. Das ist für mich eine Zeitersparnis, weil die Leute oft von der Wirkung sprechen, obwohl sie es ironischerweise nicht wirklich zu tief verstehen.

Das Wichtigste zuerst: Was ist der Dunning-Kruger-Effekt? Wie Sie fast überall finden werden, bezieht es sich auf die Idee, dass Menschen, die in manchen Bereichen unterdurchschnittlich leistungsfähig sind – wie logisches Denken oder Humor – dazu neigen, ihre Leistung als überdurchschnittlich zu beurteilen. Mit anderen Worten, die Leute sind ungenau bei der Beurteilung, wie gut sich ihre Fähigkeiten auf ihre Kollegen oder in einigen Fällen auf einen objektiven Standard stapeln. Außerdem wird dieser Effekt umso größer, je ungelehrter er ist . Nicht nur sind die schlechtesten Leistungen bei der Aufgabe schlechter als bei anderen, sondern sie sind auch schlechter darin zu verstehen, dass sie bei der Aufgabe schlecht sind. Man sagt, dass dieser Effekt erzielt wird, weil die Leute wissen müssen, was eine gute Leistung ist, bevor sie ihre eigenen richtig einschätzen können. Da unterdurchschnittliche Darsteller nicht verstehen, wie sie eine Aufgabe korrekt ausführen sollen , fehlt ihnen auch die Fähigkeit, ihre Leistung im Vergleich zu anderen korrekt zu beurteilen .

Flickr/frankieleon
Jetzt erhältlich bei Ben & Jerry's: Zwei Scoops of Failure
Quelle: Flickr / Frankieleon

Wie in meinem ersten Beitrag erwähnt (und von Kruger & Dunning selbst), sollte diese Art von Effekt nicht auf Bereiche ausgedehnt werden, in denen Produktions- und Beurteilungsfähigkeiten entkoppelt werden können. Nur weil Sie keine Note treffen können, um Ihr Leben in der Karaoke-Nacht zu retten, bedeutet das nicht, dass Sie nicht herausfinden können, welche anderen Sänger schlecht sind. Dieser Effekt sollte sich in erster Linie auch auf Bereiche beschränken, in denen das Feedback, das Sie erhalten, nicht objektiv ist oder die Leistungsstandards klar sind. Wenn Sie zum Beispiel aufgefordert werden, einen Automotor neu zu montieren, werden unqualifizierte Leute schnell erkennen, dass sie dies nicht ohne Hilfe tun können. Um den Grund zu verdeutlichen, warum die ursprüngliche Erklärung für dieses Ergebnis nicht ganz funktioniert – nicht einmal für die Bereiche, die in der ursprünglichen Arbeit untersucht wurden – wollte ich eine ziemlich wichtige Grafik der Wirkung von Kruger & Dunning (1999) untersuchen ) in Bezug auf ihre humor Studie:

Kruger, J. & Dunning, D. (1999)
Quelle: Kruger, J. & Dunning, D. (1999)

Meine grob hinzugefügten roten Pfeile zeigen das Problem. Auf der linken Seite sehen wir, was die Leute als Dunning-Kruger-Effekt bezeichnen: Diejenigen, die im Humorbereich am schlechtesten abschnitten, waren im Vergleich zu anderen auch die ungenausten, um ihre eigene Leistung zu beurteilen. Sie waren unerfahren und nicht bewusst. Die rechte Seite verrät jedoch das eigentliche Problem, das mir aufgefallen ist: Die besten Performer waren auch ungenau. Das Muster, das Sie gemäß der ursprünglichen Erklärung erwarten sollten , ist, dass die höhere Leistung, desto genauer schätzen sie ihre relativen Positionen, aber was wir sehen, ist, dass die besten Darsteller nicht ganz so genau sind wie diejenigen, die nur bescheiden darüber sind durchschnittlich. An dieser Stelle denken einige von Ihnen, dass dieser Punkt, den ich anspreche, im Grunde kein Thema ist, weil die besten Darsteller immer noch genauer waren als die schlechtesten Darsteller, und die Ungenauigkeit der rechten Hand, die ich hervorhebe, ist nicht spürbar . Lass mich versuchen, dich anders zu überzeugen.

Nehmen Sie für einen Moment an, dass die Leute nur raten , wie sie sich im Vergleich zu anderen verhalten haben. Da ein guter Sinn für Humor eine gesellschaftlich begehrenswerte Fähigkeit ist, tendieren die Menschen dazu, sich selbst in der Domäne "bescheiden überdurchschnittlich" zu bewerten und andere zu überzeugen, dass sie wirklich lustig sind (und weil in diesem Moment keine Konsequenzen folgen falsch liegen). Trotz dieser nur Vermutungen werden diejenigen, die tatsächlich bescheiden überdurchschnittlich sind, in ihrer Selbsteinschätzung genauer sein als diejenigen, die in der unteren Hälfte der Bevölkerung sind; diese Genauigkeit hat nichts mit ihrem wahren Niveau der Einsicht in ihre Fähigkeiten zu tun (sie werden als ihre metakognitiven Fähigkeiten bezeichnet). Ebenso werden diejenigen, die überdurchschnittlich überdurchschnittlich sind (dh ihre Fähigkeiten unterschätzt haben), weniger genau sein; es wird nur weniger von ihnen geben als diejenigen, die ihre Fähigkeiten überschätzt haben.

In Anbetracht der Ergebnisse von Kruger & Dunning (1999) spiegelt das obige Szenario, das ich gerade skizziert habe, die Realität nicht perfekt wider. Es gab eine positive Korrelation zwischen der Leistung der Menschen und ihrer Einschätzung ihres relativen Ansehens (r = 0,39), aber die Beurteilungen der eigenen Fähigkeiten (die schwarze Linie) erscheinen größtenteils relativ einheitlich. Wenn Sie wiederum ihre Ergebnisse in den Studien 2 und 3 des gleichen Artikels (logisches Denken und Grammatik) betrachten, fallen die Korrelationen zwischen Leistung und Leistungsbeurteilungen im Vergleich zu anderen auf einen niedrigen Wert von r = .05 bis zu einem Höchstwert von r = .19, was statistisch signifikant war. Die Urteile der Menschen über ihre relative Leistung waren bei mehreren derartigen Aufgaben nahezu gleich. In dem Maße, in dem diese metakognitiven Leistungsurteile die tatsächliche Leistung als Input für die Bestimmung der relativen Bewertung verwenden, ist dies eindeutig nicht der Hauptfaktor für Niedrig- oder Leistungsträger.

Flickr/saturnism
Sie alle kaufen im selben kognitiven Laden ein
Quelle: Flickr / Saturnismus

In der Tat sollte die tatsächliche Leistung aus zwei Gründen nicht als primärer Input für diese metakognitiven Systeme (jene, die relative Leistungsbeurteilungen generieren) erwartet werden. Die erste ist die ursprüngliche Leistungserklärung von Kruger & Dunning (1999): Wenn das System , das die Performance erzeugt, keinen Zugriff auf die "richtige" Antwort hat, dann erscheint es besonders seltsam, dass ein anderes System – das Meta-Cognitive – existiert Eins – hätte Zugang zu der richtigen Antwort, aber nur um die Leistung zu beurteilen, anstatt sie zu generieren.

Um das in ein schnelles Gedächtnisbeispiel zu bringen, sagen Sie, dass Sie einen Tipp-of-the-Tongue-Zustand erlebt haben, wo Sie sicher sind, dass Sie die richtige Antwort auf eine Frage wissen, aber Sie können sich nicht mehr daran erinnern. In diesem Fall haben wir ein Langzeitspeichersystem, das Leistung erzeugt (indem versucht wird, eine Antwort zu erinnern) und ein metakognitives System, das Konfidenzbeurteilungen erzeugt (der Zungenspitzenzustand). Wenn das metakognitive System Zugang zu der richtigen Antwort hatte, sollte es es nur mit dem Langzeitgedächtnissystem teilen, anstatt die richtige Antwort zu verwenden, um dem anderen System zu sagen, weiter nach der richtigen Antwort zu suchen. Der letztgenannte Weg ist eindeutig ineffizient und redundant. Stattdessen sollte das metakognitive System einige andere Hinweise als den direkten Zugang zu Informationen verwenden, um seine Urteile zu generieren.

Der zweite Grund, warum die tatsächliche Leistung (im Vergleich zu anderen) kein Input für diese metakognitiven Systeme wäre, ist, dass Menschen keinen verlässlichen und genauen Zugang zu Daten auf Populationsebene haben. Wenn du die Leute fragst, wie lustig sie im Vergleich zu allen anderen sind , haben sie vielleicht einen Sinn dafür (wie lustig bist du, im Vergleich zu bestimmten Leuten, die du kennst), aber sie haben sicherlich keinen Zugang dazu, wie lustig jeder ist weil sie nicht alle kennen; Sie kennen die meisten Leute nicht einmal. Wenn Sie nicht über die relevanten Informationen verfügen, sollte es selbstverständlich sein, dass Sie sie nicht verwenden können, um Ihre Antworten zu informieren.

Flickr/Amy West
Besser anfangen, mehr Leute zu treffen, um im nächsten Experiment besser zu machen
Quelle: Flickr / Amy West

Wenn also diese metakognitiven Systeme Eingaben verwenden, bei denen es sich nicht um genaue Informationen handelt, um ihre Urteile darüber zu treffen, wie wir uns auf andere stapeln, was wären diese Eingaben? Eine mögliche Eingabe wäre die Aufgabenschwierigkeit , nicht in dem Sinn, wie schwierig die Aufgabe für eine Person objektiv ist, sondern im Hinblick darauf, wie schwierig sich eine Aufgabe anfühlt . Das bedeutet, dass Faktoren, wie schnell eine Antwort in den Sinn kommen kann, in diesen Urteilen eine Rolle spielen, auch wenn die Antwort selbst falsch ist. Wenn sich der Humorwert eines Witzes leicht einschätzen lässt, könnten die Leute geneigt sein zu sagen, dass sie in diesem Bereich überdurchschnittlich sind, selbst wenn sie es nicht sind.

Daraus ergibt sich eine wichtige Vorhersage: Wenn Sie Personen mit Aufgaben betrauen , die sich schwierig anfühlen , sollten Sie feststellen , dass sie weitgehend vermuten, dass sie in dieser Domäne unterdurchschnittlich sind. Wenn jeder tatsächlich davon ausgeht, dass sie unterdurchschnittlich sind (unabhängig von ihrer tatsächlichen Leistung), bedeutet dies, dass diejenigen, die die besten Leistungen erbringen, bei der Beurteilung ihrer relativen Fähigkeiten am ungenauesten sind . Bei Aufgaben, die sich leicht anfühlen, sind die Menschen möglicherweise unqualifiziert und unbewusst; Für diejenigen, die sich schwer fühlen, sind die Leute zwar geschickt, aber immer noch nicht bewusst.

Genau dies haben Burson, Larrick & Klayman (2006) in drei Studien getestet. Während ich nicht näher auf die Besonderheiten all ihrer Studien eingehen werde (das wird schon lange), werde ich eine Grafik aus einer ihrer drei Studien neu erstellen, die ihr gesamtes Muster an Ergebnissen ziemlich gut erfasst:

Burson, K., Larrick, R., & Klayman, J. (2006)
Quelle: Burson, K., Larrick, R. & Klayman, J. (2006)

Wie wir sehen können, war es bei den getesteten Domains nun schwieriger, dass die schlechtesten Performer ihren Perzentilrang genauer einschätzen als die besten. Bei mittelschweren Aufgaben wurden die besten und schlechtesten Leistungen gleichermaßen kalibriert. Es scheint jedoch nicht, dass diese Genauigkeit in erster Linie auf ihre tatsächlichen Einblicke in ihre Leistung zurückzuführen ist; es geschah so, als ob ihre Vermutungen der Wahrheit näher kamen. Wenn die Leute denken: "Diese Aufgabe ist schwer", scheinen alle ihre Leistungen als bescheiden zu bezeichnen. wenn sich die Aufgabe stattdessen leicht anfühlt, schätzen sie alle ihre Leistung als bescheiden überdurchschnittlich ein. Inwieweit dies der Realität entspricht, hängt weitgehend vom Zufall ab, im Verhältnis zur wahren Einsicht.

Bemerkenswert ist, dass, wenn Sie die Menschen zu verschiedenen Arten von Urteilen auffordern, es einen bescheidenen durchschnittlichen Vorteil für die leistungsstärksten, im Vergleich zu den unteren, gibt (oder zumindest geben kann). Konkret, wenn Sie die Leute bitten, ihre absolute Leistung zu beurteilen (dh, wie viele dieser Fragen haben Sie richtig verstanden?) Und vergleichen Sie diese mit ihrer tatsächlichen Leistung, die besten Performer hatten manchmal ein besseres Verständnis für diese Schätzung als die schlechtesten, aber Die Größe dieses Vorteils variierte je nach Art der Aufgabe und war nicht vollständig konsistent. Gemittelt über die von Burson et al. (2006) berichteten Studien zeigten die Leistungsträger der oberen Hälfte eine bessere Korrelation zwischen ihrer wahrgenommenen und tatsächlichen absoluten Leistung (r = 0,45) im Vergleich zu den unteren Leistungsträgern (r = 0,05). Die entsprechenden Korrelationen für die tatsächlichen und relativen Perzentilen waren in der gleichen Richtung, aber niedriger (rs = 0,23 bzw. 0,03). Auch wenn die Vorstellung, dass die besten Performer für ihren relativen Rang sensibler sind, eine gewisse Wahrheit sein könnte, scheint der Großteil der Fehlkalibrierung von anderen Faktoren beeinflusst zu sein.

Flickr/Ruin Raider
Fahren ist immer noch leicht, deshalb bin ich immer noch überdurchschnittlich
Quelle: Flickr / Ruinräuber

Diese Urteile über die relative Stellung im Vergleich zu anderen scheinen für die Menschen ziemlich schwierig zu sein. Wie sie sollten, wirklich; Zum größten Teil fehlt uns der Zugang zu den relevanten Informationen / Rückmeldungen und es gibt mögliche Probleme mit der sozialen Erwünschtheit, verbunden mit einem Mangel an Konsequenzen, um falsch zu liegen. Dies ist im Grunde ein perfekter Sturm für Ungenauigkeiten. Bemerkenswert ist vielleicht, dass die Korrelation zwischen der relativen Leistung und der tatsächlichen Leistung für eine Domäne in Burson et al. (2006) ziemlich eng war: Kenntnis von Popmusik-Trivia (deren Graphen hier zu sehen sind). Da Popmusik die Art von Dingen ist, über die Menschen mehr Erfahrung haben, mit anderen zu lernen und zu reden, ist es ein guter Kandidat für einen Fall, in dem diese Urteile genauer sein können, weil die Leute mehr Zugang zu den relevanten Informationen haben.

Der wichtige Punkt, der von dieser Forschung genommen werden sollte, ist, dass Menschen nicht besonders gut darin sind, ihre Fähigkeiten relativ zu anderen zu beurteilen, und dies unabhängig davon, ob die Richter selbst erfahren oder unqualifiziert sind. Zumindest für die meisten untersuchten Kontexte; Es ist durchaus plausibel, dass Menschen – wiederum qualifiziert und unqualifiziert – ihre relative (und absolute) Leistung besser beurteilen können, wenn sie Erfahrung mit einer fraglichen Domäne haben und ein aussagekräftiges Feedback zu ihrer Leistung erhalten haben. Dies ist der Grund, warum Menschen manchmal aus einem Major oder Job ausscheiden, nachdem sie ein konstantes negatives Feedback erhalten haben, und glauben, dass sie nicht so ausgeschnitten sind, anstatt zu glauben, dass sie in diesem Kontext tatsächlich überdurchschnittlich sind. Sie werden wahrscheinlich die geringste Fehlkalibrierung für Bereiche feststellen, in denen die Beurteilung der Fähigkeiten der Menschen die Realität treffen muss und es Konsequenzen für das Unrecht gibt.

Referenzen: Burson, K., Larrick, R. & Klayman, J. (2006). Erfahren oder unerfahren, aber immer noch nicht bewusst: Wie die Wahrnehmung von Schwierigkeiten Fehlkalibrierungen in relativen Vergleichen verursacht Journal of Personality & Social Psychology, 90 , 60-77.

Krüger, J. & Dunning, D. (1999). Unerfahren und unbewusst: Wie Schwierigkeiten bei der Erkennung der eigenen Inkompetenz zu überhöhten Selbsteinschätzungen führen. Zeitschrift für Persönlichkeit und Sozialpsychologie, 77 , 1121-1134.