Der Floh

Wie man Experten dumm macht.

Es gibt einen alten Witz über einen Wissenschaftler und einen Floh. Der Wissenschaftler legte einen Floh auf den Tisch, schlug mit der Hand schwer auf den Tisch und der Floh machte einen Satz. Als nächstes riss der Wissenschaftler zwei Beine des Flohs ab und schmatzte erneut, und der Floh sprang erneut. Der Wissenschaftler riss zwei weitere Beine ab, wiederholte die Prozedur und wieder sprang der Floh.

Der Wissenschaftler riss die letzten beiden Beine ab, schlug mit der Hand auf den Tisch und – ohne zu springen. Er versuchte es noch einmal, schlug mit der Hand schwer auf den Tisch, aber der Floh machte keinen Sprung.

Der Wissenschaftler schrieb seine Bemerkung auf: “Wenn ein Floh alle Beine verliert, wird er taub.”

In ähnlicher Weise, wenn Sie Experten in eine Situation bringen, in der sie eine ungewohnte Aufgabe ausführen müssen (zwei Beine weg), und einen sinnvollen Kontext entfernen (zwei weitere Beine weg) und ein unangemessenes Bewertungskriterium anwenden (letzte zwei Beine weg). Es ist ein Fehler, daraus zu schließen, dass Experten dumm sind.

• ADHS und seine Auswirkungen auf die Langlebigkeit
• Die Freundlichkeit, die Präsident Trump verdient
• Drehen Sie die Hitze an diesem Feiertag herunter
• Wie man den emotionalen Dollar übergibt
• Hält ein beschäftigter Zeitplan Angst und Depression in der Bucht?

Ich wurde an diesen Witz erinnert, als ich einige Berichte darüber las, wie fortgeschrittene künstliche Intelligenzsysteme Experten übertrafen. Im Gesundheitswesen kann ein Diagnostiker, der einen Patienten behandelt, beispielsweise eine Röntgenaufnahme auf Anzeichen einer Lungenentzündung untersuchen, aber AI-Systeme können eine Lungenentzündung in Röntgenaufnahmen genauer erkennen. Der Arzt kann auch die Ergebnisse einer Reihe von Blutuntersuchungen untersuchen, aber KI-Systeme können Probleme aus elektronischen Patientenakten genauer als Ärzte erkennen.

Was bei diesem Bild fehlt, ist, dass der Arzt auch die Möglichkeit hat, Patienten zu treffen und sie zu beobachten – wie sie sich bewegen, insbesondere im Vergleich zum letzten Bürobesuch. Wie sie atmen und so weiter. Die KI-Systeme haben keine Möglichkeit, diese Beobachtungen zu berücksichtigen, so dass die vergleichenden Studien jegliche Beobachtung aussortieren und von den Ärzten verlangt werden, ihre Einschätzungen vollständig auf den objektiven Aufzeichnungen zu stützen. Das sind zwei Beine weg. Die Ärzte dürfen keine persönliche Vorgeschichte mit den Patienten in Betracht ziehen – noch zwei Beine davon entfernt. Die Ärzte können sich nicht mit ihren Familienmitgliedern beraten – eine letzte Etappe ab. Die Forscher folgern daraus, dass die Ärzte nicht sehr geschickt sind – nicht so genau wie die KI.

Ich denke, was wir brauchen, ist eine Möglichkeit für die KI-Entwickler, die Urteile der Ärzte zu verbessern, nicht sie zu ersetzen. Hier ist ein Beispiel, eine Studie von Wang et al. (2016). Die Fehlerquote der Pathologen betrug 3,5 Prozent, während die Fehlerquote des AI-Modells nur 2,9 Prozent betrug. Ein klarer Sieg für das KI-Modell scheint es. Die kombinierte Fehlerrate, die den Pathologen zur KI addierte, betrug jedoch 0,5%.

• Mann zum Monster
• Warum es für Frauen schwer ist, sich gut zu fühlen
• Die glückliche Art, Gewicht zu verlieren
• Was Männer und Frauen wirklich über Dreier denken
• Wie man einen Narzissmus entdeckt

Hinzufügen eines Pathologen zur KI

Quelle: Wang et al. generiert diese Grafik

Eine weitere Studie (Rosenberg et al., 2018) beschreibt, wie ein von einer KI angetriebener Mechanismus “Schwarmintelligenz” unter einer Gruppe von Radiologen verwendet, die Röntgenaufnahmen der Brust auf das Vorliegen einer Lungenentzündung untersuchen. Der Schwarm übertraf die Leistung der Standard-Radiologen um 33 Prozent, aber auch das hochentwickelte Deepford-Lernsystem von Stanford um 22 Prozent.

Siddiqui (2018) hat ein weiteres Beispiel für die Partnerschaft zwischen Mensch und KI beschrieben. Etwa drei Viertel der Zeit können erfahrene Ärzte eintausend sehr krankes Kind identifizieren. Um die Erkennungsgenauigkeit zu erhöhen und die Anzahl der vermissten Kinder zu reduzieren, verwenden einige Krankenhäuser jetzt quantitative Algorithmen aus ihren elektronischen Gesundheitsakten, um zu bestimmen, welche Fieber gefährlich sind. Die Algorithmen stützen sich vollständig auf die Daten und sind genauer als die Ärzte, sodass sie die schweren Infektionen in neun von zehn Fällen auffangen. Die Algorithmen hatten jedoch das Zehnfache der Fehlalarme. Ein Krankenhaus im Philadelphia-Krankenhaus ging von der computergestützten Liste der besorgniserregenden Fieberkrankheiten aus, musste dann aber von den besten Ärzten und Krankenschwestern die Kinder überblicken, bevor die Infektion für tödlich erklärt wurde und sie wegen intravenöser Medikamente ins Krankenhaus gebracht wurden. Ihre Teams lösten die Fehlalarme des Algorithmus mit hoher Genauigkeit aus. Darüber hinaus fanden die Ärzte und Krankenschwestern Fälle, die der Computer verpasst hatte, wobei die Erkennungsrate tödlicher Infektionen allein durch den Algorithmus von 86,2 Prozent und durch den Algorithmus von 99,4 Prozent in Verbindung mit der menschlichen Wahrnehmung stieg.

Es ist also leicht, Experten dumm zu machen. Es ist jedoch aufregender und erfüllender, ihre Fähigkeiten zum Einsatz zu bringen.

Ich danke Lorenzo Barberis Canonico, dass er mich auf diese Studien aufmerksam gemacht hat.

Verweise

Rosenberg, L., Willcox, G., Halabi, S., Lungren, M., Baltaxe, D. & Lyons, M. (2018). Künstliche Schwarmintelligenz zur Verstärkung der diagnostischen Genauigkeit in der Radiologie. . IEMCON 2018 – 9. jährliche Konferenz zu Informationstechnologie, Elektronik und Mobilkommunikation

Siddiqui, G. (2018). Warum die Ärzte Werkzeuge ablehnen, die ihre Arbeit erleichtern. Scientific American, Observations-Newsletter, 15. Oktober 2018.

Wang, D., Khosla, A., Gargeya, R., Irshad, H., Beck, AH (2016). Deep Learning zur Erkennung von metastasiertem Brustkrebs. Unveröffentlichtes Papier.