Algorithmen sind äußerst geschickt darin, riesige Informationsmengen präzise zu verarbeiten. Ein aktuelles Problem bei einem Bankkredit ist jedoch ein beunruhigender Blick hinter den Vorhang.
Letzte Woche habe ich einen persönlichen Kredit beantragt. Meine Bank hatte mir gesagt, ich könnte das Darlehen online beantragen. So habe ich durch ihre Website gemacht.
Ich füllte die Informationen aus, gab meine persönlichen Daten an und drückte auf “Senden”.
Als ich am nächsten Morgen aufwachte, hatte die Bank den Kredit genehmigt und mir mitgeteilt, dass sie das Geld jetzt auf mein Konto überweisen würde. Hurra.
Außer dass die Rate 7,9% betrug. Etwa 5% höher als ich erwartet hatte. Die Bank hatte angegeben, es könnte bis zu 3% betragen (wie auf ihrer Website angegeben). Dies basierte natürlich auf einer Bonitätsprüfung. Meines Wissens ist mein Kredit gut. Warum also 7,9%?
Ich hatte den Verdacht, dass dies ein Problem mit meinem Kredit war. Also rief ich die Bank an, um es herauszufinden.
Mir wurde gesagt, dass die Anwendung das Formular einfach einem Algorithmus übergibt und sie eine Rate zurückbekommen.
“Weißt du, warum es diese Rate ist?”
“Tut mir leid, Sir.”
“Ist es meine Gutschrift?”
“Wir erhalten keine Informationen über Ihre Gutschrift.”
“Kannst du sehen?”
„Nein, wir haben keinen Zugriff auf diese Informationen. Es steht alles im Algorithmus. ”
“Sie übermitteln also einfach die Informationen an einen Algorithmus und sagen Ihnen, welche Rate ich bekomme?”
“Ja.”
Ich bat sie, das Darlehen zu kündigen.
Dann ging ich online auf eine andere Website und reichte eine andere Bewerbung ein. Die Website gab meine Zustimmung sofort zurück und sagte, dass die Rate 10,9% betrug. Yikes
Ich gab mich zurück, um zu meiner ursprünglichen Bank zurückzukehren und deren unerwartet hohen Zinssatz zu akzeptieren.
Ich rief meine Bank an und fragte sie, ob ich das stornierte Darlehen aufheben könne.
“Nein, aber Sie können sich erneut mit mir am Telefon bewerben.”
“Ok”, sagte ich, “lass es uns tun.”
Sie nahm meine Informationen wieder auf. “Wie ist dein Titel”, sagte sie. „In Ihrer Online-Bewerbung setzen Sie„ Professor “ein. Aber auf Ihrem Bankkonto steht ‘Dr.’. “Beachten Sie, dass alle meine Bankkarten von derselben Bank unterschiedliche Namen haben, daher ist dies nicht trivial.
“Es spielt keine Rolle.”
“Nun, du musst einen auswählen.”
“Dr., denke ich, damit es nichts verwirrt.”
Sie hat den Rest meiner Informationen genauso übernommen wie online und reichte meine Bewerbung beim Algorithmus ein. Eine Sekunde später sagte sie: „Es wurde mit 3% genehmigt. Wir schicken Ihnen die Unterlagen per Post. “
Beachten Sie, dass der offensichtliche Fehler hier ziemlich einfach war. Der Bankalgorithmus hat mich nicht als Mitglied der Bank erkannt, daher habe ich nicht die Bankmitgliedsrate erhalten. Es hat mich nicht erkannt, weil ich einen anderen Titel verwendet habe.
Ich hatte “Professor” online gewählt, weil es das war, was ich war, aber auf meinem Bankkonto stand “Dr.”, was auch ich war. Genauer gesagt, Dr. war genau das, was ich war, als ich bei der Bank unterschrieb. Wenn Sie ich sind, ist der Unterschied bei den Titeln völlig unerheblich. Wenn die Bank nicht nach einer fragt, würde ich sie nicht einsetzen.
Algorithmen, die keine Semantik haben, um zu verstehen, was Wörter bedeuten, wissen nicht, wie wichtig ein Titel ist. Ich nehme an, wenn der Algorithmus die Informationen, mit denen er sich befasste, irgendwie verstehen würde, hätte er zu sich selbst gesagt: „99,9% von allem, was der Bewerber über sich selbst sagt, ist dasselbe wie diese Person, die ein Konto bei uns hat. Am wichtigsten ist, dass dieser Einzelne einen Account bei uns hat und dass er eine Kontonummer hat. In der Tat wollen sie, dass das Geld auf das Bankkonto dieses anderen Mannes geschickt wird. Vielleicht sind sie derselbe Typ! ”
Aber der Algorithmus hat das nicht getan. Der Titelunterschied wurde als vollständiger Unterschied gleichgesetzt. Könnte es dasselbe tun, wenn sich die Anzahl meiner Angehörigen geändert hat? Oder wenn sich mein Partner geändert hat? Was ist mit Leuten, die ihren Nachnamen, ihr Geschlecht ändern oder manchmal, aber nicht immer, Suffixe wie Junior enthalten? Was ist, wenn ich meine Adresse kürzlich falsch verschoben oder eingegeben habe? Welche potenziellen Auswirkungen hat ein Tippfehler? In diesem Fall war der Fehler etwa 100 US-Dollar pro 1000 US-Dollar geliehen.
Beachten Sie, dass der Algorithmus, indem er den Fehler, den ich mit dem Telefon am Telefon sprach, nicht preisgab, diese Person dumm machte, indem er ihn zwang, mich nach einem Titel zu fragen, der mich falsch identifizieren würde, obwohl sie bereits wusste, wer ich war.
Es ist leicht zu sagen, dass es mein Fehler war. Es war offensichtlich mein Fehler. Auf den ersten Blick bin ich die einzige Person, die anders hätte handeln können, um das Ergebnis zu ändern.
Man könnte argumentieren, dass es die Programmierer des Algorithmus waren, die den Fehler begangen haben, indem sie den Algorithmus unfähig machten, das zu sehen, was jeder Mensch einfach sehen konnte. Dies erwartet jedoch zu viel von einem Algorithmus. Sollte der Algorithmus in der Lage sein, subjektiv zu beurteilen, ob zwei potenziell unterschiedliche Personen gleich sind? Was ist, wenn sie nicht sind?
Vielleicht sollte der Algorithmus in der Lage sein zu riechen, dass etwas fischig ist, und einige weitere Fragen stellen. Klar, wir sind noch nicht da.
Das Problem ist wirklich nicht, wer schuld ist. Das eigentliche Problem ist, wie wir uns die Mängel von Algorithmen beibringen. In einem vorherigen Artikel habe ich über die psychische Gesundheit von Algorithmen geschrieben. Die Possen dieses Bankkreditalgorithmus fügen diesem Artikel eine humorvolle Fußnote hinzu.
Es erinnert mich an den Mann namens Shereshevsky in Lurias Buch “Der Geist eines Mnemonisten”. Shereshevsky hatte eine fast perfekte Erinnerung. Er konnte sich an Zahlen und Namen erinnern und was an bestimmten Tagen in seinem Leben geschah. Aber aufgrund seiner Erinnerung hatte er auch Schwierigkeiten, Menschen zu identifizieren. Er erinnerte sich an alles so gut, dass, wenn er eine Person traf, die einen anderen Ausdruck hatte, sie zu einer neuen Person wurde. Eine einfache Änderung im Ausdruck reichte aus, um Shereshevsky abzuwerfen. Shereshevsky konnte nicht verallgemeinern.
Der Bankalgorithmus konnte auch nicht verallgemeinern. Es war blind für etwas, das die meisten Leute für offensichtlich halten würden. Dieser Algorithmus könnte jedoch in einer anderen Instanz verallgemeinern. Der Algorithmus ist explizit so programmiert, dass er meine Informationen aufnimmt und diese Informationen auf die Rückzahlung von Darlehen anderer Personen wie mir verallgemeinert. Er könnte also meinen Risikograd anhand der Risiken ermitteln, die die Bank für andere Personen wie mich eingegangen ist.
Da der Algorithmus meine Identität nicht auf andere Fälle meiner Identität verallgemeinern konnte, behandelte er mich effektiv wie zwei verschiedene Personen. Es war ein rechnerischer Shereshevsky, der einen Mann, der lächelt und später runzelt, als verschiedene Individuen behandelt.
Meine Situation ist ziemlich gutartig, aber ich bezweifle, dass dies immer der Fall ist. Algorithmen beurteilen die Versicherung, die medizinische Behandlung und ob ein Zeichen ein Stoppschild oder ein 50 Meilen pro Stunde Zeichen ist. Es ist fast sicher, dass Militärroboter Freundschaftsspiele von Zielen falsch identifizieren werden, was sie wahrscheinlich bereits getan haben. Algorithmen spielen eine immer wichtigere Rolle, bei der nicht nur Geld, sondern auch Leben und Gesundheit im Vordergrund stehen.
In vielen Fällen sind Algorithmen weniger fehleranfällig als Menschen. Aber die Fehler sind nicht nur weniger, sondern auch verschieden. Und dies wird wahrscheinlich die Art von Kollateralschaden ändern, den wir von ihrer Verwendung erwarten würden. Schlimmer noch, es ist äußerst schwierig, mit einem Algorithmus zu argumentieren, da nur wenige Leute genau wissen, was der Algorithmus tut. Am allerwenigsten der Algorithmus selbst! In einigen Fällen gibt es möglicherweise keine einzelne Person, die die volle Funktionsweise des Algorithmus versteht. Dann wird es schwierig, sich zu ändern, zu verbessern und genau zu erkennen, wo es schief geht.
Thomas Hills auf Twitter
