Was hat die KI Renaissance verursacht?

Viel Lärm über Deep Learning Backpropagation

Quelle: Pixabay

Künstliche Intelligenz (KI) ist kein neues Konzept, dessen Ursprünge bis in die 1950er Jahre zurückreichen. Allerdings hat sich AI erst vor Jahrzehnten nach Jahrzehnten relativer Ruhezeit an vorderster Front des Investitionsinteresses von Industrie, Regierung und Risikokapital gezeigt. Was hat dazu beigetragen, dass der Winter und der aktuelle Boom von AI aufgetaut wurden?

Die KI boomt vor allem aufgrund von Fortschritten bei der Mustererkennungsfunktion, die aus tiefem Lernen resultieren – einer Teilmenge des maschinellen Lernens, bei der ein künstliches neuronales Netzwerk aus zwei Verarbeitungsschichten besteht. Maschinelles Lernen ist eine Teilmenge von KI, die Algorithmen umfasst, die aus Daten lernen können, im Gegensatz zu einem Programmierer, der Anweisungen explizit codieren muss. Dieses Lernen kann mit überwachtem oder unbeaufsichtigtem Training von Daten durchgeführt werden. Beim überwachten Lernen werden die für das Training verwendeten Daten gekennzeichnet, während beim unbeaufsichtigten Lernen keine Datenetiketten vorhanden sind.

• Narcissim und die kritische innere Stimme
• Die drei Phasen erfolgreicher Datierung: Wo landen Sie?
• Sich selbst da draußen setzen
• Die Moral in Moral Dumbfounding zurückbringen
• Kann Upskirting süchtig machen?

KI-Maschinenlern-Neuronale Netze waren in den 1970er und 1980er Jahren zum größten Teil ins Stocken geraten, nachdem Marvin Minsky und Seymour Papert von MIT mit dem Titel Perceptrons – eine Einführung in die Computergeometrie – im Jahr 1969 veröffentlicht worden waren. In ihrem Beitrag weist das wissenschaftliche Duo darauf hin Auf die “strengen Einschränkungen” von Perzeptrons, neuronalen Netzen, die der amerikanische Psychologe Frank Rosenblatt in den fünfziger Jahren für die beabsichtigten Zwecke der Erkennung von AI-Mustern entwickelte, gehören.

Minsky und Papert bezweifelten die Fähigkeit von Perzeptronen, in neuronalen Netzwerken zu trainieren oder zu lernen, die mehr als zwei Schichten von Neuronen hatten – die Eingabe- und die Ausgabeschicht. Sie kamen zu ihren Schlussfolgerungen auf der Grundlage mathematischer Beweise. Die Wissenschaftler schrieben, dass “vielleicht ein mächtiger Konvergenzsatz entdeckt wird oder ein Grund gefunden wird, warum es nicht gelungen ist, einen interessanten” Lernsatz “für die Multilayer-Maschine zu erstellen.”

Ein Jahr später, 1970, schrieb der finnische Mathematiker Seppo Linnainmaa in seiner Masterarbeit über die Abschätzung von Rundungsfehlern und den umgekehrten Modus der automatischen Differenzierung (AD). Diese Idee, an die er während eines sonnigen Nachmittags in einem Kopenhagener Park dachte, würde ihm später die Grundlage dafür geben, dass das tiefe Lernen erst Jahre später keimt und Jahrzehnte später zu einer Renaissance der KI wird. Linnainmaa promovierte 1974 in Informatik an der Universität Helsinki.

• Warum es wirklich einfacher ist, Ihre Gewohnheiten am 1. Januar zu verbessern
• Dating nach dem Verlust eines Ehepartners
• Jetzt, wo Hanf legal ist, ist Cannabidiol (CBD) auch legal?
• Wie ändern sich die Standards von Singles für einen Partner mit dem Alter?
• Vertrauen während des Dating-Prozesses aufrechterhalten

Ebenfalls im Jahr 1974 veröffentlichte der Wissenschaftler Paul J. Werbos seinen Doktor der Harvard-Universität. Dissertation zur Ausbildung künstlicher neuronaler Netze durch Rückpropagation von Fehlern. Werbos konzipierte neuartige intelligente Steuerungskonzepte, die Parallelen zum menschlichen Gehirn hatten. Werbos erhielt 1995 einen Pionierpreis des IEEE Neural Networks Council für seine Entdeckung der Backpropagation und anderer Beiträge zu neuronalen KI-Netzwerken.

Im Jahr 1986 verbreiteten Geoffrey Hinton, David E. Rumelhart und Ronald J. Williams das Konzept der Verwendung von Backpropagation durch Netzwerke von neuronalen Einheiten mit ihrem in Nature veröffentlichten Artikel “Lernen von Repräsentationen durch Rückpropagierung von Fehlern” Gewichte von Verbindungen im Netzwerk (Knoten oder Neuronen), um ein Maß für die Differenz zwischen dem tatsächlichen Ausgangsvektor des Netzes und dem gewünschten Ausgangsvektor zu minimieren. Aus den Gewichtseinstellungen resultieren interne verborgene Einheiten, die weder Bestandteil der Eingabe noch der Ausgabe sind. Im Wesentlichen zeigten Hinton und sein Team, dass tiefe neuronale Netzwerke, die aus mehr als zwei Schichten bestehen, durch Backpropagation trainiert werden können. Hier war die mächtige Lernmethode für mehr als zwei Nervenschichten, die Minsky und Papert 1969 als Möglichkeit vermutet hatten. Doch dies allein reichte nicht aus, um die KI wiederzubeleben.

Ein weiterer wesentlicher Faktor für den AI-Boom ist auf den Anstieg des Videospiels zurückzuführen. In den 1970er Jahren verwendeten Arcade-Videospiele aus Kostengründen spezielle Grafikchips. In den achtziger bis frühen 2000er Jahren entwickelte sich die Grafikverarbeitungseinheit (GPU) im Wesentlichen aus der Verwendung von Spielen zu allgemeinen Computerzwecken. GPUs können große Datenmengen parallel verarbeiten, ein deutlicher Vorteil gegenüber der Standard-CPU (Central Processing Unit). Die parallele Rechenleistung von GPU für allgemeine Berechnungen eignet sich gut für die Verarbeitung von großen Datenmengen für maschinelles Lernen.

2012 gaben Geoffrey Hinton, Alex Krizhevsky und Ilya Sutskever ihren Erfolg bei der Ausbildung eines tiefen konvolutionellen neuronalen Netzwerks mit 60 Millionen Parametern, 650.000 Neuronen und fünf Faltungsschichten bekannt, um 1,2 Millionen hochauflösende Bilder in 1.000 verschiedene Klassen zu klassifizieren. Das Team nutzte eine GPU-Implementierung, um die allgemeine Trainingszeit zu verkürzen. Hinton und sein Team machten Geschichte, indem sie demonstrierten, dass ein großes, tiefgreifendes neuronales Faltungsnetz “Rekordergebnisse bei einem äußerst anspruchsvollen Datensatz mit rein beaufsichtigtem Lernen” mit Backpropagation erzielen konnte.

Künstliche Intelligenz wurde aus der Ruhephase durch tiefes Lernen der Backpropagation und GPU-Technologie wiederbelebt. Deep Learning befindet sich in den frühen Stadien der angewandten Kommerzialisierung. Im kommenden Jahrzehnt wird die KI immer schneller an Bedeutung gewinnen, wenn sie sich der technologischen Kluft in Richtung einer globalen Massenproliferation nähert. Künstliche Intelligenz (Künstliche Intelligenz, KI) ist im Trend von Gesundheitsfürsorge, Transport, Wirkstoffforschung, Biotechnologie, Genomik, Unterhaltungselektronik, Unternehmenssoftwareanwendungen, Präzisionsmedizin, Esports, autonomen Fahrzeugen, Social-Media-Anwendungen, Fertigung, wissenschaftlicher Forschung, Unterhaltung, Geopolitik und vielen anderen mehr Gebiete. In nicht allzu ferner Zukunft wird künstliche Intelligenz so allgegenwärtig wie das Internet.

Copyright © 2019 Cami Rosso Alle Rechte vorbehalten.

Verweise

Griewank, Andreas. „Wer hat den umgekehrten Modus der Differenzierung erfunden?“ Documenta Mathematica . Zusätzliches Volume ISMP 389-400. 2012

IEEE. “Guest Editorial Neural Networks Council Awards”. IEEE-Transaktionen in neuronalen Netzwerken. Band 7, Nr. 1. Januar 1996.

Rumelhart, David E., Hinton, Geoffrey E., Williams, Ronald J. „Repräsentationen lernen, indem Fehler rückwärts propagiert werden.“ Natur . Vol. 323. 9. Oktober 1986.

Krizhevsky, Alex, Sutskever, Ilya, Hinton, Geoffrey E. „ImageNet-Klassifikation mit tiefen konvolutionellen neuronalen Netzen“. Fortschritte bei neuronalen Informationsverarbeitungssystemen 25 . 2012