Alles Gute zum Geburtstag AlphaZero

Machine Intelligence und kognitive psychologische Wissenschaft

Treffen wir uns mit AlphaZero

AlphaZero ist ein von DeepMind entwickeltes Programm zum maschinellen Lernen, das durch tiefes Lernen ohne jegliche menschliche Anleitung Einblick in das kreative Schachspiel erlangt hat. Es ist jetzt das stärkste Schachspiel, das japanische Schachspiel (Shogi) und der Go-Spieler der Welt, der ständig die besten menschlichen Spieler und die besten Schachmotoren besiegt. Warum sollte ich alles Gute zum Geburtstag wünschen? Ich meine, warum sollte ich ihr zur Geburt gratulieren? Die kurze Antwort lautet: Ich habe kürzlich erfahren, dass AlphaZero im Oktober 2017 Erkenntnisse gewonnen hat und dadurch meiner Ansicht nach wirklich intelligent geworden ist. Daher mein verspäteter Glückwunsch zum Geburtstag.

Die Verwendung des Begriffs „Erkenntnis“ wurde von der folgenden New York Times am 26. Dezember 18 angeregt: „Am beunruhigendsten war, dass AlphaZero Einsicht zu zeigen schien. Es hat wie kein Computer gespielt, intuitiv und wunderschön, mit einem romantischen, angreifenden Stil. Es spielte Gambits und ging Risiken ein “. Der Google-Befehl “define: insight” gibt die folgende primäre Definition zurück: “Die Fähigkeit, ein genaues und tiefes intuitives Verständnis einer Person oder eines Dings zu erlangen.” Zu den Einsichten zählen: Intuition, Wahrnehmung, Bewusstsein, Unterscheidung, Verstehen, Verstehen, Verstehen , Wertschätzung, Scharfsinn und Scharfsinn. Eine sekundäre Definition von Einsicht ist „ein tiefes Verständnis einer Person oder eines Dings“. Dies sind Eigenschaften einer wahrhaft intelligenten Entität.

Matthew Sandler und Natasha Regan sind beide englische Schachmeister. Sie haben ein von New in Chess veröffentlichtes Buch mit dem Titel Game Changer geschrieben , in dem sie die Einsichten in die Spiele von Schach und Go analysieren, die AlphaZero eigenständig ohne menschliche Anleitung entwickelt hat. Sie sagten, dass AlphaZero bekannte Eröffnungen und Strategien entdeckte, als sie selbst Schach spielten. Sie sagten, dass sie auch neue, eindrucksvolle kreative Langzeitstrategien entwickelt habe, da sie nicht durch konventionelle Weisheit, die von menschlichen Programmierern vermittelt wird, eingeschränkt wird. Hier haben wir großartige Meister, die Erkenntnisse bewundern, die AlphaZero auf eigene Faust erreicht hat. Man könnte argumentieren, dass AlphaZero gerade deshalb neue Erkenntnisse gewinnen konnte, weil herkömmliche menschliche Weisheit zurückgehalten wurde und AlphaZero von menschlichen Vorurteilen befreit wurde. Die Fähigkeit, Einsicht zu erlangen, ist eine wahrhaft intelligente menschliche Eigenschaft. Die “Geburt” einer solchen revolutionären und bemerkenswerten Intelligenz verdient eine respektvolle Anerkennung. Daher wünsche ich AlphaZero alles Gute zum Geburtstag!

Generalisierbarkeit

Die Generalisierbarkeit ist ein Test der Gültigkeit. Die Generalisierbarkeit ist seit langem ein großes Problem für traditionelle regelbasierte Programme für künstliche Intelligenz (KI). Ihre Erfolge waren auf sehr spezifische Aufgaben beschränkt. Regelbasierte Programme sind hochspezialisiert und können nur das tun, wozu sie speziell programmiert wurden. Sie verallgemeinern nicht ähnliche verwandte Aufgaben, weil sie nicht alleine lernen können. Sie warten darauf, dass Menschen ihnen zusätzliche neue Regeln geben.

AlphaZero hat sich selbst Schach, Shogi und Go beigebracht und hat bewiesen, dass es neues Wissen durch Stärkung des Lernens selbst entdecken kann. Diese Fähigkeit, durch eigenständiges Lernen zu verallgemeinern, ist eine bemerkenswerte Leistung. Allein lernen ist ein Markenzeichen wahrer Intelligenz. Diese Fähigkeit belegt wohl die Überlegenheit der hirnbasierten KI gegenüber der regelbasierten KI. Weitere Details sind verfügbar.

Ein anderes DeepMind-Projekt, ein Programm mit dem Namen AlphaFold, verwendet den KI-Ansatz des neuronalen Netzwerks, der auf einem tiefen Lernen basiert, um ein außerordentlich komplexes Problem zu lösen, das sich bisher den Wissenschaftlern entzogen hat. Ich beziehe mich darauf zu verstehen, wie Proteine ​​sich falten. Wie sich Proteine ​​im Körper zu dreidimensionalen Strukturen falten, bestimmt, wie sie sich an andere Moleküle binden, einschließlich neuer Medikamente. Dieses Wissen ist der Schlüssel zum Verständnis und zur Vorhersage der Auswirkungen neuer Arzneimittel. AlphaFold macht jetzt Fortschritte beim Verständnis dieses Prozesses.

Im Rest dieses Blogs werden psychosoziale Modelle auf Basis von Geistesmodellen mit hirnbasierten Modellen verglichen, bevor einige grundlegende Netzwerkprinzipien erläutert werden, mit denen wir besser verstehen können, wie tiefe lernende Connectionist-Maschinen wie AlphaZero und AlphaFold funktionieren.

Gehirnbasierte vs. Mind-basierte Modelle

Gedankenbasierte Modelle

Die Psychologie begann als ein Bereich der Naturphilosophie, in dem die auf dem Verstand basierenden Erklärungen des menschlichen Verhaltens aus der Introspektion abgeleitet wurden. Traditionelle kognitive Psychologen haben diese Praxis mit ihrer Ansicht fortgesetzt, dass Menschen lernen und sich verhalten, weil der Geist Regeln folgt, die die Symbolmanipulation bestimmen. Beweise dafür, dass diese Theorie falsch ist, können Sie erhalten, indem Sie die Experten nach den Regeln befragen, die sie bei ihrer Arbeit beachten. Experten erkennen im Allgemeinen nicht an oder berichten, dass sie bei ihrer Arbeit Regeln jeglicher Art befolgen. Als Novizen waren sie vielleicht den Regeln gefolgt, haben sich jedoch als Experten weiterentwickelt. Aber viele kognitive Psychologen tun weiterhin so, als würden die Menschen beim Denken und Verhalten immer den Regeln folgen. Zu tun, als ob etwas wahr wäre, wenn es nicht professionell geeignet ist, aber dies war nicht sehr erfolgreich, wie wir als nächstes sehen werden.

Der regelbasierte Ansatz der Symbolmanipulation kennzeichnete die ersten Bemühungen zur Schaffung künstlicher Intelligenz. Zum Beispiel waren Computer einst mit sehr vielen Regeln für das Schachspiel programmiert, aber sie waren nie sehr gut. Computer wurden mit sehr vielen Regeln programmiert, um Personen anhand von Fotos oder Videos zu identifizieren, aber sie waren noch schlechter und konnten dies nicht in Echtzeit tun. Die Einschränkungen des regelbasierten Ansatzes sind offenkundig. Viele kognitive Psychologen erklären jedoch weiterhin menschliches Verhalten in Form von Regeln und Regeln, weil sie dies immer getan haben und weil es ihre Computer-Metapher unterstützt. Sie verstehen das Gehirn als Computerhardware und der Verstand wie Computersoftware, in der Regeln wie Computerprogramme sind, die das Denken, Fühlen und Verhalten von Menschen bestimmen.

Dieselben kognitiven Psychologen bewundern die Erfolge tief lernender KI-Systeme wie AlphaZero, aber sie vertrauen ihnen nicht, weil sie nicht verstehen können, wie sie denken, weil sie keine Symbole erzeugen oder Regeln befolgen, die wir normalerweise verstehen. Daher kann AlphaZero nicht mit diesen kognitiven Psychologen auf eine Weise kommunizieren, die sie verstehen. Das Problem hier ist, dass AlphaZero so lernt, wie das Gehirn es tut, und nicht so, wie der Verstand gesagt wird. Eine neue Art zu verstehen, wie AlphaZero glaubt, dass es relevant ist, um zu verstehen, wie das Gehirn arbeitet. Dieser neue Ansatz kann auch zum Verständnis der kognitiven Psychologie basierend auf neuronalen Netzwerkmodellen verwendet werden.

Gehirnbasierte Modelle

Connectionist-Modelle für neuronale Netzwerke, auch als neuronale Netzwerke, Deep Learning und Machine Intelligence bekannt, liegen der Erklärung von Alpha Zero zugrunde. Diese Modelle verfolgen einen hirnbasierten Ansatz zur Erklärung der kognitiven Psychologie. Sie wurden ernsthaft untersucht, seit McClelland und Rumelhart und Rumelhart und McClelland 1986 ihre wegweisenden Arbeiten veröffentlichten. 2014 veröffentlichte ich in meinem Buch mit dem Titel ” Kognitive Neurowissenschaften und Psychotherapie: Netzwerkprinzipien für ein einheitliches Gehirn” einen neuronalen Netzwerk-Ansatz, der auf einem Gehirn beruht Theorie Sie spiegelt die Entwicklungen der vergangenen Jahrzehnte seit 1986 wider.

Neuronale Netzwerkmodelle bestehen aus drei oder mehr Schichten miteinander verbundener Verarbeitungsknoten, die viele der funktionalen Eigenschaften aufweisen, die echte Neuronen haben. Zum Beispiel empfängt jedes künstliche Neuron Eingaben von vielen anderen künstlichen Neuronen, genau wie echte Neuronen. Jedes künstliche Neuron summiert diese Eingaben und generiert eine Ausgabe, wenn die Summe ihrer Eingaben einen Schwellenwert überschreitet, genau wie bei echten Neuronen.

Künstliche Neuronen werden durch simulierte Synapsen, Verbindungsgewichte, miteinander verbunden. Diese Gewichte werden anfänglich auf kleine Zufallswerte gesetzt. Lernen und Gedächtnis erfolgen durch schrittweise Anpassung dieser Gewichte über Lernversuche. Das Endergebnis ist ein Netzwerk, in dem die Verarbeitungsknoten mit optimalen Gewichten für die betrachteten Aufgaben verbunden sind. Verbindungsgewichte sind so wichtig für die Funktionalität der Modelle von connectionistischem neuronalen Netzwerken, dass der Begriff connectionist häufig weggelassen wird. Verbindungistische neuronale Netzwerksysteme verhalten sich möglicherweise so, als würden sie Regeln folgen, aber sie formulieren oder befolgen niemals Regeln, wie wir sie normalerweise verstehen, und sie generieren keine Symbole. Weitere Details finden Sie im nächsten Abschnitt.

Gehirnbasierte Modelle verstehen

Ich finde, der beste Weg zum Verständnis der neuronalen Netzwerksysteme, die von AlphaZero und anderen tief erlernten künstlichen Intelligenzen verwendet werden, besteht darin, die Prinzipien zu verstehen, die sie beherrschen. Diese Netzwerkprinzipien können auch als neuronale Netzwerkeigenschaften verstanden werden. Ich bespreche jetzt vier dieser Prinzipien / Eigenschaften. Es gibt andere, aber diese vier sind von grundlegender Bedeutung und sollten Ihnen den Einstieg erleichtern. Weitere Informationen finden Sie unter Tryon (2012, 2014).

Prinzip / Eigenschaft 1: Architektur

Die neuronale Architektur echter Gehirne ist für ihre Funktion wichtig. Das Kleinhirn verfügt beispielsweise über eine spezielle Schaltung, die es ihm ermöglicht, unsere Muskeln schnell zu kontrollieren, sodass wir laufen, laufen und Sport treiben können. Ebenso ist die Architektur künstlicher neuronaler Netze für ihre Funktionsweise wichtig. Zum Beispiel können neuronale Netzwerke mit nur zwei Schichten (Perzeptrons) bestimmte logische Probleme nicht lösen. Netzwerke mit drei oder mehr Schichten können alle logischen Probleme lösen. Es gibt mathematische Beweise, dass neuronale Multilayer-Netzwerke potenziell alle Arten von Problemen lösen können. Zum rechnerischen Nachweis dieser Behauptung siehe Hornik, Stinchcombe und White (1989, 1990).

Prinzip / Eigenschaft 2: Netzwerkkaskade: Unbewusste Verarbeitung

Aktivierungen, die von künstlichen Neuronen erzeugt werden, kaskadieren über künstliche neuronale Netzwerke in einer Weise, die im Folgenden beschrieben wird. Sie zeigt, wie Aktivierungen, die von echten Neuronen erzeugt werden, in realen Gehirnnetzwerken kaskadieren. Die meisten Gehirnprozesse laufen unbewusst ab. Die berühmte Eisberg-Analogie spiegelt diese Ereignisse genau wider. Die neunzig Prozent eines Eisberges, der sich unter Wasser befindet, repräsentieren und sind proportional zur unbewussten Gehirnverarbeitung. Die zehn Prozent eines Eisberges, der sich über Wasser befindet, stehen für eine bewusste Gehirnverarbeitung und sind proportional dazu. Für weitere Einzelheiten siehe Cohen, Dunbar und McClelland (1990).

Die folgende Abbildung zeigt, wie die Netzwerkkaskade funktioniert. Es ist ein sehr einfaches Netzwerk, muss aber auf diese Seite passen. Die oberste Schicht von drei Kreisen simuliert drei Eingangsneuronen. Sie können als sensorische Neuronen verstanden werden. Die Zahl „1“ innerhalb des Kreises zeigt an, dass das simulierte Neuron aktiv ist. Die Zahl “0” zeigt an, dass das simulierte Neuron inaktiv ist. Zusammen definieren sie die drei Eingänge zu diesem System als: 1, 0, 1.

Warren W. Tryon

Illustratives neuronales Netzwerk

Quelle: Warren W. Tryon

Der Status “Ein”, “Aus” der simulierten Neuronen in den nächsten zwei Schichten wird berechnet und nicht zugewiesen. Die zweite Schicht aus drei Gruppen von drei Kästchen simuliert Synapsen, die die simulierten Neuronen in der oberen Eingabeebene mit den drei zusätzlichen simulierten Neuronen in der dritten Schicht verbinden. Der linke Satz von drei Kästchen in der zweiten Reihe stellt die simulierten Synapsen dar, die das simulierte linke Neuron in der oberen Reihe mit allen drei simulierten Neuronen in der dritten Reihe verbinden. Der mittlere Satz von drei Kästchen in der zweiten Reihe verbindet das mittlere simulierte Neuron in der oberen Reihe mit allen drei simulierten Neuronen in der dritten Reihe. Der rechte Satz von drei Kästchen in der zweiten Reihe stellt die simulierten Synapsen dar, die das rechtsseitig simulierte Neuron in der oberen Reihe mit allen drei simulierten Neuronen in der dritten Reihe verbinden. Positive Einträge simulieren die Erregung. Negative Einträge simulieren die Hemmung. Diese Werte werden Verbindungsgewichtungen genannt, da sie die Stärke der Verbindung zwischen zwei simulierten Neuronen angeben. Die aktuellen Werte können auf zwei Arten gedacht werden. Eine Möglichkeit ist, dass es sich um die ersten Werte handelt, die beim Start zufällig zugewiesen werden. Eine andere Möglichkeit ist, dass sie den Zustand des Netzwerks bei einem beliebigen Verarbeitungsschritt widerspiegeln.

Die Zustände an = 1, aus = 0 der drei simulierten Neuronen in der dritten Schicht werden berechnet und nicht zugewiesen. Ich führe jetzt die relevanten Berechnungen detailliert aus. Beachten Sie, dass jedes der drei simulierten Neuronen in der dritten Zeile drei Eingänge hat. eines von jedem der simulierten Neuronen in der ersten Reihe. Diese Eingänge entsprechen dem Zustand des sendenden Neurons (1, wenn aktiv, 0, wenn nicht aktiv) und multiplizieren das Verbindungsgewicht wie folgt. Eingaben in das linke Neuron in der dritten Schicht sind gleich 1 (.1) + 0 (-. 2) + 1 (.3) = .4. Dieses Ergebnis wird mit einer Schwelle verglichen, die in diesem Fall Null ist, aber auch einen anderen Wert haben kann. Wenn die Summe der Eingaben Null überschreitet, positiv ist, wie in diesem Fall, wird das empfangene simulierte Neuron, in diesem Fall das linke, aktiv oder bleibt aktiv, wenn es zuvor aktiv war, wie durch das Innere von 1 angezeigt der Kreis, der das linke simulierte Neuron in der dritten Schicht darstellt. Da nichts gleich Null ist, ist die Summe mehrerer Eingaben gleich der Summe der Verbindungsgewichtungen, die aktiven simulierten sendenden Neuronen zugeordnet sind.

Die Eingaben für das mittlere simulierte Neuron in der dritten Reihe sind 1 (.3) + 0 (.1) + 1 (.2) = .5, wobei das positive aktiviert dieses simulierte Neuron, wie durch die Nummer 1 in seinem Kreis angezeigt wird. Die Eingaben für das rechtsseitig simulierte Neuron in der dritten Zeile sind 1 (-. 1) + 0 (.3) + 1 (-. 3) = -.4, da dieses simulierte Neuron negativ ist und es deaktiviert wird, wenn es zuvor war auf, wie durch die Zahl 0 in seinem Kreis angezeigt.

Der Status der zwei simulierten berechneten Neuronen in der fünften Zeile wird durch die berechneten Zustände der drei Neuronen in der dritten Zeile und die simulierten Synapsen (Verbindungsgewichte) in den Kästen in der vierten Zeile gesteuert. Das simulierte linke Neuron in der fünften Zeile wird inaktiv, da die Summe seiner Eingänge von 1 (-. 2) + 1 (-. 2) + 0 (.4) = -.4 negativ ist und daher unter der Schwelle von Null liegt . Das rechtsseitig simulierte Neuron in der fünften Zeile wird aktiv, weil die Summe seiner Eingänge von 1 (.2) + 1 (.1) + 0 (.3) = .3 positiv ist und daher die Schwelle von Null überschreitet.

Es wird gesagt, dass die Aktivierung simulierter Neuronen in der oberen, Eingabeebene über die simulierten Synapsen zu den verbleibenden simulierten Neuronen kaskadiert . Dieser Prozess ist automatisch und deterministisch.

Prinzip 3 / Eigenschaft: Erleben Sie abhängige Plastizität

Das Netzwerk berechnet immer dasselbe Ergebnis, wenn alles noch vorhanden ist. Es wird keine Entwicklung stattfinden. Das Netzwerk berechnet ein anderes Ergebnis, wenn die Eingangswerte geändert werden. Das Netzwerk lernt jedoch nicht besser, wenn die Verbindungsgewichtungen gleich bleiben. Für das Lernen müssen die Verbindungsgewichte geändert werden. Das Ausmaß der Veränderung wird durch Gleichungen bestimmt, die die Auswirkungen erlebnisabhängiger biologischer Mechanismen der synaptischen Plastizität simulieren, die echte Synapsen zwischen echten Neuronen verändern, wenn wir lernen und Erinnerungen bilden.

Das Ändern der Verbindungsgewichtungen bedeutet, dass das Netzwerk eine neue Antwort auf die alten Impulseingangswerte berechnet. Die Verbindungsgewichte werden gemäß Gradientenabstiegsverfahren geändert, die im Wesentlichen eine schrittweise bessere Netzwerkantwort gewährleisten.

Ich möchte hier drei Punkte mitnehmen. Der erste Punkt, den ich betonen möchte, ist, dass Lernen und Gedächtnis von grundlegender Bedeutung für die gesamte Psychologie sind, da es keine Psychologie geben würde, wenn wir nicht durch synaptische Modifikation Erinnerungen lernen und bilden könnten. Der zweite Punkt, den ich betonen möchte, ist, dass alle Aspekte unserer Psychologie in dem enthalten sind, was Seung (2012) als unser Verbindungsstück bezeichnet . die komplette Sammlung unserer Synapsen. Der dritte Punkt, den ich betonen möchte, ist, dass erfahrungsabhängige Plastizitätsmechanismen es unseren Erlebnissen ermöglichen, unser Gehirn physisch zu verändern, und somit die Art und Weise, wie wir denken, fühlen und verhalten. Es gibt nichts Geistiges oder Magisches an diesem Prozess.

Prinzip 4 / Eigenschaft: Verstärktes Lernen

Verhaltenspsychologen wie BF Skinner erklärten, dass Verhalten gestärkt wird, wahrscheinlicher wird, indem positive oder negative Folgen, die auf Verhalten folgen, verstärkt werden. Er konnte die physischen Prozesse der synaptischen Veränderung nicht erklären, die das Verhalten befähigten, sich zu ändern, und er akzeptierte die Änderung einfach, indem er behauptete, dass die konditionierte Ratte als veränderte Ratte überlebte. Er erkannte, dass die Erfahrung das Gehirn verändert, aber nicht informativer sein könnte, da die Biologie des Lernens und des Gedächtnisses damals noch in den Kinderschuhen steckte.

Verstärktes Lernen wird jetzt viel besser verstanden. Es ist ein inkrementeller Prozess, der aus einer kognitiven kognitiven Perspektive, in der Lernen und Gedächtnis das Befolgen von Regeln zum Manipulieren von Symbolen einschließen, keinen Sinn macht. Die Symbole werden nicht zeitweise generiert. Es macht auch keinen Sinn, dass sich Symbole ein wenig ändern oder dass ihre Bedeutung ein wenig geändert wird. Es schien daher, dass das verstärkte Lernen nicht erklären konnte, wie Kognition funktioniert.

Verstärktes Lernen ist jedoch aus der oben umrissenen Perspektive des Brain-based-Connectionist-Neuronalen Netzwerks sehr sinnvoll, in der die Verbindungsgewichte zwischen Neuronen zufällig beginnen und durch das Lernen allmählich angepasst werden, so dass sie durch einen inkrementellen Änderungsprozess auf optimale Werte konvergieren als Gradientenabstieg bekannt.

AlphaZero entwickelte seine überlegenen kognitiven Fähigkeiten durch den inkrementellen Prozess des Verstärkungslernens. Diese Errungenschaft zeigt, dass traditionelle Kognitionspsychologen zu Unrecht das Verstärkungslernen als gültige Erklärung für die Entwicklung von kognitiven Prozessen abstreiften.

Verstärktes Lernen ist eine Form der Evolution, da es entscheidend von Variation und Auswahl abhängt. Erfolge und Misserfolge prägen gemeinsam das zukünftige Verhalten. Skinner beharrte konsequent darauf, dass sich das Verhalten von Tieren und Menschen sowohl ontogenetisch (über die Lebensdauer) als auch phylogenetisch (über viele Generationen hinweg) entwickelt. Verstärktes Lernen ist ein effektiver Weg für verbindungsorientierte KI-Systeme, aus eigener Erfahrung zu lernen. Verstärktes Lernen löst effektiv Probleme, die zu komplex sind, um Lösungen zu programmieren. Es ist zum Beispiel die Methode, mit der Autos gelernt werden, selbst zu fahren.

Schlussfolgerungen

AlphaZero ist eine auf Gehirn basierende, super künstliche Intelligenz, die Einsichten ermöglicht und dadurch menschlicher wirkt als herkömmliche KI-Maschinen. Es kann sein Lernen auf eine Weise verallgemeinern, die traditionelle regelbasierte künstliche Intelligenzen nicht können. Es passt seine simulierten Synapsen schnell durch Verstärkungslernen an. Es erzeugt keine Symbole oder formuliert und befolgt Regeln, wie sie normalerweise verstanden werden. Daher können neuronale Netzwerkintelligenzen wie AlphaZero und AlphaFold traditionellen kognitiven Psychologen nicht helfen, ihre Funktionsweise zu verstehen. Dazu ist eine neuronale Netzwerkorientierung erforderlich. Die oben diskutierten vier Prinzipien / Eigenschaften des neuronalen Netzwerks können uns dabei helfen, künstliche Intelligenzen wie AlphaZero besser zu verstehen.

Der Erfolg von AlphaZero sagt mindestens zwei Dinge aus. Erstens liefert es einen empirischen Beweis dafür, dass Verstärkungslernen ausreicht, um den Erwerb komplexer kognitiver Fähigkeiten einschließlich der Fähigkeit, Erkenntnisse zu erlangen, zu erklären. Zweitens unterstützt es die Gültigkeit von Gehirnmodellen gegenüber Denkmodellen. Dies ist ein bedeutender Paradigmenwechsel in der kognitiven Psychologie.

Herzlichen Glückwunsch zum Geburtstag AlphaZero!

Verweise

Cohen, JD, Dunbar, K. & amp; McClelland, JL (1990). Zur Steuerung automatischer Prozesse: Eine parallele, verteilte Verarbeitung des Stroop-Effekts. Psychological Review, 97, 332–361. doi: 10.1037 // 0033-295X.97.3.332

Hornik, K., Stinchcombe, M. & White, H. (1989). Multilayer-Feed-Forward-Netzwerke sind universelle Approximatoren. Neuronale Netze, 2, 359–366. doi: 10.1016 / 0893-6080 (89) 90020-8

Hornik, K., Stinchcombe, M. & White, H. (1990). Universelle Näherung einer unbekannten Abbildung und ihrer Ableitungen unter Verwendung von mehrschichtigen Feedforward-Netzwerken. Neuronale Netze, 3, 551–560. doi 10.1016 / 0893-6080 (90) 90005-6

McClelland, JL, Rumelhart, DE & die PDP Research Group (1986). Parallel verteilte Verarbeitung: Untersuchungen in der Mikrostruktur der Kognition, Vol. 2: Psychologische und biologische Modelle . Cambridge, MA: MIT Press.

Rumelhart, DE, McClelland, JL und die PDP Research Group (1986). Parallel verteilte Verarbeitung: Untersuchungen in der Mikrostruktur der Kognition, Vol. 1: Stiftungen Cambridge, MA: MIT Press.

Seung, S. (2012). Connectome: Wie die Verkabelung des Gehirns uns zu dem macht, was wir sind . Boston: Houghton Mifflin Harcourt.

Tryon, WW (2012). Ein verbindungsorientierter Netzwerkansatz für die psychologische Wissenschaft: Kern- und Folgerungsprinzipien. Review of General Psychology, 16 , 305–317. doi: 10.1037 / a0027135

Tryon, WW (2014). Kognitive Neurowissenschaften und Psychotherapie: Netzwerkprinzipien für eine einheitliche Theorie . New York: Akademische Presse.