Münster 1997 – scientific programme

Parts | Days | Selection | Search | Downloads | Help

DY: Dynamik und Statistische Physik

DY 19: Poster II

DY 19.1: Poster

Thursday, March 20, 1997, 09:30–12:30, Z

Spezialisierungsprozesse beim On-line Lernen — •Michael Biehl, Ansgar Freking, Georg Reents, Peter Riegler und Christian Wöhler — Institut für Theoretische Physik, Universität Würzburg, Am Hubland, 97074 Würzburg

Wir analysieren die Dynamik von Lernprozessen, die auf On-line Gradientenverfahren beruhen und sich im thermodynamischen Limes durch ein System von Differentialgleichungen beschreiben lassen. Als Beispiele betrachten wir das Lernen einer Regel in einem mehrschichtigen Netzwerk (Backpropagation) sowie unüberwachtes Wettbewerbslernen hochdimensionaler Prototypen. In beiden Fällen wird die Lerndynamik durch den Prozeß der Spezialisierung dominiert: die versteckten Einheiten bzw. Prototypvektoren müssen eine geeignete “Arbeitsteilung” realisieren, um so erfolgreiches Lernen zu ermöglichen. Dieser Vorgang führt zu fast stationären Plateaus in den Lernkurven, die schwach repulsiven Fixpunkten der On-line Dynamik entsprechen. Die Länge der auch in praktischen Anwendungen vielfach beobachteten Plateaus hängt im besonderen von den Anfangsbedingungen des Lernvorganges ab.