Regensburg 2002 – scientific programme

Parts | Days | Selection | Search | Downloads | Help

DY: Dynamik und Statistische Physik

DY 20: Neuronale Netze / Spinmodelle

DY 20.2: Talk

Tuesday, March 12, 2002, 10:00–10:15, H2

Asymptotik von Lernprozessen auf begrenzten Datensätzen: Boltzmann hilft! — •Christoph Bunzmann¹ und Manfred Opper² — ¹Institut für Theoretische Physik der Universität Würzburg, Am Hubland, 97074 Würzburg, Germany — ²Aston University, Aston Triangle, Birmingham B47ET, UK

Überwachte Lernprozesse in neuronalen Netzwerken optimieren deren Parameter für die Wiedergabe einer durch einen Beispieldatensatz definierten Eingabe-Ausgabe Relation. Der asymptotische Zustand der Parameter in stochastischen Lernverfahren auf typischen Datensätzen als Funktion der verwendeten Schrittweite ist von großem Interesse für praktische Anwendungen. Ist der Datensatz so klein, dass Beispiele wiederholt zum Lernen verwendet werden müssen, so wird die Untersuchung der typischen Lerndynamik sehr kompliziert. Aufwändige mathematische Modelle dieser Dynamik [1] können aber nur wenig über den asymptotischen Zustand des Netzwerkes aussagen. Für einfache Architekturen wurde gezeigt, dass die asymptotische Verteilung der Parameter keine einfache Boltzmannverteilung ist [2]. Dennoch ist diese ein geeignetes Näherungsinstrument: Wir zeigen, wie die Analyse des asymptotischen Zustands einfacher Netzwerke durch eine Beschränkung auf den Unterraum der Boltzmannverteilungen ermöglicht wird, und prüfen die erhaltene Relation zwischen dem asymptotischem Trainingsfehler und der Schrittweite im Optimierungsprozess an Simulationen.

[1] A.C.C Coolen, D. Saad and Y. Xiong, Europhys. Lett. 51:691 (2000)

[2] B. Lopez and M. Opper, Europhys. Lett. 49:275 (2000)