Münster 1999 – scientific programme

Parts | Days | Selection | Search | Downloads | Help

DY: Dynamik und Statistische Physik

DY 24: Neuronale Netze

DY 24.3: Talk

Tuesday, March 23, 1999, 15:00–15:15, R1

Statistische Mechanik von Support-Vektor-Maschinen — •Rainer Dietrich¹ und Manfred Opper² — ¹Institut für Theoretische Physik, Julius-Maximilians-Universität, Am Hubland, D-97074 Würzburg, Germany — ²Department of Computer Science and Applied Mathematics, Aston University, Birmingham B4 7ET, UK

Wir untersuchen mit Methoden der statistischen Mechanik die Verallgemeinerungsfähigkeit von Support-Vektor-Maschinen (SVM), die kürzlich von V. Vapnik et al. als Alternative zu mehrschichtigen neuronalen Netzen eingeführt wurden. Bei nichtlinearen Klassifikationsregeln erreicht der Verallgemeinerungsfehler ein Plateau; die Anzahl der Beispiele reicht nicht aus, um die Koeffizienten des nichtlinearen Anteils korrekt zu bestimmen. Dieses Verhalten führt zu einem kaskadenartigen Abfall des Verallgemeinerungsfehlers auf verschiedenen Skalen von Beispielzahlen. Trainiert man die SVM mit einfachen Regeln, so stellt sich eine nur sehr schwache Tendenz zu Overfitting heraus. Die Leistungsfähigkeit der SVM erhöht sich beträchtlich, wenn die Verteilung der Eingabemuster nicht uniform, sondern an die zu lernende Regel angepasst ist.