Hamburg 2016 – scientific programme

Parts | Days | Selection | Search | Updates | Downloads | Help

T: Fachverband Teilchenphysik

T 97: Grid-Computing

T 97.6: Talk

Thursday, March 3, 2016, 18:00–18:15, VMP8 SR 05

Analysen mit Datenlokalität durch Koordiniertes Caching — •Max Fischer, Manuel Giffels, Marcus Schmidt, Christoph Heidecker und Günter Quast — Karlsruhe Institute of Technology, Karlsruhe, Germany

Moderne Cluster zur Datenanalyse nutzen vielfach Datenlokalität, um eine hochperformante Datenverarbeitung zu ermöglichen. Hierdurch werden Datentransfers auf ein Minimum reduziert. Damit können Analysen auf beliebiger verteilter, vertikal skalierbarer Infrastruktur durchgeführt.

Existierende Lösungen für Datenlokalität setzen Anforderungen, die nur mit weitgehenden Änderungen von HEP-Workflows erfüllt werden können. Deshalb hat die KIT CMS Gruppe eine Middleware entwickelt, welche in regulären Batchsystemen Daten lokal zur Verfügung stellt. Dies wird durch eine Reihe von gezielt koordinierten und für den Benutzer transparenten Caches erreicht. Hierdurch kann das System nahtlos in bestehende Batchsysteme integriert werden, ohne dass Workflows verändert werden müssen.

Dieser Beitrag gibt einen Überblick über unsere bisherigen Erfahrungen mit dem Einsatz unserer Middleware für Endnutzeranalysen. Nutzbarkeit, Leistung und Stabilität werden mit Fokus auf HEP-Analysen dargestellt. Ferner diskutieren wir die Möglichkeiten zur Optimierung und Anwendbarkeit in anderen Umgebungen, z.B im Cloud-Computing zur Nutzung von opportunistischen Ressourcen.