Bereiche | Tage | Auswahl | Suche | Aktualisierungen | Downloads | Hilfe

T: Fachverband Teilchenphysik

T 76: Grid-Computing I

T 76.5: Vortrag

Mittwoch, 11. März 2015, 17:45–18:00, K.11.20 (K5)

Effiziente Datenanalyse mit koordinierten Caches — •Christian Metzlaff, Max Fischer, Thomas Hauth, Manuel Giffels und Günter Quast — Karlsruher Institut für Technologie

Mit der zweiten Datennahmeperiode des LHCs und den dabei anfallenden Datenmengen werden die Kollaborationen vor neue Herausforderungen in der Datenanalyse gestellt. Ein Schlüsselfaktor ist dabei die limitierte Netzwerkbandbreite zwischen dedizierten Speicher- und Rechenknoten.

Eine effizientere Ausnutzung der Netzwerkbandbreite kann durch die Kombination von zentralem und lokalem Speicher erreicht werden. Häufig genutzte Daten werden lokal auf den einzelnen Rechenknoten zwischengespeichert, während alle Daten weiterhin in einem über das Netzwerk angebundenen zentralen Speicher verfügbar sind.

Dazu wird am KIT ein Pool aus dedizierten, unabhängigen Caches auf den Rechenknoten, eine zentrale Komponente zur Auswahl und Koordinierung der Cache-Inhalte und eine Schnittstelle zur Auffindung der Daten durch das Batch-System implementiert. Hierbei können mehrere Cache-Medien auf einem Knoten verwendet werden.

In diesem Vortrag wird ein Überblick des Designs und der Implementierung des KIT HEP Analyse Clusters gegeben. Abschließend werden Erfahrungen zu Performance und Zuverlässigkeit während des Betriebs präsentiert.