Vous êtes ici : UVSQ RechercheDoctoratSoutenances de thèse

Amélioration de la consommation mémoire et de l’extensibilité des performances des applications HPC par le multi-threading des communications réseau par Sylvain Didelot

Présentée par : Sylvain Didelot Discipline : informatique Laboratoire : PRISM

Résumé :
La tendance en HPC est à l'accroissement du nombre de cœurs par nœud de calcul pour une quantité totale de mémoire par nœud constante. À large échelle, l'un des principaux défis pour les applications parallèles est de garder une faible consommation mémoire. Cette thèse présente une couche de communication multi-threadée sur Infiniband, laquelle fournie de bonnes performances et une faible consommation mémoire. Nous ciblons les applications scientifiques parallélisées grâce à la bibliothèque MPI ou bien combinées avec un modèle de programmation en mémoire partagée. En partant du constat que le nombre de connexions réseau et de buffers de communication est critique pour la mise à l'échelle des bibliothèques MPI, la première contribution propose trois approches afin de contrôler leur utilisation. Nous présentons une topologie virtuelle extensible et entièrement connectée pour réseaux rapides orientés connexion. Dans un contexte agrégeant plusieurs cartes réseau, nous détaillons ensuite une technique réduisant le nombre de connexions réseau. Pour finir, nous présentons un protocole permettant d'ajuster dynamiquement la configuration des buffers réseau utilisant la technologie RDMA.
La seconde contribution propose une optimisation qui renforce le potentiel d'asynchronisme des applications MPI, laquelle montre une accélération de deux des communications.
La troisième contribution évalue les performances de plusieurs bibliothèques MPI exécutant une application de modélisation sismique en contexte hybride. Les expériences sur des nœuds de calcul jusqu'à 128 cœurs montrent une économie de 17 % sur la mémoire. De plus, notre couche de communication multi-threadée réduit le temps d'exécution dans le cas où plusieurs threads OpenMP participent simultanément aux communications MPI.

Abstract :
A recent trend in high performance computing shows a rising number of cores per compute node, while the total amount of memory per compute node remains constant. To scale parallel applications on such large machines, one of the major challenges is to keep a low memory consumption. This thesis develops a multi-threaded communication layer over Infiniband which provides both good performance of communications and a low memory consumption. We target scientific applications parallelized using the MPI standard in pure mode or combined with a shared memory programming model.
Starting with the observation that network endpoints and communication buffers are critical for the scalability of MPI runtimes, the first contribution proposes three approaches to control their usage. We introduce a scalable and fully-connected virtual topology for connection-oriented high-speed networks. In the context of multirail configurations, we then detail a runtime technique which reduces the number of network connections. We finally present a protocol for dynamically resizing network buffers over the RDMA technology.
The second contribution proposes a runtime optimization to enforce the overlap potential of MPI communications, showing a 2x improvement factor on communications.
The third contribution evaluates the performance of several MPI runtimes running a seismic modeling application in a hybrid context. On large compute nodes up to 128 cores, the introduction of OpenMP in the MPI application saves up to 17% of memory. Moreover, we show a performance improvement with our multi-threaded communication layer where the OpenMP threads concurrently participate to the MPI communications.
Informations complémentaires
Brice GOGLIN, Chargé de Recherche, Habilité à Diriger des Recherches, à l’INRIA de Talence/Laboratoire Bordelais de Recherche en Informatique (LaBRI) - UMR 5800 - Talence - Rapporteur
Torsten HOEFLER, Professeur, à l’ETH de Zürich/Département d’Informatique - Zürich (Suisse) - Rapporteur
William JALBY, Professeur des Universités, à l’Université de Versailles Saint-Quentin-en-Yvelines/Laboratoire Parallélisme, Réseaux, Système, Modélisation (PRISM) - Versailles - Directeur de thèse
Alain BUI, Professeur des Universités, à l’Université de Versailles Saint-Quentin-en-Yvelines/Laboratoire Parallélisme, Réseaux, Système, Modélisation (PRISM) - Versailles - Examinateur
Patrick CARRIBAULT, Ingénieur de Recherche, au CEA - Arpajon - Examinateur
Marc PERACHE, Ingénieur de Recherche, au CEA - Arpajon - Examinateur
Jean-Pierre PANZIERA, Directeur Technique, à BULL SAS - Les-Clayes-sous-Bois - Invité
Contact :
dredval service FED :