Performance Analysis and Optimization of Scientific Python Environments on HPC Shared Filesystems

3 novembre 2026

ReDX Technologies Projets en calcul haute performance (HPC), intelligence artificielle et simulation numérique

Performance Analysis and Optimization of Scientific Python Environments on HPC Shared Filesystems

ReDX Technologies propose un projet de fin d’études en calcul haute performance (HPC), consacré à l’impact du déploiement des environnements Python scientifiques sur les systèmes de fichiers partagés. Le projet compare Conda, EasyBuild et Apptainer sur NFS, Lustre et stockage local aux nœuds.

PFE
Niveau ouvert
Présentiel
Sfax, Tunisie
6 mois
Solo
Publié le 3 novembre 2026

Postuler Voir le PFE Book

Missions

Évaluer l’impact de l’emplacement des environnements Python scientifiques sur l’activité de métadonnées des systèmes de fichiers partagés et sur le temps de démarrage des applications
Étudier le déploiement en conteneurs Singularity/Apptainer pour réduire la surcharge de métadonnées
Mesurer les bénéfices et les coûts de la copie des environnements et des images de conteneurs sur le stockage local des nœuds
Caractériser l’effet de ces stratégies sur l’initialisation de PyTorch, le débit d’entraînement GPU et la scalabilité multi-nœuds
Mesurer le temps d’installation, la latence d’import des bibliothèques Python, l’initialisation CUDA et les opérations de métadonnées
Exécuter des benchmarks PyTorch (ResNet-50, DistributedDataParallel) selon différentes configurations et niveaux de concurrence
Développer un framework léger pour automatiser les expériences et recommander la stratégie de déploiement adaptée

Livrables attendus :

Un framework de benchmark reproductible pour les environnements PyTorch Conda et conteneurisés
Une analyse comparative des performances sur Lustre, NFS et stockage local
Une évaluation de la surcharge de métadonnées et de son impact sur l’initialisation des applications Python à grande échelle
Des recommandations pratiques pour le déploiement d’environnements Python scientifiques sur HPC

Profil recherché

Sens de la résolution de problèmes, curiosité et envie d’apprendre de nouvelles technologies
Bonne connaissance des environnements Linux
Programmation en C/C++ ou Python
Maîtrise de Git et du contrôle de version
Bon niveau d’anglais
Capacité à travailler en autonomie et en équipe

Conditions du stage

Durée : 6 mois (période recommandée)
Gratification : Gratification mensuelle, avec possibilité d’une prime de performance en fin de stage
Lieu : Sfax, Tunisie
Formation prévue :
- Bases de Linux avec la formation « Complete Linux Training Course » sur Udemy
- Introduction aux systèmes HPC et à la programmation parallèle (MPI, OpenMP, bases du GPU)
- Formation aux outils de gestion logicielle HPC comme EasyBuild
- Accompagnement en sessions individuelles avec les ingénieurs et experts de ReDX
Possibilité de travailler avec des clients finaux
Candidature : via le formulaire en ligne de ReDX Technologies, en précisant le sujet visé