Stage de recherche (TER) · IRIT
Jumeau numérique de mouvements sportif
À partir de vidéos réelles de danse ou de sport, ce projet construit un jumeau numérique du mouvement en combinant estimation de pose (NLF & MMPose), segmentation avec SAM 2 et recomposition du sujet sur de nouveaux arrière-plans.
Sports Motion Digital Twin
TER — L3 Math & Info
Résumé du projet
Ce travail s'inscrit dans un stage de recherche de troisième année à l'IRIT. L'objectif est d'étudier une chaîne complète permettant de transférer un mouvement réel (danse, sport) vers de nouveaux environnements visuels, tout en restant fidèle à la cinématique d'origine.
Le cœur du projet est un notebook Google Colab orienté expérimentation : comparaison de méthodes d'estimation de pose, analyse des échecs (occlusions, poses extrêmes), qualité de la segmentation et de la recomposition, et pistes de couplage avec des modèles de diffusion pour générer des décors plus complexes.
Pipeline expérimental
- Estimation de pose avec NLF et MMPose : extraction de la pose 2D du danseur ou du sportif, puis comparaison de la robustesse des modèles face aux mouvements rapides, aux occlusions et aux poses atypiques.
- Segmentation avec SAM 2 : segmentation image par image de la personne, suivi du masque dans le temps et raffinement pour obtenir un détourage propre du sujet.
- Reprojection sur de nouveaux fonds : alignement du sujet avec des repères géométriques simples (par exemple une barre verticale) et recomposition du mouvement sur d'autres vidéos ou images d'arrière-plan.
- Ouverture vers les modèles de diffusion : réflexion sur la façon dont la chaîne “pose + segmentation + compositing” pourrait être combinée à des modèles de type Stable Diffusion pour enrichir les scènes.
Exemples et ressources
Exemples d'utilisation
- Tester la robustesse de différents modèles de pose sur des vidéos de pole dance.
- Analyser la qualité de la segmentation sur des mouvements rapides ou partiellement cachés.
- Créer des démonstrateurs visuels de jumeaux numériques pour des scénarios sportifs.
Pour aller plus loin
- Notebook principal : exécution complète du pipeline sous Google Colab (CPU).
- Dossier
data/contenant un exemple de séquence vidéo découpée en images. - Résultats illustratifs dans le dossier
results/.
Toutes les instructions d'exécution détaillées se trouvent dans le README du dépôt GitHub.