Projet académique · L3 MIDL
Pose des mains au piano & prédiction de la prochaine touche pressée
À partir d'une vidéo de piano vue du dessus, ce projet estime la pose 2D de la main, détecte les pressions de touches et reconstruit la séquence de notes jouées, en s'appuyant sur MMPose.
Piano Hand Pose & Keys
Projet MIDL
Résumé du projet
Le projet traite de la détection de la pose d'une main au piano à partir de vidéos filmées du dessus, puis de la détection automatique des touches pressées. Il s'inscrit dans le cadre d'un projet académique du double diplôme Math–Info.
L'idée centrale est de combiner la puissance de MMPose pour l'estimation de pose 2D avec une modélisation géométrique du clavier de piano et une analyse temporelle fine des trajectoires des doigts.
Pipeline de traitement
Étapes principales
- Détection des points clés de la main (poignet + doigts) via MMPose.
- Calibrage de la géométrie du piano dans l'image (position des touches blanches/noires).
- Suivi temporel des extrémités de doigts et détection des événements de pression.
- Association de chaque pression à une note (par exemple
C4,G4,F#5).
Sorties du système
- Liste structurée des notes détectées (format Python / CSV).
- Possibilité de reconstruire la séquence de jeu ou de la réutiliser dans d'autres outils.
- Visualisations intermédiaires (superposition des keypoints, diagnostics sur les trajectoires de doigts).
Le projet est conçu pour être exécuté principalement sur Google Colab, avec une configuration CPU reproductible pour MMPose.
Ressources
- Notebook principal du projet (pipeline complet).
- Instructions d'exécution détaillées pour Google Colab.
- Exemples de vidéos et paramètres de configuration.
Le dépôt GitHub contient la marche à suivre pour adapter le pipeline à vos propres vidéos (calibrage du piano, choix des doigts à suivre, sélection de modèles MMPose).