[Problème] utiliser le masque d'une vidéo sur une autre

bonjour, voilà, j'ai 1 vidéo de pas très bonne qualité mais je n'ai pas le choix.
Cette vidéo un peu sombre comporte un arrière plan de couloir d'appartement ainsi qu'une personne en avant plan.
je souhaite faire disparaitre l'arrière plan, et l'outil le moins complexe étant le roto-pinceau, j'arrive à un résultat pas trop mal pour l'animation complète.

sauf que voila, pour arriver à ce résultat, j'ai du modifier les couleurs par différentes effets afin de séparer par exemple, la couleur noir des cheveux avec le fond noir du couloir, ...

Du coup je me retrouve avec cette image modifiée, parfaite pour avoir eu un contour pour le rotoscoping, mais inexploitable pour le rendu final car l'image est colorisée de manière terrifiante. Ce que je cherche à faire c'est donc utiliser le masquage de celle-ci sur la vidéo de base.

des idées ?
merci d'avance