[CommentFaire?] 3D + Motion Capture + Imitation de voix

Je cherche à faire "revivre" une personne morte en vidéo. C'est pour une surprise pour une prof de danse. Ca mère est morte depuis quelque années, et nous aimerions quelle présente le spectacle de fin d'année en vidéo et avec sa voix d'origine.

Mes questions:

- J'ai déjà entendu dire qu'il était possible d'avoir une modélisation 3D toute prête à l'emploie avec une simple image ou mieux une vidéo. Si oui quel est le nom du logiciel 3D qui permet ça ? Je précise qu'il existe non seulement des photos mais surtout de nombreuse longue vidéo où la personne en question à été filmé par le passé.

- Après sur ce modèle 3D j'aurais forcément besoin de Motion Capture pour faire vivre ce modèle et je n'ai évidemment pas de studio ni de matériel de Motion Capture pour ce faire. Mais j'ai entendu dire que Kinect (de la 360) marchait bien de façon détourné pour obtenir une bonne Motion Capture a moindre coût. Est-ce vrai ? et y a t'il des tuto sur le net pour savoir comment faire ?

- Enfin, j'aimerais appliqué la sonorité de la voix originel de la personne sur ma propre voix. Autrement dit je perlerais dans un micro et ma voix serait transformé par la sienne (je précise qu'on a évidemment plusieurs enregistrement audio de la voix de la personne, comme modèle). Est-ce que c'est possible et si oui avec quel logiciel ?


C'est pour l'année prochaine donc ça me laisse du temps, mais soyez honnête et dites moi si c'est vraiment pas possible vue l'exigence d'un tel projet.

Merci d'avance

 

c'est assez facile, mais ca demande beaucoup de boulot.
1) le plus simple serait de faire un sosie, avec du maquillage pro, ca pourrait passer.
2) Si tu tient vraiment a le faire a la maniere dure il faut.

1) modeliser le personnage, ce qui peut etre fait facilement en recuperant un personnage deja fait sur internet. On trouve tout fait des fichiers de mannequins articules .(3dcafe par expl) ou Free 3D Characters Models. Pour le corps, une approximation est suffisant, mais pour le visage , faudra etre precis, trouver pas mal de photos et utiliser FaceGen Modeller: 3D Face Generator
Attention quand meme, la plupart des modeles ne sont que des volumes, il n'y a pas de squelette dedans pour l'animation, mais ca se rajoute assiez facilement (biped et mixamo). Mixamo: Production-quality 3d character animation in seconds
Faire attention aussi aux habits, si tu prends un mannequin nu, ce sera plus galere d'ajouter les accessoires, surtout si c'est des robes.

3) texturer le personnage, c'est a dire , a partir de photos creer une image qui va envelopper le mannequin pour lui faire la peau (couleur et grain). C'est l'etape la plus importante, qui donne vraiment l'aspect final.

4) si tu es passe par biped/mixamo, le personnage est pret a etre anime, mais comme tu veux le faire en temps reel, il faut creer une installation de motion capture.
L'avantage du motion capture, c'est que tu peux eviter la cinematique inverse necessaire quand on fait de l'animation, puisque les points de capture controlent les deplacements.

Mais bon , le motion capture precis et efficace, c'est pas donne.
En plus il faut faire le motion capture du visage , donc en general on prend 2 personnes et deux installation de motion capture.
Pour la voix, c'est le plus dure. Tu peux modeliser une voix a partir d'echantillons, mais c'est long, et ensuite il faut pouvoir le rejouer de maniere naturelle, et ca c'est quasi impossible. un imitateur sera moins cher et plus efficace.

Et finalement il y a la projection, qui en general se fait sur un ecran tranparent avec un projo de grande puissance, sur une scene soigneusement amenagee pour gerer l'effet.
Musion | World Leaders in Holographic Projection Technology and Telepresence

Les gens qui font ca investissent en general plusieures dizaine de milliers d'euros, en utilisant des outils qui en valent plusieurs centaine de millier.
C'est possible de faire ca dans sa cuisine pour bien moins che, mais un an pour le faire, ca me parait juste....sauf si tu es a plein temps dessus.

 

Salut,

Pour être franc, sachant que tu n'y connais rien...oublie, tu va te casser les dents.

Je te fait juste un bref récapitulatif des démarches à entreprendre, sachant que ça fait appel à plusieurs corps de métier et donc même avec de solides compétences ça demande énormément de travail pour avoir un résultat correct.

Dans le monde de la 3D, c'est plusieurs métiers: Modeleur, textureur,
Solide compétences en 3D, sculptures, anatomie, texture, materiaux ...

Dans le monde de la 3D, c'est plusieurs métiers: skinner, rigger, animateur, programmeur ...
Solide compétences en 3D, script, morphologie, anatomie, animation,
Savoir déjà ce que c'est la Mocap, car par dessus ça tu rajoute une étape importante qui est le tracking de visage, qui fait appel à d'autre corps de métier.

En relation avec la citation ci-dessus, car cette étape ce fait en même temps que la mocap. Enregistrement du son (master) en même temps que le tracking du visage.
Qui sera d'ailleurs un peu ta ligne de conduite...

Étape final qui est la post-prod ou tu assemble tout ça pour faire une seule et belle image.
C'est plusieurs métiers: renderman, lighter, compositeur, étalonnage.

Un exemple de ce que ça peu donné :


Un second exemple, plus récent ce coup-ci avec "A Christmas Carol" fait en full mocap.


++