[Problème] Redresser une corne sur un modèle qui marche face caméra

Bonjour,

Amis d'AE je vous salue bien ! Je n'avais plus utilisé AE depuis longtemps, parce-qu'il devient rare que je doive assurer la post production moi-même. Je n'ai pas le droit de diffuser d'image, mais mon problème est facilement compréhensible sans (ça fait juste plus de texte à lire).

Pour un clip musical qui doit sortir lundi, j'ai un plan large nocturne d'un modèle sortant d'un lac, face camera, avec 2 grosses cornes, filmé au ralenti. On ne pouvait faire qu'une seule prise de ce plan, or une des cornes s'est placée de travers lorsqu'elle est sortie de l'eau. Celle de gauche est trop sur le côté, tombante (presque à l'horizontale). Pour illustrer, ce sont ces cornes :



Ayant besoin de ce plan, j'ai entrepris de redresser cette satanée corne. Optimiste, je me suis dis que ça allait être facile et rapide, mais pas vraiment.

Le fond derrière la tête du modèle étant, heureusement, relativement uniforme et flou, j'ai commencé par effacer la corne tordue avec Spot Clone Tracker (Suite VFX de Maxon). Très facile et rapide, je me retrouve avec un plan parfait avec une seule corne bien placée (celle de droite quand on regarde l'image). Il me reste maintenant à trouver un moyen de redresser et replacer la corne de gauche que j'ai effacée.

Sur un deuxième calque (copie du premier), je fais un masque autour de la corne problématique et un suivi de ce masque. Je me retrouve donc avec un deuxième calque ne contenant que la corne tordue. J'ai un premier calque de mon plan sans cette corne, et un second superposé ne contenant que cette corne, parfaitement positionnée et suivant les mouvements du modèle (puisque les deux calques sont le même plan). J'ai donc un résultat identique au plan d'origine, mais en 2 calques.

Je me dis que si j'applique une rotation au calque contenant la corne tordue, puis que je repositionne la corne au bon endroit en agissant sur les coordonnées du calque, ça devrait fonctionner. Mais pas du tout, car le fait d'appliquer une rotation change complètement la donne, la corne ne suit alors plus toujours le mouvement de la tête (parfois oui, parfois non). En y réfléchissant, ça semble logique (une histoire de sinus et cosinus). J'ai alors tenté diverses choses, dont du tracking (mais je n'ai rien à tracker qui suive les mouvements de la tête dans tous les sens, il faudrait de la 3D), des effets de warping et j'en passe, mais c'est toujours le même problème : si je redresse la corne d'une manière ou d'une autre, elle ne reste plus toujours collée à la tête (elle glisse sur la droite ou la gauche à certains moments).

Je précise qu'on fait appel à moi car je suis très efficace et rapide, ne travaillant que sur des clips scénarisés et sur découpage technique. Sur ce genre de clip (petit budget 2K subventionné), je tourne en une journée et je livre le master post-produit le lendemain soir. Ceci pour expliquer que je n'allais pas passer 3 jours sur ce petit problème (j'avais 3 autres plans truqués à faire), il fallait que je trouve une solution très rapidement.

J'en ai donc trouvé une, mais un peu fastidieuse : faire un suivi manuel, en ajustant chaque image clé (position du calque contenant la corne). Le problème c'est que la moindre erreur à un moment donné oblige à reprendre toutes les images clé suivantes. Ce qui est arrivé plusieurs fois bien sûr. Mais c'est toujours ça de gagné, à certains moments du plan, la corne reste parfaitement collée sans que je n'ai rien à modifier.

Alors je me pose deux questions :

- Y'a-t-il une autre méthode plus simple que la rotation du calque à laquelle je n'ai pas pensé pour résoudre mon problème ?
- Existe-t-il une formule mathématique (très certainement à base de sinus et cosinus) que je pourrais rentrer sous la forme d'une expression pour ajuster automatiquement la position du calque contenant la corne en fonction de l'angle de rotation choisi ?

Je remercie grandement et souhaite un joyeux Noël à l'éventuelle personne qui osera me répondre.

 

il faut creer un quaternion qui soit au centre de rotation (la corne qui est ok peut aider a la faire).
apres sans avoir une idée precise du probleme, pas possible d'entrer dans le detail.
c'es étrange d'avoir filmé une scène avec un defaut aussi visible et que personne ait pensé a la refaire.

 

Comme je l'ai précisé au tout début, on ne pouvait faire qu'une seule prise à cause de plusieurs contraintes techniques et logistiques. Nous savions donc très bien que la corne était tordue. Cela arrive souvent même sur des gros tournages. Mais pour ce clip il n'est pas question de reshoots.

Le centre de rotation, oui, mais lequel ? Les deux cornes ne sont pas du tout identiques visuellement, de par la perspective et le mouvement du modèle (imagine un modèle qui te regarde vu en plan large dans un lac, qui porte exactement les cornes que j'ai mises en photo, et se dirige vers la caméra qui est fixe). Il n'y a pas de centre figé à chaque corne, puisqu'elles bougent, tournent légèrement sur tous les axes (x, y, et même z lorsqu'elle balance sa tête d'avant en arrière) et changent de taille au fur et à mesure que le modèle avance vers la caméra. Bonjour pour trouver un centre, j'ai tenté mais sans succès.

J'ai résolu le problème en faisant un suivi manuel, mais je subodore qu'en appliquant une rotation à un calque qui a un masque de suivi, on peut écrire une fonction qui ré-ajuste automatiquement les coordonnées du calque. Je le pense parce-que j'ai des relents de l'époque ou j'étais démomaker Amiga il y a 40 ans (ce genre de problème en assembleur m'aurait fait sourire à l'époque), mais aussi parce-que j'ai constaté que mes corrections manuelles étaient basiques (elles consistaient à ajouter +1 en X quand le sujet bougeait vers la droite, -1 vers la gauche, etc...).

 

J imagine que la tête de la comédienne, effectue des rotations et donc change la perspective de la corne, c est pourquoi tu as conservé la vidéo entière de la corne plutôt que de travailler avec une image fixe.
Pour faire ce type d effet on utilise mocha pro, et on fait ce qu on appelle un reverse motion tracking, ou reverse stabilization, pour utiliser les données du track pour stabiliser l image, dans ton cas tu tracks la corne et ensuite tu stabilises l image autour de la corne, ce qui permet ensuite de coller ce film comme une image fixe sur une autre donnée de track
Un petit tuto pour exemple

ou ici

 

Livre sur l'histoire de la scène demomaker Amiga

Afficher/Masquer: Le livre

 

ton quaternion (ca s'appelle comme ca parce qu'il est composé de 4 nombres) trouve probablement au centre de la tete de de la personne.
si traces un axe allant du menton au front en passant par le nez, tu as deja un axe.
le deuxieme axe passe probablement par les oreilles et les yeux
le 3iem passe forcement la ou les 2 autres se croisent. et sort de l'ecran quand le sujet te regarde.
Pour les autres axes, c'est juste la translation, c'est donc plus facile., on peut d'ailleurs se liberer de cette contrainte en stabilisant l'image.
Perso je ferai meme comme ca, je stabiliserai totalement l'image (le visage reste droit dans l'image, c'est l'image qui tourne, comme ca tu peux juste coller ta corne.
En recuperant les données de la stabilisation, tu as le mouvement qui permet de revenir en arriere.

 

Je t ai parlé dans le post précédent de Mocha pro, maintenant je ne suis pas sûr que tu l aies, donc voici une autre manière de le faire avec Warp stabilizer, qui fais partie de AE de base

 

Oui, c'est tout à fait ça.

Mocha c'est vraiment bien mais ça fait longtemps que je ne l'ai plus utilisé. Je note et vais regarder ce que tu me proposes dès que possible, merci beaucoup, j'espérais avoir ton avis

Ceci dit, il me faudra des données de tracking pour coller la corne, et je ne vois pas quoi tracker sur ce plan. Je peux tracker un oeil du modèle, mais ça ne colle pas avec le mouvement des cornes, notamment à cause des petits mouvements subtiles lorsqu'elle lève ou baisse la tête. Le problème c'est que les mouvements sont subtiles vus de face, mais ils ont un impact important sur la perspective des cornes.

Merci !

Magnifique ! Je ne savais pas que ce livre était sorti. Je reconnais quasiment toutes les démos en couverture ! J'ai notamment fait partie de Scoopex, un groupe majeur de cette époque. Lors des party, on passait 3/4 jours sans quasiment dormir à coder et échanger avec les autres dans des grandes salles (gymnases, salles des fêtes, etc...). Nous étions des centaines, de partout dans le monde, c'était une ambiance très "woodstockesque", de sacré souvenirs.

 

tu pourrait aussi simplement supprimer les deux cornes et les remplacer par un model 3d
google IBEX HORN ou GOAT HORN
ibex horn 3D - Google Search

 

Remplacer les cornes par un modèle 3D n'est pas possible : c'est long, il faudrait un tracking 3D de la face (un tracking planaire ne peut pas faire tourner les cornes en Z comme elle le doivent), et il me faudrait le modèle 3D exact des cornes qu'on a utilisé, puisqu'on les voit bien sur les autres plans plus rapprochés.

Même si j'utilise la méthode décrite dans la vidéo pour laisser le visage au centre, le modèle tourne la tête, la lève ou la baisse légèrement. Déterminer ces points me semble plus théorique que concrètement applicable à mon cas. Je ne vois pas comment les déterminer, ni quoi en faire ensuite.

Très intéressant, je vais faire des essais avec ça demain. J'avais déjà utilisé la technique décrite dans cette vidéo il y a 4 ans, justement pour faire enfler ou réduire la tête d'un personnage qui marchait (comme l'exemple au début). J'avais totalement oublié. Je ne sais pas si je vais réussir à faire ce que je voulais avec ma corne avec cette technique, mais je vais essayer par curiosité. Merci encore !

 

en general on reconstitue un mouvement 3D a partir d'une image 2D en identifiant des points invariables determinant des axes (par exemple le coin des yeux et le nez ) .
C'est ce que fait n'importe quel programme de tracking. C'est probablement ce que fait Mocha ou meme un filtre Snapchat.


Ca commence tracker tous ces points, construire une structure geometrique, et evaluer les mouvements en fon ction de la deformation de cette structure.

 

Oui @giroudf, mais ça n'est pas aussi performant qu'un vrai tracking 3D. Les filtres Snapchat c'est du gadget (ma fille m'a montré), ça fait la blague pour s'amuser sur un téléphone (c'est très grossier et le tracking en temps réel décroche quand même assez souvent), mais là on est sur un clip UHD de maison de disque, c'est pas du tout le même niveau d'exigence. J'avais essayé mais les mouvements de sa tête (qui est de face) ne traduisaient pas les mouvements que devaient avoir les cornes fixées au dessus (les cornes ont des mouvements beaucoup plus prononcés que le visage). C'était d'autant plus difficile que la scène est tournée en LOG après le coucher du soleil, sans éclairage d'appoint. Alors bien sûr, pour tester j'ai fait un étalonnage vite fait pour augmenter le contraste.

Je n'ai pas encore d'expérience positive avec les LLM, tout ce que j'ai essayé avec ces architectures est très loin de me convenir (une cata même sur des essais très poussés et payants pour un projet), mais probablement que dans le futur ont fera ainsi ("redresse moi la corne gauche" et hop, c'est réglé !).

La semaine dernière, j'ai supervisé un tournage blindé de VFX avec notamment de la mocap (domaine très vaste). Là oui, on fait ce qu'on veut (enfin, les spécialistes, on peut en faire sans marqueurs) des données capturées, mais en mode tracking planaire on est quand même bien plus limité. Les boites de VFX pètent une durite face aux demandes de réals qui n'y connaissent rien et leur demandent des trucs qui n'ont pas été correctement tournés pour (finalement, c'est mon problème, corriger un accident). Je serais plutôt de l'école inverse, comme je pratique un peu (légèrement par rapport aux spécialistes), je me rends compte des contraintes et suis très prudent et très à leur écoute.

Quoi qu'il en soit le clip est sorti cet après midi et tout le monde est content du résultat (ouf !). J'ai passé 1h30 / 2h tout au plus (j'ai procédé en plusieurs fois, n'étant pas satisfait) à repositionner manuellement la corne. Je pense qu'une formule sous la forme d'une expression aurait pu m'épargner, mais je n'ai plus l'expertise dans ce domaine que j'avais il y a 35 ans.

Je n'ai pas encore eu le temps de tester la technique proposée par @mhr, mais je vais le faire dès que possible, car c'est très utile en moult situations.

Merci à vous deux en tout cas, sincèrement.

 

"Quoi qu'il en soit le clip est sorti cet après midi "
il est ou le clip ?

 

L essentiel, c est que tu t en sois tiré, à l arrivée ça se termine souvent par de l image par image.
Dommage qu on ne puisse pas voir le résultat

 

Voilà un extrait brut du résultat (c'est filmé en LOG).

Extrait Cornes