Améliorer le chroma key en DV.

Hello !

Il y a un soft qui revient de temps en temps sur le forum. J'ai fini par aller faire un tour sur le site de l'éditeur: www.seriousmagic.com
En fait je recommande à tout le monde de perdre quelques minutes à regarder leur démo vidéo (ça fait un peu télé-achat, mais bon... ). Ca laisse sur le c**... pardon: on reste pantois devant !

Alors vous me direz: c'est facile aussi de faire du chroma key en studio avec une vraie caméra qui tue ! Et là, faut comprendre un truc, c'est que leur démonstration a été tournée en DV !!! :amour:
La vidéo de démo est là: http://www.seriousmagic.com/ukoverview.cfm

En gros, à mes yeux, c'est le soft de chroma key le plus efficace que je connaisse !!

Après, peut-être qu'on peut créer un filtre à partir des couches YUV, le flou, réaccentuer la netteté, retour en RGB mais je n'ai pas encore testé pour voir si ça marche bien. Alors que le soft de Serious magic, Ultra key, fait ça en un clic de souris !

Je vous recommande de télécharger la démo (250 Mo, quand même, donc petites connexions s'abstenir... ) et tester par vous-mêmes. La démo n'est pas limitée mais porte un watermark pour rendre inexploitables en production les séquences produites.

Les fonctionnalités de ce soft ne s'arrêtent pas là. Il permet de remplacer le fond vert par un décor 3D animé (plateau télé), animer des mouvements de caméra (zooms, pan, etc.) comme si vous aviez une caméra sur bras articulé, vous pouvez aussi simuler plusieurs caméras en jouant avec le décor, etc.

Je pense que le jour où j'ai 5-600 $ en poche et un chroma key à faire absolument, je me rue sur ce soft !

J'oubliais: ils ont même prévu une preview pour pouvoir contrôler en même temps qu'on tourne ! Ca permet d'ajuster en direct les lumières, le fond, le cadre, etc. avant de shooter.
On croit rêver...

A +,
Jeum.

PS: j'ai entendu parler aussi de Chromanator mais je ne sais pas ce que ça vaut. Quelqu'un a testé ?...

 

Chromanator <=> AlamDV

Concernant le soft de SeriousMagic... Il y a des incrustations assez impressionantes (à se demander si c'est réellement du DV, je pense par exemple à la fille sur la plage), et d'autres nettement moins (tout les plans "en studio", surtout avec le gars chauve).
Personnellement, je ne pense pas que ça puisse remplacer le long travail manuel (80% de rotoscoping plus de nombreux masques par luminance) dont on est habitué.

 

Hello !

J'avoue que j'attendais ton intervention !

J'ai testé la démo et je suis plus impressionné par ce keyer que par tous ceux que j'ai testés (ok, la liste n'est pas si longue mais j'ai essayé de prendre ceux qui avaient les faveurs du plus grand nombre...).
Quand on regarde les cheveux de la blonde qui volent dans le vent d'un ventilo, j'avoue que pour du DV, je reste bouche bée !

Faut parfois faire quelques réglages mais j'ai essayé avec les vidéos filées sur la lune rouge, notamment avec celle du type qui se sert un verre d'eau. Faut corriger l'étiquette bleue qui disparait dans la manip (normal...) mais en trois clics de souris, je ne connais pas de soft plus efficace. Et là, je suis sûr que c'est du DV !...

Primatte coûte presque autant, offre moins de fonctions et donne des résultats moins bon en DV, donc ?...

Merci pour l'info sur Chromanator. Je ne sais pas pourquoi mais depuis que tu as parlé d'AlamDV, je n'ai plus envie de pousser la recherche plus loin...

Merci et à +,
Jeum.

PS: par contre, tu as raison le DV ne donnera pas de résultats parfaits en chroma key, c'est certain; mais là, je trouve que ça reste exploitable sans trop se galérer, visiblement (en gros: pas top mais suffisant)...

 

Pourrais-tu, si tu as le temps, poster quelques images du masque créé par la démo?

 

est-ce que l'effet médiane peut améliorer la qualité du color range ?

 

Hello !

Je poste une courte séquence et une image.
L'image provient de la séquence.

J'ai fait un rendu sans compression, 32 bits depuis Ultra. Quand il y a un fond derrière la nana, ça parait bien détouré. En fait, des lignes verticales apparaissent nettement (bras, cou) quand on met sur fond noir.

Je n'ai pas trouvé d'option pour isoler directement dans Ultra la couche alpha, d'où mon rendu sans compression.

Pour le chroma key, J'ai placé 5 à 10 points (références sur le fond vert pour le soft), mais je pense que 3, au max, auraient suffi. Je n'ai ensuite fait aucun réglage (même pas de correction de teinte sur les bords du masque pour virer du vert résiduel), histoir que vous voyiez le résultat brut (il est toujours possible de peaufiner, quelque soit le soft).

Une fois dans AE, j'ai extrait une image qui me semblait difficile à détourer normalement (petits cheveux qui volent sur le haut du crâne, fines mèches derrière la tête). Je l'ai mise en format psd pour que vous puissiez mater la couche alpha.

En regardant la séquence et l'image que j'ai extraite, c'est vrai que j'ai un peu déchanté. Tu avais raison, Julien W. de te méfier au premier abord ! (c'est pour ça que j'attendais avec impatience ton avis sur la question, d'ailleurs !... ).
Quand on regarde les cheveux, je trouve que le résultat est bon, pour un chroma key en DV. Mais on voit quand même des traces des carrés de compression DV. :(

En gros, mea culpa ! Je me suis un peu vite emballé sur ce soft. En fait, je reste convaincu que c'est le meilleur (à ma connaissance) pour chroma keyer du DV mais il est loin d'être parfait. En fait, ce qui me gêne le plus c'est les artefacts dus aux bandes verticales (matez le long de l'avant-bras de la fille au début de la séquence, ou sur son cou). Ca se rattrappe peut-être avec les nombreux réglages d'Ultra mais c'est dommage.

Quelques dernières précisions quand même:
- j'ai Interprété le métrage dans AE en choisissant "trame inférieure en premier" et j'ai coché "Conserver les contours (qualité optimale seulement)" ce qui améliore le rendu visuel;
- j'ai compressé la vidéo en XviD en qualité max en choisissant RVB + Alpha, c'est-à-dire millions de couleurs + (d'ailleurs, je comptais faire un export en DivX Pro mais visiblement, ce codec a disparu entre la version 6 et la 6.5, on dirait ?... );
- quand j'ai importé ma vidéo non compressée (sortant d'Ultra) dans AE, il m'a demandé quoi faire avec la couche alpha: j'ai laissé 'Directe - sans cache" comme c'était par défait

Volià, je n'ai plus qu'a vous filer les liens:
- l'image .psd: http://membres.lycos.fr/jeum37/folder/Blonde shampoo.psd
- la séquence vidéo: http://membres.lycos.fr/jeum37/folder/Blonde shampoo alpha DivX.avi

Oh si, une dernière chose !
Ne serait-il pas possible d'utiliser la méthode dont j'ai posté le lien un peu plus haut (à savoir garder la couche Y et bidouiller avec du flou sur U et V), mais en la complétant un peu. Comme on applique un flou, par définition, on perd en netteté sur les bords. Est-ce qu'il serait possible d'utiliser les infos de luminance de l'image (à condition d'avoir un sujet à détourer qui se détache bien du fond) pour récupérer un peu les contours ?
es-jee, à propos d'un autre problème évoquait ce genre de solution dans cette page: http://www.repaire.net/forums/showthread.php?s=&postid=518370/post518370

Si j'ai un moment, je tacherai de chercher un peu (mais j'espère avoir aiguillonné suffisamment les Julien W. et autres Séquelles pour avoir le point de vue des pros sur ce sujet !... ).

A +,
Jeum.

 

Merci pour toutes ces informations!

En effet, je considère le résultat comme "classique". C'est une très bonne incrustation chromatique sur du DV; mais ça reste une incrustation chromatique sur du DV.

Il faut bien comprendre quelque chose: la résolution des deux couches chromatiques en DV est inférieure à celle de la luminance, et quoi que l'on fasse, ce sera toujours le cas.
Flouter n'est pas la bonne chose à faire. Le mieux est de définir ces deux couches comme des images de 360x288 (leur résolution native), et créer le masque chromatique ainsi. C'est un peu comme travailler avec des petites images non compressées.
[Techniquement, ceci pose quand même un problème: les keyers se basent sur les trois couches, donc redimensionner l'image implique une perte de qualité sur l'une des trois couches.]
Pour incruster ça, on peut utiliser de bons keyers non conçus pour du DV, comme Primatte par exemple.

Ensuite, on redimensionne l'alpha à 720x576. Ce sera flou, mais ce sera un flou intelligent (la plupart des programmes interpolent, c'est à dire qu'ils essaient de deviner les pixels intermédiaires, au lieu de les déterminer en faisant une simple moyenne). Jette un coup d'oeil à un programme qui s'apelle S-Spline; il me semble qu'il a changé de nom, mais je crois qu'on en avait parlé une fois ici.

Maintenant, tu as une bonne couche alpha, mais malheureusement sans détails (~4 fois moins de détails que l'image). Pour en rajouter: rotoscoping (pour les bords "réguliers") pour mieux définir les contours, et masques de luminance quand on peut (transparance, ...).

 

Hello !

Merci pour ces explications (que tu as déjà données plusieurs fois... c'est cool que tu ne te lasses pas !... ).

J'ai essayé plusieurs manip mais peu concluantes, j'avoue.

J'ai tenté de redimensionner les couches avec un rééchantillonnage en me disant que même si ce n'était pas parfait, c'était toujours mieux que la résolution de départ ! Je me suis embrouillé dans les couches YUV donc j'ai laissé tomber de ce côté-là... (il était tard, donc niveau réflexion, ce n'était pas ça... ).

J'ai isolé les couches R, V et B. Comme je ne savais pas exactement comment leur donner leur résolution "normale", j'ai basculé leur Echelle à 50 %, j'ai exporté en séquence d'images et j'ai rééchantillonné à 200 % (batch = traitement par lot). Comme la source est en NTSC (pixels non carrés 0,9; 720*480), ça veut dire que mon export d'AE était en 360*240, rééchantillonnage à 720*480 et retour vers AE.
J'ai refusionné les couches ensemble et j'ai tenté un keying.

Pratiquement aucun gain visible en résolution ! :(

Je me demande plusieurs choses:
- comment exporter en 360*240 les couches depuis AE ? Ma méthodes est-elle bonne (j'ai comme un doute...) ?
- n'y a-t-il pas une fonction d'interpolation dans AE qui permettrait de redimensionner les couches à leur taille "normale" (360*240) pour ensuite rééchantillonner dans AE à 760*480 ?
- comment utiliser les infos de la couche de luminance Y pour récupérer les contours nets et les appliquer aux autres couches ? J'ai tenté plusieurs manips sans trop de succès... :(

Je suppose qu'en utilisant la couche de luminance (bien définie) et le rééchantillonnage (qui permet de rajouter un peu d'info à une image/couchedégradéepar la compression DV), on peut améliorer le keying.

Le rééchantillonnage par lot n'est pas rapide à calculer mais au moins, c'est l'ordi qui bosse et pas moi ( ) et c'est toujours plus rapide et moins pénible (pour rester poli...) que le rotoscoping.

Petite question supplémentaire.
Est-il possible d'exporter sous forme de séquences d'image les couches U et V depuis AE (je n'ai pas encore eu le courage de tester aujourd'hui... ), en format .tif, .tga ou.png, par exemple, les bidouiller (rééchantillonnage) donc enregistrer ensuite ces fichiers dans le même format (32 bits pour éviter une compression, même si 24 devraient logiquement suffire, à mon avis) et revenir dans AE ? Est-ce qu'on est resté en YUV ou bien les images ont-elles été reconverties en RGB à leur enregistrement en tif/tga/png ? Si elles sont revenues en RGB, est-ce gênant pour le rééchantillonnage puis, dans AE, pour les refusionner ensemble et redonner l'image RGB apparemment normale (je ne sais pas si je suis très clair, là... ) ?

Enfin, dernière piste (mais là, ça relève peut-être de la science fiction...): ne peut-on pas mettre à profit l'entrelacement pour récupérer les infos qui manquent (au moins verticalement, ce qui ferait déjà un doublement de la quantité d'infos) ? Si les trames ne représentent qu'une ligne sur 2 de l'image, que cette ligne (horizontale) fait la longueur de l'écran mais un pixel de hauteur, au total, une frame (je ne sais pas si c'est exactement le mot pour dire une demi-image) aura en largeur une résolution de 720 (donc compression de 50 % dans la chrominance, soit l'équivalent 360 pixels étendus à 720) mais si on a du bol, n'ayant qu'un total de 240 pixels (une trame sur 2 dans une hauteur de 480 pixels) on a peut-être une définition parfaite. Je ne sais pas si je suis assez clair dans mon raisonnement, là...

Mais en écrivant cette théorie, je me dis que si, désentrelacée, l'image a une chrominance compressée de moitié sur la hauteur aussi, c'est qu'on peut raisonner sur une image entrelacée ou non, les infos RGB sont compressées, donc insuffisantes. On a sur les couches RGB une résolution en hauteur de 240 pixels sur une image désentrelacée et de 2 fois 120 pixels sur les 2 demi-images entrelacées. J'ai raison ?...

Question subsidiaire (pas vraiment hors sujet mais pas loin... ): y'a-t-il un moyen de rééchantillonner une image (pas besoin de plus de 200 % au redimensionnement) de manière correcte sans passer par un logiciel d'images fixes genre Photoshop, mais directement sur de l'avi (ou autre format vidéo) ? J'ai cherché avec S-Spline mais soit je n'ai pas trouvé soit l'algorithme n'existe que pour de la photo, pas la vidéo.

Je continue à chercher des astuces pour avoir une méthode générale applicable à tous les rushes DV (parce que les rotoscoping/caches par luminance/chroma keys de différents softs et autres bidouilles sont à appliquer au cas par cas, manuellement, selon les vidéos à traiter). Je sais bien qu'on ne pourra pas faire de miracle à ce niveau mais si on peut arriver à élaborer une méthode pour améliorer le chroma key DV, c'est toujours ça de temps gagné pour la suite !...

A +,
Jeum.

 

Salut!

Je viens d'effectuer quelques tests, et j'ai constaté avec étonnement que de diminuer la résolution de la chrominance par 4 ne supprimait pas l'intégralité des artefacts. C'est-à-dire que les couches U et V d'une source DV PAL, redimensionées en 320x288, contiennent encore de nombreux artefacts. Pourquoi? Aucune idée!

Attention, la chrominance d'une image NTSC n'est pas compressée de la même façon que la chrominance d'une image PAL.
En ce qui concerne le PAL, en théorie (cf. ma remarque précédente), la chrominance a une résolution de 320x288. Et en ce qui concerne le NTSC, la chrominance a une résolution de 180x480. [Je n'ai pas pris en compte la taille des pixels, elle peut introduire de légères différences.]

Mise à part ton erreur de résolution, je pense en effet, maintenant, que la technique ne marche pas. Je serais intéressé d'avoir l'avis d'un expert sur le sujet (forum DV?).

Je pense que ta méthode est la bonne.

Je pense que AE le fait automatiquement lorsque le layer est en haute qualité.

Il faut réutiliser l'image originale, isoler Y, et jouer un peu avec les niveaux et les masques.

C'est aussi ce que je pensais.

En fait, AE ne sait pas si les images sont en RGB ou en YUV. Lorsque l'on converti l'image en YUV, on fait quelque chose comme:
R' = Y(R,G,B)
G' = U(R,G,B)
B' = V(R,G,B)

L'idée est bonne, mais malheureusement il faut banir l'idée de mélanger les deux trames. Une trame ne peut pas apporter des informations supplémentaires à l'autre trame. Elle contient juste d'AUTRES informations.

Je ne suis pas sûr de t'avoir totalement suivi, mais il faut tenir compte du fait que la compression chromatique a lieu APRES l'entrelacement (mince... serait-ce AVANT? je ne sais plus...).

En effet, S-Spline ne travaille que sur des images. Mais je crois qu'il est possible de faire un batch.

 

Pourquoi des artefacts sont-ils encore visibles dans l'image redimensionée?

http://membres.lycos.fr/geekftp/temp/dv.png

PS: Si certains artefacts ont une forme peu commune, c'est du au fait que l'image est entrelacée. Cependant, ça ne change rien au problème.

 

Ah, j'ai enfin une réponse. En fait, le DV est tout d'abord "downsamplé" vers du 4:2:0, puis compressé avec un algorithme DCT (Discrete Cosine Transform).

A lire ici: http://www.adamwilt.com/DVvsMJPEG.html

 

salut!

et qu'en est il du hdv?
4:2:0 ou 4:2:2 ?

 

Sauf erreur, c'est du MPEG2. Donc la compression DCT est de toute façon plus conséquante. A tel point que je ne sais pas si le sous-échantillonnage est négligeable.
Mais, en réalité, j'en sais rien.