Logiciel de Lipsync Automatique

Bonjour à tous, j'aimerais savoir s'il existe un logiciel pour After Effects qui reconnait les phonèmes et peut par conséquent rattacher chaque phonème à la bouche qui convient pour la synchronisation labiale (parce que le faire à la main, c'est très, très très long ..) Merci d'avance

 

Hello !

Je ne comprends pas bien. Tu as quoi comme image ? Tu fais une animation et tu souhaiterais la caler sur la voix enregistrée ? Alors à ma connaissance, y'a pas tellement de soft pour ça...
Tu peux jeter un oeil sur le site de Trapcode pour leur plugin Sound Keys qui sert à animer un paramètre en foction du son (mais c'est plus pour caler un événement sur un tempo, il me semble). Sinon, tu devrais aller voir du côté des softs d'animation genre dessin animé (Toon Boom, etc.); peut-être qu'ils ont des modules prévus.

Désolé mais je manque de solutions pour t'aider ! Je crais que tu ne sois obligé de te taper tout à la main ! :(

A +,
Jeum.

PS: si c'est pour une animation genre dessin animé, peut-être que tu devrais te renseigner sur un form spécialisé (ici c'est un forum généraliste) où un connaisseur pourrait te conseiller un éventuel plug ou une méthode pour gagner du temps...

 

il y plein de soft qui font ca, la plupart travaillent sur des phonemes de base a partir d'un fichier wav (malheureusement souvent en anglais et la plupart du temps des travaux universitaires pas trop abouti) et interfacent des softs 3D, donc pas tres utile pour de la video.
certains permettent d'exporter les phonemes dans des fichiers textes.
de la tu pourrais creer une equivalence entre le phoneme et des sequences video.
ce serait plus simple quand meme de partir d'un fichier contenant le texte et de le convertir en phoneme (il y a encore plus de soft qui font ca).
Pour creer la video, suffirait d'avoir la bouche en gros plan, de la mapper sur une bouche 3d et de deformer la structure 3D en consequence.
il y a tout ce qu'il faut dans 3dstudio.

 

Merci beaucoup En fait, ce que j'aimerais faire, c'est un dessin animé de 20 minutes style south park sur after effects. Jusque là, je n'ai eu aucun problème... sauf pour le lipsync, et 20 minutes de lipsync à la main c pas facile :s

 

LE tut de creative cow pour le lyp-sync.

En anglais. Et pas automatique.
De toute façon, il faut toujours faire des réglages manuels…

 

Le problème est que le dessin animé risque d'être assez long (20 à 40 minutes), et le fait que les phonèmes correspondent exactement aux mouvements des lèvres importe peu (la preuve : les mouvements de lèvres de South Park sont adaptés à la version américaine, alors que, même en francais on fait pas la différence ^^) , alors est-ce une bonne idée de coller une animation de lèvres qui bougent sur la bouche du personnage entre le moment où il commence à parler et le moment où il finit (avec bien sûr kelkes réglages manuels, comme la vitesse des mouvements, suivant le personnage); et bien sûr faire du lipsync pur à la main lorsque le personnage se met à chanter ?
@+, Sorcy

 

Aaah… bah dans ce cas, si tu n'es pas exigeant sur le moment des lèvres, tu peux simplement utiliser une expression qui va animer ton calque de bouche. Ce n’est pas les tutoriaux qui manquent sur le sujet (voir les FAQ du forum).
Il te faudra avoir chaque voix sur une piste différente et "lier" l'amplitude sonore de chaque piste à la taille et/ou la position de ta bouche.
Tu peux même pousser le vice pour qu'à un certain niveau d'amplitude, AE change automatiquement de forme de bouche… ou mieux, passe à une précompo de bouche animée et en boucle. C'est une manipe qui est cependant un peu poil complexe.
Il y a sûrement d'autres solutions…

Si tu n'as pas l'habitude des expressions, amuse-toi avec les FAQ dans un premier temps. C'est simple et méchamment efficace.

 

La précompo parait être une idée sympa, on pourrait faire varier la vitesse de la bouche en fonction du débit de parole du personnage, mais le problème est : comment utiliser cette animation en boucle ??

 

Tout peut être géré par l'amplitude de la voix off grâce aux expressions d'after-effect.
Il est possible de lier un élément d'une composition avec un élément d'une autre composition (ici, la vitesse ou le Time remapping de ta bouche en boucle).

Mais c'est en sciant que Léonard devint scie…

Encore une fois, je t'invite à te farcir les tutoriaux sur le sujet "animer en fonction du son". Adobe en a mis sur son site, il y en a plein sur le net.

 

Merci beaucoup de ton coup de main logicalnot

@+, Sorcy

 

Salut,

J'ai produit un long métrage d'animation, et utilisé pour le lipsync Flash de macromedia ( maintenant chez adobe ).
Utiliser AE pour du lipsync ressemble à chasser une mouche au lance roquette.

La plupart du temps, le lipsync est un travail de fourmi, comme dans un autre genre le rotoscoping.

Mais bon, la vitesse, ça s'acquiert avec de l'entrainement. Faut voir à quelle vitesse un animateur te sort une séquence lipsée ! ( ouch... )

Pour un moyen métrage d'anim, je te conseille donc d'apprendre Flash, il est très simple à apprendre ( pour la maitrise, c'est autre chose... ).

Tu t'appercevras d'ailleurs que ce logiciel permet d'aller assez loin dans la fabrication d' animations.

 

Merci CapricornSound, mais j'ai choisi After Effects justement pour pouvoir faire plusieurs effets spéciaux dans ce dessin animé, et donc je ne sais pas si c'est faisable aussi facilement sous Flash ..

 

ceci dit, dans Flash, rien n'est prévu - à ma connaissance- pour le lipsync ! L'évolution d'une forme en fonction de l'amplitude me semble plus évident avec AE qu'avec Flash !

non ?

 

J'avais oublier moho. Un soft d'animation vectoriel à voir… malgré des galeries super minables et un site plus moche, tu meurs . Il dispose d'un lyp-sync automatique - mais je ne sais pas du tout ce qu'il vaut, je ne l'ai jamais vraiment essayé.