[CommentFaire?] Comment exploiter une vidéo en cartoon dans son propre style de dessin

Bonjour,

J'ai bien aimé l'animation The city of love qui a été réalisée à partir de vidéo (je crois) et dans un style très personnel et donc, qui se démarque des innombrables IA qui convertissent des vidéos en mangas.

Bien entendu, je ne suis pas à la recherche d'une solution toute faite et immédiate mais juste avoir une petite idée de ce processus.

 

ca depend de ce que tu cherches.
tu peux tout générer depuis zéro avec l'IA, ou tu peux l'asssister a differents niveaux.
(fournir des videos ou des images, creer un style, voir un modele complet)
le travaille est different, explore different pistes et techniques.
De toute facon c'est un gros boulot de creation, quelque soit l'outil. le fait d'utiliser l'IA change pas grande chose au boulot, c'est juste un outil comme si tu utilisait un crayon, un pinceaux, faire un collage, photoshop etc... c'est juste plus puissant et plus iteratif, plutot comme ecrire un roman que de peindre ou scultper.
Ca peut aussi etre piegeux, parce que l'outil est pas forcement ni simple ni docile. Lui faire cracher n'importe quoi, c'est assez facile. comme de barbouiller une toile.
Ca ajoute aussi une dimension strategique vu qu'il y a plusieures methodes possibles. Un peintre , il se pose pas trop des questions, il a son pinceau et sa toile.
Avec une creation electronique, il y a parfois des detours a prendre qui peuvent etres assez tortueux.

De toute facon , a la base il te faut une histoire, avec un debut et une fin, puis un decoupage par plan.
Pour ca c'est crayon /papier, bien que chatGPT puisse deja t'aider a ce niveau.

ensuite tout depend de tes competences dans ce domaine, il y a pas mal de sites en ligne qui permettent de faire des trucs, mais en general c'est vite payant.

 

Pour tout dire, je ma principale activité est le Motion design et je peux assurer tous les postes de création, du rédactionnel à la livraison du fichier final.

j’utilise l’IA au minimum pour ne pas tomber ds la facilité et produire à terme, les mêmes projets que la concurrence.

mon interrogation du jour concerne un aspect technique précis soit exploiter de la vidéo comme trame d’u e animation depuis mes propres illustrations /personnage ( je suis aussi illustrateur).

Je tente donc de savoir comment un projet du type city of love a été réalisé.

 

reste a savoir si vraiment ca a été fait avec l'IA ,et dans quelle mesure.
A part ca tu trouves pleins de site qui font ca , suffit de fournir l'image de depart et de donner une description de ce qu'on veut.
Difficile a faire en local sur son PC, il n'y a pour l'instant pas de programme vraiment performant pour faire ca.
Si tu utilise stable diffusion (une des seule IA graphique dispo sur PC), il y a des tas videos qui montrent comment faire, mais c'est galère pour un resultat assez aleatoire, surtout depuis une image fixe. Video a video, c'est plus facile, si les video sont simples. Sinon il faut generer des videos en IA qu'on va utiliser dans l'IA. ca devient un sacré boulot.
Video to video with Stable Diffusion (step-by-step) - Stable Diffusion Art (stable-diffusion-art.com)

Perso , j'aime bien KRITA , couplé avec Stable-diffusion en local, qui te permet de dessiner en live un dessin de base (quelques traits) qui sont transformés en live (avec une bonne carte video) selon les consigne que tu donnes.
Krita Live Drawing with AI (youtube.com)
maintenant on peut meme dessiner en live sur des objet en mouvement.

 

Merci pour toutes ces pistes mais même si les résultats sont d'une réelle qualité, les rendus semblent de plus en plus marqués IA qui collent encore beaucoup trop à la réalité et trop influencés par la culture manga, ce que je souhaite éviter.

L'idée est vraiment de pouvoir s'appuyer sur la vidéo pour extraire des mouvements complexes difficiles à reproduire a la mano et aplliquer "par dessus" les personnages que j'illustrerai. Comme il est exclu de faire de l'image par image avec une pelure d'oignon de 25ips, le bon outil premettrait de gérer les transition d'un dessin A à un dessin B...

Bref, je ressasse un peu en revenant à mon exemple The city of love mais c'est vraiment ça que je souhaiterais pouvoir obtenir, dans mon style, sans nécessairement chercher la facilité de l'IA, pour moi le résultat prime, le gain de temps est plutôt secondaire dans un preimer temps.

 

ton avis est probablement biaisé par une observation incomplete du phenomène.
C'est vrai que les influenceurs, qui sont souvent pas des graphistes tendent a faire toujours les meme demo avec les meme modeles. Mais un vrai artiste peu faire ce qu'il veut , il n'y a pas de limite particulière au procédé.
Neanmoins, que tu vois le travail de certains artistes qui se lance avec l'IA et qui te montre 30 seconde de video et qu'ils disent avoir travaillé 2 mois dessus, tu comprends pourquoi tout le monde fait du style manga, ca se fait en deux cliques de souris.

Faut dire aussi que la phrase "pouvoir s'appuyer sur la vidéo pour extraire des mouvements complexes" est a double tranchant.
obtenir des videos avec des mouvements complexes est aussi très difficile, voir impossible, d'ou le recours a des animations qui permettent des plans originaux.
du coup, etablir un bon storyboard avec des images pour visualiser le plan me semble un bon debut.
tu peux decider ensuite si la video suffit ou si il faut passer par l'animation avec un programme 3D par exemple. rien n'exclu le melange des deux d'ailleurs.
Ensuite seulement, tu peux envisager de passer la derniere couche avec l'IA pour creer le style qui te convient sans rotoscoper des milliers d'images.
Neamoins la creation d'un style (et je parle pas d'un modele) peut aussi etre un travail laborieux.

du coup faire un truc facile, meme si c'est long et ennuyeux peut paraitre plus rentable que de faire un truc compliqué qui sera aussi long et donnera pas forcement un resultat certain.

 

Dommage alors que les vrais talents soient aussi discrets

 

...mais je vais qd même prendre un temps pour découvrir Sable Diffusion, peut-être que ça répondra à une partie de mes besoins, merci encore pour cette piste
Je vois qu'il y a une version gratuite pour Mac (DiffusionBee), je vais tenter de l'installer en local, je découvrirai ensuite ce qu'il y a réellement de gratuit et ce que l'on peut en tirer.

 

le probleme de ce genre de produit c'est que ca demande une grosse puissance de calcul et la, Nvidia avec ses cartes est vraiment incontournable.
Mais sur Mac, Nvidia, c'est generalement pas possible, donc tu fais tout sur le CPU et la ca rame generalement tellement que toute creation un peu intensive devient impossible, surtout si tu dois générer des dizaines d'essais pour obtenir ce que tu veux.
Si mon PC le plus recent, il me faut par exemple environ 2 secondes pour generer une image complete de resolution moyenne (1280x720)
Et en generation IA, tu génère rarement une image a la fois, plutot par paquets de 8 ou 10. surtout au debut. ensuite quand tu approche d'un resultat satisfaisant, ca diminue, et pour finir tu te bornes a faire du IN/OUTpainting pour modifier les details.

sur stable-diffusion , il y a deux ecoles, ceux qui passent pas A1111 (une interface web dans un browser) et les puristes qui passent par COMFYUI, une interface "a node" , moins intuitive et plus compliquée, mais qui permet de maitriser parfaitement la creation.
Stable-diffusion n'etant qu'un moteur, on doit ensuite trouver l'essence (les modeles), puis les styles (styles , LORA) .
Les modeles et les LORA on les trouve sur CIVITAI.com



Ensuite il faut utiliser aussi des extensions, qui permettent des fonctions avancées .
On mentionnera le principal , CONTROLNET, qui se nourri de plugin divers pour faire des POSES, des ANIMATIONS, du traitement d'images etc..

enfin il faut maitriser la magie noires des incantations (les prompts). Pour ca l'anglais est presque incontournable, mais google translate est ton ami.
Tu as aussi des generateurs de prompt qui peuvent t'en sortir un a partir d'une image. (par exemple DEEPBORU, mais il en existe des centaines, meme ChatGPT peut le faire)
La encore, ChatGPT peut etre tres utile si tu l'utilises correctement.

On peut aussi faire du IMAGE to IMAGE, si on se debrouille pas trop bien avec le IMAGE to TEXT.
du coup la encore Google avec une recherche d'image, ca aide bien, pour trouver une pose ou une image qui ressemble a ce que tu cherches. (par exemple : un enfant sous un parasol qui fait des patés de sables)
tu trouveras pas forcement la bonne image (parasol qui manque, gamin pas a la bonne place) mais le gamin dans la bonne position qu'il suffit de bouger et ajouter un parasol avec un simple copier coller dans un paint, pour qu'il soit dans la bonne position, avec la bonne couleur).
ca t'evite de lutter 30 min avec l'IA pour qu'elle te crache le bon resultat.
la t'effaces les deux filles, tu agrandis l'image horizontalement et tu y plantes le parasol, meme si le collage est approximatif, l'important est que tout soit en place.
Ou tu efface la garcon, tu garde la fille, et ensuite dans l'IA, tu regenere s l'image avec un garcon au lieu de la fille, mais dans la meme position.

3 min de rechereche sur google, 3min de copier coller dans paint... ou 40 min dans une IA a generer des images jusqu'a trouver la bonne
Ensuite tu en fais une video, avec le mouvement des vagues, les cheveux du gamins dans le vent etc...
Puis tu appliques le style graphique qui t'interesse.(exemple :1950s Commercial Illustration )
1950s Commercial Illustration - Google Search

On peut assez facilement fabriquer un LORA a partir d'une poignées d'images toutes du meme style.

Mais si tu peux tourner la video directement (une jeune fille qui boit un cafe a la terrasse d'un restaurant) avec ta copine, c'est sure que ca va plus vite.
C'est particulierement le cas pour la danse

 

Alors merci beaucoup pour ce presque tuto d'initiation expérimenté ; Je crois que ma machine n'est pas trop poussive au regard des temps de rendu vidéo (Mac Studio, double M1 + 148 RAM) et si je peux déjà générer quelques décors, ce sera pas mal pour mes petits motion design, les banques d'images étant parfois limitées.

Une question importante concernant les rendus : est-il possible de générer des images différentes mais avec un rendu identique pour peu que l'on exploite les mêmes prompts /sources ?

L'idée étant de créer des séries d'images cohérentes pour une même histoire.

 

le prompt a assez peu d'importance dans le rendu.
il a de l'importance dans le contenu..
evidemment si tu precises jour/nuit ca a une grosse influence, mais c'est plutot le modele et le style
et les autres parametres qui vont influencer (comme par exemple celui qui indique quelle liberté tu donnes a l'IA pour interpreter ton prompt ou ton image de depart).

alors evidemment tu peux definir le style comme du texte et le glisser dans le prompt.
en general on evite parce qu'il fut garder le prompt le plus simple possible pour decrire le contenu.
Il faut vraiment jouer avec l'interface IA pour comprendre l'outil.

il y a des choses difficile a obtenir d'une certaine maniere qui le sont tres simplement autrement.
C'est un peu ca l'apprentissage de l'utilisation de l'IA.
Entre autre, la recherche d'une certaine consistence dans la production est effectivement le St Graal de tous les graphistes. De nos jours , je pense que c'est assez bien maitrisé, alors qu'il y a 1 années, c'etait galère.
tu peux aussi tricher pour arriver plus vite au resultat.
Par exemple si tu veux faire une bande dessinée et que ton heros dois avoir toujours la meme tete, tu peux effectivement faire du remplacement de visage a tout va, il y a des plugins pour ca (comme InstantID)

Je te conseille la chaine youtube de Olivio Sarikas qui meme si il effleure souvent le sujet , explore pas mal de problematique de ce genre.

par exemple