Recherche logiciel IA "deepfake" très spécifique

Bonjour,

Ce que je vais demander, je ne sais même pas si ça existe: J'ai besoin d'un LOGICIEL (et non-pas d'une IA qui travail en ligne) orienté IA sur un plan "créatif/artistique visuel".

L'idée: je me suis fais filmer sous différents angles sur des séquences entre 10 à 15 secondes chacune où je simule à chaque fois la même chose. C'est à dire qu'on me voit (quelques soient les types d'angles) debout entrain de surélever légèrement mes deux avant bras avec les mains ouvertes, et où je fais mine d'imiter des chœurs avec ma bouche, le tout avec un mouvement de la tête qui "regarde vers le ciel" dans l'idée; bien que le tout a été filmé dans le salon d'un appartement.

Pour les besoin du passage d'un mix que j'ai fait il y un bout de temps, je vais avoir nécessité d'avoir recours à l'IA pour que dans les 1:35 de temps de chœurs dans la totalité du mixage, je puisse ressembler à n'importe quelles ethnies (ou "races" si vous préférez) que peut constituer notre humanité. Mais attention sur ce point, je ne veux pas du "Deepfake de base" même si c'est réaliste (et ça doit l'être d'ailleurs !) car je ne souhaite pas seulement changer la couleur de peau de mon visage et tout ce qui est relatif à la chaire, de cheveux et de type de visage qui doit changer, mais également la façon dont je suis habillé.


Par exemple j'aimerai pouvoir transférer quelques unes de mes vidéos pour en faire une vidéo définitive (video to video quoi) où au rendu je puisse par exemple ressembler en tout point à un hindou d'Indes, tant au niveau du type de visage que de l'accoutrement. Pour faire la transition entre les deux qu'importe que ce soit à coups de prompt ou d'une image illustratrice d'un indien d'Indes tant que le résultat est réaliste. Il faut savoir que je devrais répéter autant de fois la même opération pour représenter un maximum d'ethnies dans le monde; le tout pour mener à bien tout un montage video à faire sur ce mix qui doit comporter au cumule - et pour rappel - tout de même 1 minute et 35 secondes d'IA concernant mon apparence.

Je tiens à trouver cela sous forme d'une licence payante (j'imagine... vue l'ampleur du truc) par le biais d'un logiciel compatible Windows 11, et non pas comme je le disais plus haut sous forme de plateformes sur des sites d'IA (sauf si c'est gratuit dans ce cas de figure).

Peut-être que faire un tel pseudo-deepfake en mode video vers video, avec un rendu probant et réaliste et en plus par le biais d'un véritable software PC, c'est peut-être un peu trop demandé, mais dans le cas où un tel logiciel pouvant subvenir à mes besoins existerait pour de vrai, j'ai rien contre pour connaître son nom au moins, voir me donner aussi quelques précisions.


PS: Pour les curieux, le contexte de mon projet est le suivant:

J'ai fait un "edit/mix" d'une chanson célèbre d'Eros Ramazzotti nommé «Musica è» plus connue dans sa version en duet avec Andrea Bocelli (celle que j'ai utilisé) et qui fait pas loin de 10min !

J'en ai fait une version qui tient en 06:24 avec des cuts et jonctions au petit poil du cul, c'est à dire inaudible et tant mieux.

Les chœurs en forme de «ohh ohhhhh oh ohhhhhhhhhh ohhhh oh oh» est un loops qui monte en intensité dans les chœurs sans voix d'Eros et Andrea à ce moment là.

Le faite de vouloir voir toutes les ethnies "globale" représentant l'humanité sur cette partie de 1:35 dans le montage final, est en lien direct avec le reste:

C'est-à-dire le sens des paroles de cette chanson composée et écrite par Eros Ramazzotti qui se veut comme un hymne UNIVERSEL à la musique.


Merci par avance et au plaisir de vous lire

 

En fait cela ressemble beaucoup à du morphing ta demande ...
A mon avis :

Morphing artistique / cinéma ComfyUI + Flux / Stable Diffusion
Morphing visage Picsi AI / InsightFace
Morphing simple Pixelfox / Pixelcut
Transformation visage FaceApp

 

je crois que tu peux oublier la version "petit programme sur mon PC", parce que ce genre de boulot demande une puissance de calcul non negligeable, surtout si tu veux le faire dans une résolution acceptable.
il faut une excellent carte Nvidia (une 5090 dans l'ideal), pas mal de RAM et un processeur recent.
Ensuite il n'y a pas d'interface simple, il faut passer par un truc comme COMFYUI, qui est une énorme usine a gaz.

Par contre, il existe des tripotées de sites qui proposent ca, et tout offrent en general quelques minutes gratuites, donc c'est pas un problème.

Si tu veux absolument aller en local, il y a bien ca, limité a du 1280x720


ou Beeble studio qui s'installe en local, mais c'est pas gratuit. Par contre c'est facile a utiliser.

A ta place j'essaierai Kling
Il y a pas mal de site de vidéo IA qui coutent pas cher (entre 20 et 50 euros par mois) et ce serait bien malheureux si tu y arrive pas en 1 mois.
L'interet c'est que tu peux generer des résolution jusqu'a 4K, et que le rendu est bien meilleur (pour autant que ton prompt et tes sources soient bonnes)

La bonne méthode pour faire ca , c'est de filmer en bonne qualité la personne a transformer , en train de faire les gestes requis. Il faut que ca soit propre (fond uni si possible ) en evitant les flous de mouvement si il y a des mouvements rapides (plus de lumière et un shutter un peu plus élevé).

Ensuite , on prend le premiere image de cette video et on va dans une IA pour generer la photo transformée. Ca permet de trouver assez rapidement ce qu'on veut (costume, couleur peau, décors).
Pour générer des images en local, il y a stable-diffusion en version A1111 qui est très simple a installer (2 ou 3 clicks), mais ca ne dispense pas d'avoir une machine de course.
Perso je tourne avec une 3090, et il ne faut que quelques secondes pour génerer une image.

Ensuite on va dans le soft de video IA, on utilise l'image pour donner la transformation a faire et la video pour le mouvement, Il ya des subtilité comme donner l'image de fin plutot que de début, ou donner une image de début et de fin , tout depend si on doit etre raccord avec la video précédente et suivante.
Pour le prompt, il suffit juste de décrire l'image de départ et le mouvement a faire.