VFX , Blender, Unreal et les smartphones

un produit interessant qui permet de gerer en live des scenes d'effets speciaux (des decors virtuels) avec un ecran vert et un smartphone..

a partir d'image de fond (en normal ou 360) on peut afficher le rendu tout en enregstrant les mouvements de camera.
Ca permet de reprendre ca dans unreal ou blender (en temps reel ou en post) pour integrer des personnages dans un decors virtuel.

interessant , le gars est un "vieux" mais bien dans le flow et il utilise Mid-journey pour generer ses background par exemple.
LIGHTCRAFT ACADEMY LESSON #19 | PUTTING IT ALL TOGETHER TO CREATE A FILM - YouTube

le produit c'est Jetset de lightcraft

au passage , une merveille bobo que je viens de decouvrir sur youtube...en tapant jetset
epileptique s'abstenir
Carmen Geiss - Jet Set (Video) - YouTube

 

laquelle ? etrange ca sort directe de youtube
le gars a fait une vingtaines de videos tres courtes sur jetset., a voir
Lightcraft Academy - YouTube

quand a Carmen, t'as rien manqué, mais si tu y tiens , un autre lien
Carmen Geiss I Jet Set - YouTube

 

un truc que j'ai trouvé tres interessant, c'est le fond vert infini
LIGHTCRAFT ACADEMY LESSON #6 | THE INFINITE GREEN SCREEN FEATURE! - YouTube

 

En fond vert traditionnel on utilisait le crop pour le prolonger. C'est donc un crop dynamique.

 

oui le terme exact c'est "garbage matte", mais c'est la premiere fois que je vois ca en dynamique, c'est bien sympa.
ca a l'air de rien , mais ce tracking camera avec un smartphone, c'est la porte ouverte aux amateurs pour faire des effets d'enfer avec blender ou unreal qui ont deja la cote chez les amateurs ou les pros..
dommage que ce soit sous forme d'abonnement.
et j'aurai bien aimé une sortie "clean" sur le smartphone pour pourvoir l'utiliser dans switcher studio.

 

J avais fait des essais il y a quelques années, avec un Vive tracker monté sur la camera, et 2 stations de base, ce qui permettait un track en direct dans Unreal engine du mouvement de la caméra, puis je faisais une projection du fond en direct avec un VP, à la manière du Mandalorian mais en plus cheap, l incrustation en direct dans unreal n etait pas terrible.
Mais il y avait aussi la possibilité d enregistrer sur fond vert avec la camera et d enregistrer le mouvement dans unreal avec le fond, pour faire une incrustation de meilleure qualité sur AE par exemple

 

oui j'ai ca aussi, mais quelle galere de tout installer, les stations de base, la calibration....
La apparemment c'est bien plus simple et le resultat instantané (enfin le preview qui permet de cadrer en toute connaissance de cause). Apres tu rprends quand meme le tracking camera pour faire tout au propre.
il y a un autre produit qui a l'air super pour des studos fixes, c'est Antilatency, mais c'est cher.

 

Oui, il faut un studio où c est installé en fixe, sinon trop galere, par contre on peut utiliser n importe quelle camera et la partie logiciel est gratuite pas d abonnement

 

perso je cherche un produit comme jetset qui permette simplement d'avoir des objets 3D dans un flux video en live. Jetset serait un bon candidat mais bon il est pas vraiment fait pour du live, Adobe Aero marche bien, mais c'est assez limité.
Idealement il faudrait un produit avec l'ecran vert infini de jet set, la simplicite d'adobe Aero.
Et surtout faudrait que ca marche sur de l'equipement leger comme un smartphone.
Tout ca pour faire des studios virtuels.
On y arrive doucement.
Je pense que je vais essayer de coupler les fonctions de jetset avec switcher studio, ca devrait le faire.

je prend mon setup habituel, (les iphones sont les cameras, l'ipad la console de mixage).
Le signal sort de l'ipad pour arriver sur le PC.
Apres j'ai le choix. Soit je film tout en fond en fond vert et j'incruste au niveau du PC, soit je renvoie l'image generee par le PC comme une camera supplementaire dans l'ipad et je fais l'incruste dans l'iPAd.
la deuxieme solution me parait plus simple.
l'inconvenient c'est que ca me limite a une camera mobile, je pense pas que jetset gere plusieurs trackers. mais ca peut faire l'affaire.

je regarde aussi du coté de Vset3D (il y a une version gratuite) qui a l'air bien, mais ca met ma 3090 sur les genoux assez rapidement et si ca merche bien au niveau du rendu, faut quand meme une solution de tracking camera. Faut que je voir si Jetset est compatible.

sinon il y a des solutions avec VMIX, mais je preferrerais rester sous switcher
Virtual Set & Chroma Key Software | Virtual Set Green Screen (wasp3d.com)