[CommentFaire?] Tracking et animation en temps réel

Bonjour à tous,

On me propose un projet pour un artiste mais j'avoue que je ne sais pas trop comment m'y prendre. En gros l'idée est de filmer un mobile en top shot et de tracker les 5 boules du mobile qui tournent de manière aléatoire. Ensuite on ferait une projection avec une animation liée au mouvement de chaque boule, par exemple une trainer de particules ou de fumée. Aucun problème pour faire ça en postprod avec nuke, mocha ou after effects mais aucun de ces logiciels de propose de fonction de tracking en "live".

J'ai vu que Isadora proposait quelques chose dans ce style mais je voulais savoir s'il existe d'autres solutions plus "videaste friendly".

Pour information, le mobile est composé donc de 5 boules de couleurs différentes et il est filmé sur fond noir pour garantir un bon contraste.

Merci d'avance et excellente soirée à tous!

 

en VR ou AR c'est monnaie courante.
mais les softs sont pas donnes.
le probleme d'un tracking comme ca c'est que ca ne sera jamais qu'un tracking 2D.
pour faire un tracking 3D, il faut faire comme au cine, reconstruire le modele en 3D et appliquer
le tracking du model reel au modele digital pour le superposer a l'image.
Si c'est un simple mobile qui tourne, ca doit pas etre bien difficile.
c'est plutot l'interface avec la gestion d'un moteur de particules qui me parait pas evident.

 

Bonjour @giroudf

Merci pour la réponse. Étant donné que toutes les boules du mobile sont sur le même plan et que je suis en zénithale, un tracking 2d pourrait fonctionner. Mais du coup pour faire "comme au ciné", quel type de logiciel utiliser? J'ai aperçu quelques vidéos sur youtube avec Unity et Octane render mais je vois pas trop en quoi ces logiciels peuvent m'aider. Est-ce que tu peux m'éclairer un peu?

Merci d'avance et bonne journée.

 

Hello,
Tu peux donner un lien vers un exemple éloquent ? Parce que le plus gros pb que j'ai, là tout de suite, c'est que je ne peux qu'avouer que je n'ai pas compris 100% de ta question
(avant même ta réponse, je pense qu'hormis la facette live à approfondir, je suis quasi certain que ce sera faisable sur Fusion)

 

unity est juste un environment partique pour y faire toute sorte de chose, inclu en temps reel (et c'est gratuit)
Par contre c'est pas tres oriente video, et pour faire certains trucs il faut plein de plugins payants.
Le probleme est que le tracking en temps reel est tres oriente sur la capture de mouvement humains.
(tout ce qui est fait sur la platforme kinect par exemple).
En plus ca bouge tres vite et la plupart des librairies sont souvent abandonnees (par exemple tout ce qui est sur kinect/Asus xtion, Primesense)
De plus en plus le tracking se fait avec de simples webcams.
Fun Programming - Webcam light tracking and air drawing

Tracking Color Blobs in Webcam Feed Using Tracking.js - TangibleJS

Le plus gros probleme que je vois c'est pas le tracking (surtout que en 2D avec 5 objets de couleurs differentes c'est simple), mais c'est plutot de trouver un soft qui va accepter de sortir le stream de donnees et un autre qui va l'accepter pour generer des effets en temps reel.
la on tombe plutot dans le vjaying ou des trucs tres pros comme blacktrax
BlackTrax - How it works

NI-Mate semble assez abordable

sur Mac tu as eMotion Screencast ou Plask

Mais de toute facon ton projet c'est un truc a sa taper plusieurs produits, les faire marcher entre eux, enfin bref, pas un truc simple quoi...(genre TouchOSC vers OSCulator vers eMotion vers Isadora vers Syphon... )
Sur Mac c'est surement plus facile, vu qu'il existe tellement de produits fait pour ca

 

Ok je vois, je n'ai pas de réponse à ça puisque ce (le live) n'est pas mon job*, mais effectivement BlackTrax et les softs de VJs sont ce qu'il faut.

*À noter que dès lors que le live ne serait plus important, je prendrais Motype Nodes et Fusion (voire même Motion) en post-prod avec des générateurs de particules appropriés

 

Bhé pour du temps réel...à part les plus connu (solution pro je parle)..aucune idée.
As-tu vérifier sur la toile "realtime camera tracking free" ?!

En tout cas si tu veux rajouter du fx en plus, prévois un proc + cam qui tiennent la route

 

deja, il faut choisir un soft qui va accepter des data en entrees.
en general les soft de Vjaying sont pas trop adaptes pour ca, ils sont capables de triturer les sons et images, mais pas trop les donnees.
Definitivement , Sur Mac tu trouves 2x plus de softs que sur PC, donc, ca me semble une bonne idee de choisir la plateforme Apple.

Ensuite, dans la manipulation de video, Isadora semple un bon choix. c'est un soft pas trop specialise qui perment de faire un peu tout.
Si tu veux une idee de ce qui se fait dans le domaine, le mieux est d'aller sur la page de Syphon, tu y trouve un lien sur tous les softs compatibles (donc un peu serieux).
En l'occurence pas sure que Syphon te serve (c'est juste un frame server) mais c'est un bon depart.
Sur pc tu as un peu la meme chose avec Spout, mais question puissance ca n'a rien a voir, mais tu y trouves aussi des liens sur les softs compatibles.
Pour le tracking de boules de couleurs, tu trouves des exemples assez simples en Java (comme indique plus haut) ou en OpenCV.



Pour moi le plus gros probleme, c'est de fournir les positions de tracking au soft qui va faire les effets speciaux, parce que la c'est la bricole totale et il va falloir programmer un truc, genre definir un protocole qui dit quelle boulle se trouve a quelle position, et streamer tout ca sur un port reseau.
Sous mac tu as OSC qui le fait.(c'est pour envoyer des messages MIDI entre applications)
une page interessante qui utilise OSC sur un raspberry pi
Overview | Using OSC to Communicate with a Raspberry Pi | Adafruit Learning System

Comme je disais, tu peux aussi modeliser le truc en 3D (sous unity par exemple) et gerer le deplacement des boules en temps reel. apres ca te permet d'attacher des effets au boules (qui peuvent etre transparentes) et voir le truc depuis n'importe quelle position.
Le probleme c'est que unity c'est pas fait pour faire des effets, bien que tu en trouves pas mal dans le shop de unity. C'est pour ca que Isadora me semble plus adapte.(mais c'est pas gratuit comme unity)

 

Bonjour à tous,

Merci beaucoup pour tous ces éclaircissements. Je voyais pas le truc si compliqué mais en effet, ça semble un peu corsé. J'ai des lacunes dans trop d'aspects de la démarche. Par contre grâce à vos pistes, je découvre plein de trucs intéressants et je vais tenter de mettre un peu les mains dedans et voir si je m'en sors.

L'artiste pense du coup peut-être se rediriger vers le pilotage de spots sur scène qui suivraient chacun le chemin d'une boule. Ce qui semble quand même beaucoup plus aisé.

Je vous tiendrai au courant selon comment ça se passe et encore merci à tous.