[CommentFaire?] Plusieurs questions liées

Bonjour,

Pour un spectacle, je dois réaliser ceci:
Sur scène un acteur porte une surface de projection, un rectangle blanc. Une image doit être projetée sur cette surface, en suivant ses déplacements.
Du mapping sur surface mobile, donc.

J'ai pensé faire ainsi:
- Une caméra filme la scène
- L'image filmé est transmise à un ordinateur par firewire
- Les coordonnées du rectangle blanc sont détectées par un programme
- L'image à projeter est générée en fonction. Le vidéoprojecteur est fixe, seule une petite partie de sa surface utile est donc utilisée.

Je ne sais pas quels outils logiciel utiliser. Pour le matériel je parle de caméra/firewire/ordinateur/vidéoprojecteur car j'en dispose.
Voyez-vous comment je pourrais m'y prendre?
Connaissez-vous un programme qui fait cela?

Si on décompose, voici ce qui me pose problème:

Déjà, comment projeter en temps réel une image issue de l'image prise par une caméra? D'habitude je fais de l'acquisition avec virtualdub. Mais ceci me génère un fichier avi. Je ne vois pas comment faire pour avoir une sortie sur mon projecteur plutôt que dans un fichier.

Le second problème étant la détection de l'emplacement de la surface de projection.

Voilà, la question est terminée. Mais pour mettre de l'eau au moulin voici ce que j'ai imaginé. Pour utiliser les outils qui me sont familiers je verrais:
1- acquisition de l'image par virtualdub
2- traitement de l'image en temps réel, par le biais de ffdshow et d'un script avisynth. Je devrais surement créer un plugin spécifique pour avisynth qui ferait la détection de l'emplacement de la surface de projection.
3- projeter l'image résultante plutôt que l'enregistrer dans un fichier

Le point 2 va me demander de me pencher sur la programmation d'un plugin pour avisynth. Pas impossible à mon niveau, car j'ai l'habitude de coder en divers langages, mais ça ne va quand même pas être de la tarte.

Et le point 3 donc, me pose aussi problème, et je ne sais si c'est possible.

Une autre piste que j'aurais et de créer une application AIR. Là je saurais tout faire, sauf récupérer le flux de la caméra pour le traiter. Je sais qu'on peut récupérer le flux de la webcam, mais je doute que ce soit aussi simple pour un autre matériel.


Pour finir, deux autres idées seraient:
- utiliser un picoprojecteur plutôt qu'un vidéoprojecteur. Le picoprojecteur serait fixé devant la surface de projection. Inconvénients: on risque de trop le voir. Là je dois vous en dire plus: la surface de projection est un cadre blanc placé devant le visage de l'acteur. Cela fait un genre de masque vidéo. Pas masque au sens utilisé en imagerie numérique, mais bien masque au sens "un masque de carnaval" par exemple. Autre inconvénient de l'idée: pas sûr qu'on puisse avoir assez de puissance lumineuse. L'image doit être vue de loin (par les spectateurs) et cohabiter avec l'éclairage de la scène.
- ne pas utiliser de projection, mais un écran plat et léger. Inconvénients: pas sûr qu'on puisse trouver ce genre d'écran, et qui ne soit pas trop lourd. Et puis au rendu, cela surement moins "magique". On se dira simplement "il a un écran plat accrochée à la tête" et pas "mais bon sang comment ça marche?".

Voilà vous savez tout je crois. Merci beaucoup pour toute piste ou suggestion, même minime, qui m'aiderait à avancer.

 

Merci de ta réponse. Je me demandais justement si ça pouvait fonctionner le mapping sur un mannequin.

Sinon je suis sur la piste puredata en ce moment, je crois que ça va être possible comme ça, mais je vais peut-être pas pouvoir faire l'économie de programmer un truc en C pour la détection de l'emplacement de la surface de projection, et je sens que ça va me prendre un petit moment...

 

Je galère...
PureData semble très intéressant, mais pas facile d'accès. Je ne trouve pas de ressources qui m'orientent facilement vers ce que je veux. Enfin, j'ai des débuts de solutions avec, mais je me demande s'il n'y aurait pas mieux.

Personne n'aurait d'autres idées?

 

Je suis en train de découvrir Processing.
C'est bien plus adapté, pour moi, car c'est de la programmation et ça je sais faire.
Pour la détection de la surface de projection j'ai 2 solutions:
- soit la reconnaissance du rectangle blanc (blob)
- soit mettre une diode IR à chaque coin du rectangle et filmer en IR.