motion capture

Il y a quelques années, j ai travaillé avec un collectif sur un systeme de motion capture, pour des spectacles à base d ipisoft. On avait installé un petit studio qui marchait plutôt pas mal à base de 4 cameras de type Eye playstation achetés à 15 balles sur le bon coin. Le logiciel fait une bonne stabilisation, ce n est pas du temps réel, il y a un peu de calcul derrière, mais tu peux retoucher lorsque ça part en vrille. Les mouvements etaient plutôt complexes, arts martiaux à 360 degrés. J avais parfois un peu de retouche sur les mouvements très complexes. Les doigts par contre ne sont pas détectés, j ai du les animer par la suite. L intérêt c est qu il n y a pas de combinaison, le lieu ça peut être n importe quelle salle assez grande, et le logiciel est pas très cher louable pour 3 mois au vu du prix des combinaisons, et etait gratuit pendant 30 jours, export en FBX, BVH, Collada, DMX and SMD.
Le problème c est pour les longs déplacements de type marche ou course, là il faut louer ou acheter un tapis de course
Après je dirais que le choix de la technologie combinaison capteur ou camera logiciel,va être en fonction de l utilisation, si c est pour créer une activité commerciale pérenne ou pour des projets épisodiques

 

Oui exact ipisoft j'avais testé aussi et je trouvé pas mal le procédé, j'avais testé à l'époque avec une kinect 360 et une kinect V2 de la xbox one, franchement ca marché plutôt pas mal mais avec une seule camera forcément les rotations 360 ne pouvais pas être capturé correctement

J'étais partie sur cette base là pour tester mais finalement je le trouvé un peu contraignant malgré tout
Après c'est sur avec 4 camera autour ca peut le faire avec une bonne qualité de capture
Par contre pour le calibrage ce serai bien si tu peut m'expliquer stp mais j'ai toujours pas compris comment calibré avec 4 cameras ou même 2?? J'ai jamais compris franchement, un jour j'avais testé avec 2 kinect pour tester sur 2 angle mais impossible je galeré trop je comprenais rien lol

Concernant la capture des doigt je trouve que c'est le gros point faible du soft, au jour d'aujourd'hui il y'a toujours pas de mise à jour à ce niveau là?

En tout cas pour le calibrage de 2 cameras ou 4 si ta une explication claire je suis preneur car malgré les tuto sur internet je comprend pas encore comme il faut lol

 

Tu avais lu cette page ?
https://docs.ipisoft.com/User_Guide_for_Multiple_PS_Eye_Cameras_Configuration
Il t explique bien comment procéder, avec 3 ou 4 cameras au niveau du positionnement, tu ne couvres pas le même angle, il faut laisser les cameras à 75 degrés en angle d objectif pour camera eye PS USB 3, elles ne sont pas à la même hauteur en fonction de la position, celle de face est plus haute,il doit y avoir un recouvrement partiel entre chaque angle de caméra, pas d angle mort
Pour le calibrage tu assombris la scene avec le logiciel mode darkening, il te faut une petite lampe torche type maglite qui te permets de devisser l optique pour avoir la lampe nue, le logiciel se sert de ce point lumineux pour calibrer l espace 3D avec les cameras. La lampe doit rester visible par les 3 ou 4 caméras pendant toute la durée calibration (important), la tenir bien devant soi. Le mouvement est une spirale qui commence par le centre bras tendu vers le haut, ensuite tu élargis le cercle tout en descendant jusqu à toucher le sol avec la lampe dans un coin, ensuite tu élèves la lampe pour aller toucher le coin opposé, tu fais les quatres et tu finis par le centre.
Pas besoin d aller vite. Ne pas hésiter à refaire la calibration si tu penses qu une caméra a bougé, on en faisait une avant chaque séance.
Le costume du comédien est important, j essayerai de retrouver une photo, il faut que les bras soit d une couleur, ainsi que les jambes et le torse. Pour le décor, pas de fond, type fond vert ça ne fonctionne pas. Le logiciel à besoin d éléments en 3D de la pièce, pour se caler. Ne pas oublier la pose en T du comédien au début de chacune des captures

 

oui c'est un peu contraignant, parce qu'il faut un studio avec les cameras fixees definitivement, sinon tu passes ton temps a faire des calibrations.
c'est pour caque le mocap a base d'imu est tres attirant. tu peux mettre un costume a plusieures personnes et les faire bouger ensemble. en plus tu as souvent l'option pour le mocap sur les doigts.
deja ca raccourci le temps de moitie, ca permet de garder une synchro dans l'espace et le temps entre les personnages. il n'y a pas de mouvement problematique (avec des occlusions) , c'est pas cher (en tout cas pour le rokoko et le perception.) et ca ce monte rapidement n'importe ou.
Je connais pas les autres (le top etant apparemment le XSens)
perso ce qui m'interesse c'est la VR, donc je suis pas trop concerné par la precision.
(pour ceux qui suivent codeMiko par exemple, elle utilise un Xsense, des gants Manus et un iphone pour le face mocap, un peu cinglee mais marrante)
YouTube

L'inconvenient c'est que c'est encore pas super au point, ca demande pas mal de precautions d'utilisation. Mais il y a du progres, on a deja moins de cables et la precision augmente.
en achetant 2 "zentai" sur ebay, tu peux augmenter la simplicite et la fiabilite du truc.
le premier sert a fixer les capteurs (tu peux meme marque au feutre les emplacements voir coller des velcro pour eviter les sangles) et le deuxieme par dessus pour plaquer le tout (capteurs et cables) pour pas que ca bouge).
ca coute rien sur ebay.

 

Non tu ne passes pas ton temps à faire les calibrations, ça prends 5 minutes et tu fais ça en début de journée,voir une le matin et une début aprem
Effectivement la capture des mains est un plus, et si il y a plus d un comédien à capturer en même temps alors la combinaison s impose. Après c est aussi une question de prix et de fréquence d utilisation

 

oui , mais a comparer les prix justement, le iPi est super cher en multicameras.
700$ la config Basic (la premiere en multicam), 2000$ si tu veux tracker plusieurs personnes ou avoir le resultat en temps reel. Sans compter le prix des cameras (compter au moins 1500 de plus) et des costumes.

le rokoko est 4000 avec en plus les mains et le visage inclus.
le perception est 3300 mais la version studio equivalente au rokoko est 6000.

actuellement le rokoko est une bonne affaire.(a l'epoque le perception valait 2000)

Apres evidemment ca depend sur quoi tu le fais tourner. Avoir un plugin qui va bien pour ton application (unity, blender etc...), c'est juste enormenent de temps et d'argent en moins dans des conversions parfois aleatoires.

 

On a jamais payé ce prix là
Ipi licence pour 3 mois multi caméra + 1 mois essais gratuit soit 4 mois 165 E
4 cameras Eye PS entre 30E et 40E en occasion voir moins
soit un total 325 au plus cher

 

oui c'est sure qu'on peut limiter le prix si on part sur du temporaire.
Ca depend le projet.
mais ca vaut pour tout, tu dois pouvoir louer un XSens pour une semaine a un prix raisonnable aussi.

Bon faire du mocap avec des webcams qui font 640x480 en resolution, vous deviez pas etre trop exigeant.

 

En fait c est suffisant en definition, car le logiciel
recale un manequin sur ton personnage, et une fois qu il a detecté les zone de couleur qui correspondent à telle partie du corps, il les traque, la vitesse des cameras est plus importantes pour limiter les flous de mouvements
Mais sur des mouvements rapides et complexes ça peut decrocher, mais tu peux recaler les bones puis reprendre la dtection

 

Voici 2 extraits des spectacles encore sur le net ou tu vois les animations( c est court je sais)
Le 1er spectacle un acteur réel combat sur un ring des personnages virtuels,( résumé rapide du spectacle)

le 2em à partir d 1m30s, beaucoup d interactions combats entre comediens réels et virtuels (résumé très rapide du spectacle)

 

oui c'est tres cool

 

@giroudf
Je voulais tester la combinaison Perception neuron 2 et te montrer les problèmes que je rencontre mais je n'ai plus le câble pour le brancher sur ce boitier faut que je l'achète et je te ferais un test d'ici ce week-end

 

Oui quand c'est temporaire c'est bien mais perso je préfère quelque chose de fixe de définitive que je peut testé n'importe quand sans avoir besoin à re-payer quand je voudrais faire une prise

 

Oui ipisoft si on combine le tout ca fait un certain total d'euros quand même, c'est équivalent à du rokoko ou du perception neuron en terme de prix à peu prés

 

ipisoft?