motion capture

il y a ca par exemple
Le ralenti entre dans la 3e dimension. TF1 utilise un logiciel d'images de synthèse pour mieux disséquer les actions de jeu. – Libération (liberation.fr)

C'est pas nouveau, il y avait Vsoccer il y a deja 20ans qui essayait de faire ca.

dans le meme genre mais moins abouti il y a Viz Libero.

Quand tu vois des jeux (PC ou console) comme FIFA et le realisme des images, tu te dis qu'au fond ce qu'il manque c'est juste de fournir la position des joueurs sur le terrrain,



FULL VIDEO: LaLiga showcases its amazing technology digitally transforming soccer at CES Asia 2018 - YouTube

 

Et les exemples donnés, c'est pas de la mocap. On est sur de l'interpolation façon bullet time avec par exemple Intel Trueview et de l'habillage haut de gamme de Vizrt. La mocap chez Vizrt, il faut voire leurs potes chez Motion Analysis avec les boules blanches de tracking classiques.

Mais à aucun moment, un rag doll n'est substitué à un joueur avec les positions correctes des membres et les bonnes textures.

Ou alors on redéfinit ce qu'est la mocap.

 

Oui pas de problème je compté en parler je voulais juste reprendre le sujet tranquillement
Il y'a un des soft online comme Deepmotion, Plask ou même Radical Motion qui peuvent à partir d'une vidéo reproduite l'animation en 3D et l'exporter ensuite au format .fbx par exemple
Perso j'ai utilisé deepmotion mais j'ai du faire des retouches pour que l'efficacité soit au rendez-vous, notamment via le logiciel iclone 7, surtout quand il y'a au moins 2 personnes en mouvement

 

c'est vrai que 4Dreplay c'est du pure bullet avec une tripotee de camera. Mais c'etait juste un exemple, maintenant on fait la meme chose en reconstruction 3D.
Quand on y pense c'est assez facile, rien de plus simple qu'un personnage en costume de footballeur et aussi rien de plus simple qu'un personnage qui court apres un ballon. (pas de cape qui flotte au vent , de raytracing sur decors spatial ou de pirouhette de superheros).
tu peux en trouver un tout fait sur turbosquid
et mixamo te propose tous les mouvement necessaires.
Le tour de force c'est effectivment de pouvoir reconstituer ca assez vite pour pouvoir faire un replay quelques secondes apres un but ou une faute.
Avec une bonne IA, tu dois pouvoir tracker la position de chaque joueur (avec la texture a applique sur le modele) les doigts dans le nez.
ensuite generer un skelette tres basic (le bonhomme en fil de fer) en fonction de la position des mains, des pieds et de la tete, ca c'est facile aussi en temps reel (moins peut-etre si tu as 22 bonshommes en meme temps).

Mais bon , une Xbox ou une playstation y arrive dans un jeu de foot comme FIFA.
On voit nettement que certains mouvements manquent de naturel, mais c'est justement ce que le motioncap sur le terrain te donne en plus.

 

Daccord on peut dire que c'est surtout de la motion capture alors mais à partir de vidéo

 

Merci c'est interessant, mais concrétement c'est chaud à faire quand même non? On peut mettre en place 22 joueurs animé en 3D et exporter tous ça ?

 

comme je l'ai dit, une xbox ou une playstation le fait deja (et beaucoup plus puisque'il y toute l'animation du stade en plus et la gestion du jeu). La seul chose qui manque dans ce genre de jeu, c'est la position et l'action des joueurs, qui au lieu d'etre generee par une IA, dans ce cas depend d'un positionnement et d'une motion capture tres basique a faire sur le terrain).
Ca se fait couremment dans les jeux en reseau ou tu peux avoir des dizaines de joueurs sur un meme terrain qui font chacun evoluer leur personnage , donc c'est relativement "facile".
ca suppose que ton installation demandera plusieurs PC, un pour le rendu du terrain avec les joueurs, un pour faire l'acquisition de la position des joueurs, eventuellement un serveur pour gerer tout ca.
pas sure que ca puisse pas meme tenir dans un seul tres gros PC.

en gros ca ressemble foutrement a un jeux lourdement multijoueurs, avec a la place de 22 gars derriere une manette, tu as 22 IA qui font de la reconnaissance de personne.
un truc comme ca
XNect: Real-time Multi-person 3D Motion Capture With a Single RGB Camera (SIGGRAPH 2020) - YouTube
Cette modelisation de la position du corp se fait maintenant dans des cameras pour decharger le CPU de l'ordi.
La camera t'envoie juste des informations correspondant a la position des pieds , des mains et de la tete par exemple.

Comme l'instantaneite du replay est plus importante que la qualite de l'image (en plus ca bouge vite), on peut imaginer que le remplissage entre la vraie image de depart et la vraie image d'arrivee (qui pourrait etre sur une autre camera) peut se faire de maniere approximative sur la position des joueurs, on est pas au cm près.

 

Bonjour

Sinon pensez-vous que c'est possible avec 4 cameras autour de soi par exemple et uniquement avec les cameras en question et des captures/marquage visible sur soi de proceder à une realisation de motion capture ?

 

ca se fait deja avec une simple webcam, apres tout le probleme c'est la precision (on peut faire du tracking au milimetre), les fonctionalites (gerer les occlusions, plusieurs personnages, les non-humanoides etc...).
En general , les bons programmes ne font pas que du tracking, mais une reconstitution de cinematique inverse, qui permet de lisser et d'anticiper/interpoler certains mouvement (en cas de points de tracking passant derriere le corps par exemple).
Apres tu peux passer sur des capteurs plus evolues (une kinect par exemple), puis sur plusieures cameras, ajouter des points de tracking (suivi des doigts, des hanches, rotation de la tete etc...).
Ca va dependre aussi des mouvements. un gars qui fait des mouvements de boxe sans bouger ca pose pas les meme exigence qu'un gars qui danse ou qui fait une cascade sur une piste de 20m de long.

Apres il y a plusieures ecoles, le markerless (sans marqueurs), avec marqueurs , et avec capteurs (capteurs de mouvements , pas de position), avec capteurs de position.
pour gerer l'expression du visage, une simple webcam suffit, mais si c'est pour des trucages videos, il te faut quand meme des marqueurs pour les effets videos.
Docn dans un tournage, tu peux parfois voir des marqueurs sur l'acteur, mais c'est pas forcement ceux du motion tracking.

Bref ca depend vraiment des tes besoins et de tes moyens.

tu dis que tu utilises iClone 7, il a une bonne gamme de plugin pour acceder a toutes sortes de produits de motion capture.
Perso j'ai le plugin de perception neuron pour le costume de mocap.
Je me tatais pour une solution de mocap pour le visage, mais c'est pas donne et comme j'utilise pas beaucoup ca vaut pas la peine.

 

Merci pour toutes ces precisions, oui j'ai aussi la combinaison Perception Neuron ! lol quel coincidence, j'ai la version 2 et toi ? mais il bug trop, surtout le gant de la main droite ou gauche je sais plus et des fois j'ai l'impression que la coordination du mouvement par en vrille lol
Le tiens il marche correctement ?

Je ferais une petite simulation et je te montrerais peut-être demain tiens

Sinon concernant la motion capture oui je sais que avec la kinect etc avec iclone 7 aussi exact on peut mais le but en fait c'est que je voudrais utiliser des cameras et des capteurs sans avoir besoin d'utiliser des soft payant comme ipisoft etc, genre juste le cameras, des marqueurs puis un programme open source comme blender et hop c'est partie
Possible à ton avis ?

Parce que les soft pour utiliser de la motion capture il y'a c'est sur mais faire ca d'une facon independante si je puis dire c'est possible tu pense ?

Pour finir concernant le visage ca à la rigueur je calcule pas trop c'est surtout pour le mouvement du corps

 

j'ai le 1 et quand je l'utilise il marche en general. Il y a toujours un capteur a secouer un peu (contact ?).
Au debut j'etais parti sur le kickstarter de Rokoko, mais ils ont completement merde (le prix s'est envole) alors je me suis fais rembourser et je suis parti sur le neuron.

Le probleme de ces capteurs de mouvement c'est qu'il sont tres sensibles aux champs magnetique donc tu peux avoir des environnements qui causent des problemes.
En general ca se manifeste par un capteur qui part aux fraises, un personnage qui flotte au-dessus du sol etc...
Pour etre sure, je le stocke dans la mallette anti-magentique qui etait vendue en option, que j'ai renforcee avec du mu-metal.
ca resoud pas les problemes pendant l'utilisation, mais il faut eviter d'etre pres de l'ordi, d'avoir des fils 220V qui passent a proximite ou un aimant (haut-parleur)

Pour le mocap par la video tu as des produits comme OpenPose, Plask et plein d'autres (a base d'Open CV) mais c'est souvent des version 1.0, ou des trucs qui te sortent des fichiers pas forcement directemnet compatibles avec ton application.
De plus il y souvent des approximations (des parties du corps qui vibrent, des mouvements qui partent en vrille quand tu croises les bras ou les jambes).
Bref c'est pas pour rien que les trucs pros utilisent des trackers et plusieures cameras.
Mais ca peut suffire si c'est juste pour animer un avatar en VR ou dans un jeux.

 

Oui possible faux contact c'est bizarre
Oui j'ai testé aussi Rokoko mais sans l'acheter juste avec quelques samples d'exemples d'animations et j'étais pas trop convaincu oui le prix ils abusent franchement

Exact je crois que le problème de ma combinaison c'est aussi cette sensibilité des capteurs etc c'est chiant des fois ca part en vrille malgré que j'ai fait les bonnes pause au départ avant de lancer la capture etc

Oui je verrais pour les cameras, en fait j'aimerais bien faire une simulation de football comme il font Move.ai c'est hallucinant le résultat mais ils doivent avoir du sacré matos aussi lol c'est normal

La combinaison Perception Neuron que tu a la version 1 elle est plus en vente dans le commerce si ? tu chercherais pas à la vendre au cas où non?

 

la 1 c'est celle avec les petits capteurs que tu dois enficher dans des supports et une chiee de cables.

C'est chiant (surtout quand il y les 32 avec les gants)
la 3 il y a plus de fils, c'est cool.
La 2 c'est la version intermediaire ? sans fil mais des boitiers plus gros ? ou tu as encore les fils ? (je crois que oui)
Perception Neuron Series | Noitom Motion Capture Systems

je peux bien la vendre , je l'utilise pas tellement, mais je vois pas pourquoi tu voudrais un vieux truc comme ca.

 

Oui la 2 que j'ai il y'a les fils aussi
Ah bon la version plus de fils ?? ca c'est cool

ben en fait je cherche une combinaison qui marche assez bien, la mienne elle déconne trop
Tu pourra faire stp quand tu pourra une simulation de capture avec ta combinaison et m'envoyer un petit exemple en .bvh pour biped (3ds max) ?