Les fascinants travaux de Ren Ng

Ren Ng est un étudiant de l’université de Stanford.
J’ai été fasciné par son projet de recherche sur un nouveau système de prise de vu.
Grâce à cet appareil il peut capturer une image dont le plan de mise au point est modifiable après coup.


Voici son site : http://graphics.stanford.edu/~renng/
Il y a toute la doc (très technique) et aussi des vidéos, comme cette démo : http://graphics.stanford.edu/papers/lfcamera/lfcamera.wmv



Je me demande si ce système pourrait être adapté à la vidéo, a priori oui puisqu’il peut créer des clichés avec un temps de pose très court (voir la photo de l’eau).
Ca permettrait aussi de récupérer la profondeur de l’image c’est à dire la distance de chaque pixel par rapport à la caméra. Ce qui est l’information recherchée pour l’intégration 3D d’effet spéciaux. Imaginez ce que vous pourriez faire d’une prise de vue réelle accompagnée de sa couche z-depth.
Ce type d’appareil est dit plenoptique (plenoptic en anglais) je crois que l’intérêt des travaux de Ren Ng c’est qu’il l’a adapté à un boîtier photo standard.

 

C'est suréaliste: je lisais ces articles hier soir!
Il s'agit d'une application du passionant sujet qu'est la computational photography. Je vous propose de jeter un coup d'oeil aux slides d'un cours qui a eu lieu au Siggraph de cette année, ici: http://www.merl.com/people/raskar/photo/

 

on croit réver...Si un tel système voit le jour pour de la video grand public, c'est tout bon. J'imagine déjà le genre d'effet que l'on pourrait réaliser, en lisant "les couches" une a une par exemple, ou bien en recomposant une image à partir de depth-couches provenant de differents medias,etc...

Prometteur !

 

On aurait tout simplement la possibilité d'avoir de la vraie profondeur de champ avec une petite camera grand publique...

 

Bien le bonjour !
Explique t il en gros le fonctionnement ? J'ai un peu de mal à suivre ce qu'il raconte sur son site...

Bill

 

Oui il suffit de lire le document qu'il y a sur son site ou de faire des recherches sur plenoptique ou plenoptic.
Mais en gros c'est pas évident à expliquer.

Mais je vais essayer: je dirais que par rapport à un système traditionnel: là où tu avais un pixel, tu as une micro lentille qui crée une petite image d'après les rayons de lumière qui formaient le pixel. Donc autant de micro lentille que de pixels qui donnent à la place de chaque pixel une petite image. Chaque petite image ressemble à une petite tache mais elle permet d'extraire beaucoup d'informations puisqu'elle décompose les rayons de lumière qui forment normalement un seul pixel en différent point selon leur direction.

J'espère que ça t'éclaire


Bon maintenant qu'est ce que ça donnerait si on utilisait ce système pour voir les interférences produites par des fentes de Young en éclairant ces fentes photon par photon ? Elles disparaîtraient puisque sinon on pourrait dire de qu'elle fente vient le photon. Mais un photon ne vient pas, "le rayon lumineux" est une commodité de pensé en réalité ça n'existe pas.

 

On va dire que oui sur le principe de base !
Mais je tenterai de dechiffrer un peu plus son site pour essayer d'en savoir plus...
C'est qu'il n'est pas evident a comprendre ce truc !

En tout cas merci pour tes explications.

Bill

 

J'ai pas tous compris non plus.:(

Mais je crois comprendre que ce type d'image demande 200 fois plus de données à résolution égale donc pour le grand publique (hum hum)
Sauf à faire une image basse def avec un appareil numérique megapixel.
Et à développer une type de compression particulié si un jour c'est applicable à la vidéo.

 

En tout cas si une technologie pareille est développée à plus grande echelle, l'argentique sera definitivement oublié ! Deja que là.....
On pourra alors comparer ces "supers pixels" aux cristaux d'argents de la peloche actuelle

Bill

 

Il faut regarder les slides dont j'ai parlé, le fonctionnement y est expliqué plus ou moins en détails.

 

Oui je regarderai ça, ça m'interesse !
Bon des que je revient sur mon bon vieux PC, parcque là je peux pas les lire......

Bill

 

Julien, j'ai jeté un oeil aux slides (très rapide et j'ai pas encore tous regardé )

Je sors de le prise de vue plenoptique pour aller vers le Dynamique Range, (on devra sans doute créer un nouveau fil mais je commence ici)

J'ai extrait cette image des powerpoint. Je voudrais savoir comment réaliser cette fusion des deux images concrètement pour l'apliquer dans After Effects, Photoshop ou autre?

 

Dans le domaine des images HDR, il y a trois étapes importantes: tout d'abord, combiner plusieurs photographies prises avec des temps d'exposition différents en une image HDR, c'est le sujet d'une des publications les plus connues de Paul Debevec lors du Siggraph 97. Comme tu peux le voir, c'est loin d'être trivial. Pour implémenter l'algorithme pour After Effects ou Photoshop, il faudrait passer par le SDK. Ensuite, il y a le traitement de l'image HDR, qui ne diffère pas vraiment du traitement d'une image classique -- certaines opérations mises à part... comme le mode de transfert écran, qui, de toute façon, n'est plus utilisé par personne, n'est-ce pas? . Et pour finir, la conversion de l'image HDR en une image classique.

La première étape consiste en une "dé-exposition", alors que la dernière consiste en une exposition. Dans les deux cas, il faut tenir compte de tout les paramètres qui influencent l'exposition. Et il y a là, je trouve, un côté un peu magique: on dé-expose du DV pour réexposer virtuellement du 35mm

Je reviendrai donc poster un complément d'informations ce week-end, si personne ne le fait d'ici là

 

Oui je veux bien

Bon je pense que ce weekend j'aurai le temps de regarder les slides, je sais pas si je vais comprendre qqchose mais j'ai hate de voir ça !

Bill

 

Souvenez-vous de vos cours d'analyse. On y avait définit la dérivée d'une fonction en un point comme la pente de la droite tangeante ne ce point. Elle représentait donc un taux de variation en un point donné. En analyse vectorielle, on définit le gradient comme une généralisation de la dérivée pour des fonctions à plusieurs variables. Un gradient est un vecteur dont les composantes sont les dérivées partielles de la fonction en fonction de chacune de ses variables.

Pour séparer une image, on crée deux images représentant les variations d'intensité verticales et horizontales. On peut recréer l'image d'origine en utilisant l'équation différentielle d'Euler-Lagrange -- ça devrait dire quelque chose à ceux d'entre vous qui ont étudié les équations de Maxwell en physique.

La technique utilisée pour compresser une image HDR en une image classique, celle de l'exemple de Sequelles, est la suivante: on prend le logarithme de la luminance de l'image HDR, on calcule le gradient en chacun des points, on diminue les gradients avec une fonction progressive, on réintègre les gradients et on prend l'exponentielle du résultat pour ainsi obtenir l'image désirée.