Nous suivre

  1. Atelier Caméras RED - 16 & 17 octobre à Paris
    COMPLET !! Inscrivez-vous pour être informé des prochaines dates !
    Toutes les infos

    Rejeter la notice
  2. Découvrez notre vidéo de formation / test sur la Canon XF705 !
    Son capteur, son codec H265, son autofocus, ses gammas, le C-Log3, ses forces et ses limites, vous saurez tout ! Toutes les infos

    Rejeter la notice

TestBox du Repaire : notre protocole de test comparatif de caméras

Tout ce qu'il y a à savoir sur notre outil de comparaison des caméras et autres appareils de prises de vue vidéo

Publié par Michel le 14 Février 2019 dans Infos Repaire
► Commentaires 25
    Recos : 3
    Vues : 838
  1. Michel
    Concept de la TestBox

    L'idée de base est partie du constat que chaque comparatif de caméras donnait lieu à une débauche d'énergie considérable pour un résultat qui au mieux faisait autorité pendant une période très courte et qu'il restait impossible de rajouter après coup une nouvelle caméra qui n'avait pas été inclue au départ.

    Il importait donc pour changer cela et rester dans une méthodologie scientifique d'avoir un dispositif autonome qui répéte rigoureusement les mêmes conditions de prise de vue, d'éclairage, de décor etc.

    Nous avons donc conçu puis fait fabriquer un outil complet doté de son propre système d'éclairage incorporé, repliable dans un gros flycase et (à la limite) transportable.

    La TestBox est donc un dispositif destiné à effectuer dans des conditions rigoureusement identiques des séries d'essais caméras (plus généralement appareils de prises de vue vidéo) dont les résultats pourront être stockés, analysés et comparés a posteriori.

    L'objectif est d'obtenir au final un ensemble de résultats comparables implémentés au fur et à mesure dans une base de données. De cette façon les Repairenautes disposeront à l'avenir d'une base de la plus grande fiabilité qui pourra leur servir pour leurs choix d'investissements. Cette base de données va se construire petit à petit, au fur et à mesure des nouvelles caméras testées.
    decortestbox01.jpg

    Sur quels aspects porte le test ?


    Définition, précision de l’image


    - Vérification visuelle de la définition sur mire 4k puis 8K mais aussi sur objets concrets de façon intuitive, définition brute, moiré/aliasing...
    - La mesure de la résolution effectuée est exprimée en LPH (lignes par hauteur d'image)
    - Restitution de quelques textures concrètes (tissus, plumes, bois etc)

    Restitution des couleurs


    - sur une mire standard xRite
    - sur différents objets colorés (pigments couleurs, plumes, tissus)


    Dynamique maximum


    (en mode Log, HLG, wide DR et/ou Raw)

    Sensibilité réelle

    évaluée dans des conditions de faible luminosité, voire de très faible luminosité

    Dispositif concret


    Le décor


    couleurs variées (différentes de la charte couleur standard incluse)

    couleurs.jpg

    textures variées

    détails fins faciles à évaluer visuellement

    detailsfins01.jpg

    la mire sur la moitié de la largeur totale permet de repérer les mauvaises optiques non interchangeables (vignettage, aberrations, perte de def sur les bords)

    mire.jpg

    Le mannequin humanise l’ensemble et pourra permettre ultérieurement de faire une vue sur fond vert à des fins d’incrustation des cheveux (non finalisé)

    carol.jpg


    Conditions d'utilisation



    La TestBox peut être utilisée en principe à partir d'une distance de 1,5m, l'idéal se situant entre 1,5m et 2m.

    La focale adéquate se situe aux alentours de 40 à 50mm (équivalent 24x36)

    Certaines focales fixes très larges, comme celle par exemple de certaines mini caméras ou de smartphones, obligent à se rapprocher davantage.
    C'est bien sûr au prix de grosses distorsions géométriques et d'une perte de détails intéressants à gauche, cachés par la tête du mannequin, qui est indispensable notamment en basse lumière puisqu'elle produit une ombre qu'on doit retrouver sur toutes les vues "lowlight".

    L'axe caméra doit être situé précisément en face du centre de l'écran

    Le cadre est en principe de type 16/9 ème, les bords du cadre doivent coïncider le mieux possible avec les bords de l'image générée. Si les proportions sont différentes, c'est la hauteur qui prime (cas d'une caméra uniquement anamorphique par exemple ou en 17/9ème 4K DCI)

    Le test doit par ailleurs impérativement (notamment pour les écrans basse lumière et dynamique) se dérouler dans un local sans autre source de lumière parasite.


    Les différents écrans de la Testbox

    1 . "Pleins feux"

    Cet écran est doté de deux sources de lumières latérales semi douces (panneaux led dotés d'un IRC correct). L'exposition est réglée sur un carton de charte gris neutre.

    Ce test est le plus complet de tous, il va permettre de dériver les principales caractéristiques du produit. Son pouvoir de résolution, sa résistance à l’aliasing et au moiré qui en découle, son rendu des couleurs ainsi que la sensation générale qui se dégage de l’image.

    2 . Low light

    Cet écran n'a qu'une source unique latérale gauche tungstène (ampoule de frigo 15w). Le mannequin projette donc une ombre intéressante sur le décor en bas qui permet de voir l'étendue des dégâts dans les détails fins qui y sont inclus…

    lowlight.jpg

    3 . L'ultra Low Light

    Source ponctuelle tungstène unique très proche, latérale et masquée. L'éloignement de chaque petit bonhomme a été pensé et calibré pour que l'éclairement reçu soit préréglé précisément (24 lux, 5 lux, 2 lux, 1 lux et le dernier non vraiment mesurable à la cellule…)

    tibonhomme600.jpg

    4. Dynamique
    Cet écran dont le résultat est donné en images fixes issues du waveform dans Resolve permet de compter le nombre de diaphs maximum que la caméra peut délivrer entre la valeur la plus élevée (limite clippage) et celle la plus sombre qui se confond avec le bruit de fond.

    La TestBox restera compatible avec des capteurs restituant environ 18 diaphs de dynamique.

    dynaok_02-600.jpg

    waveDyn600.jpg


    Quels réglages pour le test ?


    • La balance des blancs est opérée avec le circuit ad hoc de la caméra sur une feuille blanche. Cette balance est refaite pour les différents écrans (Pleins feux, Low Light)

    • Le point est fait sur le fond au centre (mire de def). On peut s'aider d'une mire de tirage optique amovible ad hoc disponible si besoin. Le moniteur Sumo permet de contrôler le point avec ses circuits d'analyse ad hoc et son système de zoom.

    • Tous les circuits débrayables sont désactivés si possible (réduction de bruit, gammas personnalisés, rétablissement de l’état « usine » de la caméra, notamment mise à l’état initial usine de la correction de contours etc.)

    • Obturateur verrouillé à 1/50ème de seconde

    • Nombre d'images/seconde verrouillé à 25P

    • Exposition :
    Le principe est d'utiliser le réglage qui générera le moins de bruit à la base. Il est donc indispensable de connaître "l'ISO natif" de chaque caméra recommandé par le fabricant et de l'utiliser comme base.
    • En pleins feux l'exposition est réglée de façon à ce que le gris moyen soit à 43% (Rec 709). Diaph 4 si possible. On fait varier l'obturateur (au dessus de 1/50ème) et les filtres neutres incorporés si besoin.

    • En basse lumière (LL = Low Light) on passe évidemment en pleine ouverture et on maintient toujours l'obturateur à 1/50ème pour une comparabilité directe des résultats. Le gain ou réglage ISO est ajusté au plus bas possible. L'exposition est déterminée par la valeur du gris moyen sur le waveform. Elle est fixée à 18% pour garder une image sombre (logique, notre décor est sombre donc notre image doit le rester également) mais qui reste lisible, ce qui permet d'évaluer directement et visuellement le bruit généré par chaque caméra pour cette valeur-là.

    • En très basse lumière (ULL= Ultra Low Light) les petits bonshommes reçoivent une lumière fixe calibrée entre 24 lux pour le premier et 0,00 (non mesurable)… pour le dernier en passant par 1 lux pour le quatrième. L'exposition se fait en posant pour 30% sur le waveform la partie éclairée du dos de chaque bonhomme.
      On fait donc jusqu'à 5 prises, 30% sur le premier, puis 30% sur le deuxième et ainsi de suite. (en général les petits capteurs s'écroulent très vite et le bruit devient insupportable alors que les grands capteurs et les double ISO tiennent encore le choc…)
    • L’enregistrement est effectué en 4K/UHD (ultérieurement 8K) dans la meilleure qualité possible en Rec 709 (exemple 10 bits, 4 :2 :2 si disponible, compression la plus faible)

    • Concernant les modes à de style "HDR" (RAW, Log, HLG et autres Wide DR gamma etc.) Ils jouent pour le moment leur rôle dans la mesure de la dynamique effective mais ils sont appelés à devenir rapidement tout un nouvel écran spécifique supplémentaire donnant à voir ce que donne chaque caméra pour une situation à très fort contraste. Cela impliquera un décor spécial en cours de conception
    Contrôle rigoureux de l'image à la prise de vue

    Le cadre, le point et l'exposition sont contrôlés à l'aide de la sortie HDMI (ou xG SDI) sur un moniteur de contrôle professionnel Sumo Atomos, qui bénéficie d'une interface de monitoring assez complète (affichage 1:1, zoom, assistance focus, waveform, vecteurscope, parade, etc.) qualité 10 bits "émulés", et qui restera compatible avec les réglages HDR exploités prochainement et qui peut aussi le cas échéant enregistrer directement l'affichage des menus par exemple, y compris en 4K.


    Restitution



    Mode de restitution des tests


    Le mode actuel de restitution comporte un montage des résultats significatifs en Full HD, donc en mode 1:1, c'est à dire sans aucun redimensionnement de l'image.


    Les éléments natifs ayant servi à ces montages sont par ailleurs disponibles en téléchargement pour ceux qui le souhaitent.

    A noter : Le montage en qualité maximum (avant upload vers Youtube) est aussi disponible sur demande, le cas échéant.

    A terme nous aurons la possibilité de visualiser à la demande, en format web, la comparaison d'une caméra testée avec une autre caméra testée sur une série d'écrans pertinents.


    Montage comparatif sans dénaturer


    Les images enregistrées sont montées sur une station Resolve à base de Xeon (voir la config dans la discussion sur ce sujet - Config 2018 PC pour Resolve | Page 3 | Le Repaire

    Le principe de ce traitement est de favoriser la visualisation comparative en respectant au maximum la source autant que possible sans la modifier (sauf exception nécessaire mais qui serait alors correctement documentée)


    Les évolutions à venir de la TestBox



    Les optiques interchangeables
    Pour traiter correctement les appareils à optiques interchangeables, nous nous équiperons de 2 ou 3 objectifs fixes manuels, de qualité irréprochable et de la même (grande) ouverture avec les bagues d'adaptation adéquates. Leurs focales respectives compenseront les différentes tailles de capteurs (1 pouce, 4/3, super35 et grands capteurs 24*36 et plus)

    HDR, Logs, Raw etc.
    L'exploitation des divers logs, des rushes Raw comme tout ce qui relève de la problématique HDR fera l'objet d'une prochaine étape. L'établissement du protocole spécifique, qui implique donc, lui, nécessairement un traitement en postprod est encore en cours d'établissement. Il respectera aussi l'esprit scientifique TestBox de comparaison impartiale et pertinente. Un écran spécial à très fort contraste lumineux sera construit dans ce but.

    Autofocus, stabilisation,
    Ces thèmes devenus désormais indispensables dans les tests de caméra seront pris en compte dans les versions ultérieures de la TestBox de même que l'ampleur du rolling shutter

    Le côté obligatoirement rigoureusement comparatif rend ce type de test compliqué à mettre en oeuvre. Nous sommes actuellement en recherche de solutions fiables et pour autant restant abordables pour réaliser ces tests. (suggestions bienvenues ;-) )


    =======================================================


    Petit historique de la TestBox



    A l'origine il y a une réflexion commune à Forest Finbow et moi-même sur la nécessité d'un protocole de test comparatif qui permette d’effectuer l'essai d’une seule caméra à la fois. L’objectif était d’éliminer la contrainte de disposer de toutes les caméras testées en même temps, contrainte qui rend ce type de test infaisable pour beaucoup de raisons logistiques.

    De nombreuses autres personnes ont amené leurs réflexions et leurs suggestions, citons notamment pour les débuts Sébastien Gaillard, Pascal Despeaux.

    Est venue ensuite l’étape de la réalisation pratique dans laquelle Forest et moi avons bénéficié de l'apport décisif de Nicolas Rolland, qui l'a réalisée concrètement sur commande ferme du Repaire dans son "form factor" actuel d'une grosse valise dotée de ses propres systèmes d'éclairage.

    Il aura fallu encore beaucoup de temps, d'essais et d'erreurs, d'hésitations pour parvenir à la version actuelle. Merci à Sélim Bibi Moreau qui fait partie avec Marina des supporteurs les plus importants de cette étape là, la plus ingrate.

    La dernière phase et l'aboutissement actuel nous le devons au soutien logistique et multiforme de la nouvelle mouture du Repaire version Marina (hébergement local, finalisation décor, station Resolve, partenariat pour achat du moniteur de terrain Sumo etc.). La finition du décor doit notamment énormément à Marina, ainsi qu'à Jeffrey Charpentier et Eugene Bonnet au cours de leur stage au Repaire.

    J'ajoute que j'ai pu bénéficier également des avis et des conseils de beaucoup de Repairenautes avisés tout au long de cette lente maturation et de ce processus.

    Que tous ces contributeurs se voient ici remerciés chaleureusement
    nestaphe, bcauchy et MyPOV ont recommandé ce message.

Partager cette page

► Commentaires 25

Vous ne souhaitez rien louper du Repaire ?

Autres contenus

Vous souhaitez annoncer sur le Repaire ? Contactez-nous