module inscription newsletter haut de page forum mobile

Rejeter la notice

Nouvelle Formation Prise de son : les inscriptions sont ouvertes !
Maîtrisez la qualité de vos prises de son avec notre formation théorique et pratique de 3 jours ! Du 14 au 16 mai 2024 à Paris.

TestBox du Repaire : notre protocole de test comparatif de caméras

Tout ce qu'il y a à savoir sur notre outil de comparaison des caméras et autres appareils de prises de vue vidéo

Publié par Michel le 14 Février 2019 dans Infos Repaire
► Commentaires 26
    Recos : 3
    Vues : 4 396
  1. Michel
    Mis à jour le 25/11/2021

    Concept de la TestBox


    L'idée de base est partie du constat que chaque comparatif de caméras donnait lieu à une débauche d'énergie considérable pour un résultat qui faisait autorité pendant une très courte période, au mieux. Il était ensuite compliqué de rajouter une nouvelle caméra et de l'inclure au comparatif.

    Il importait donc pour changer cela, et rester dans une méthodologie scientifique, d'avoir un dispositif autonome qui répète rigoureusement les mêmes conditions de prise de vue, d'éclairage, de décor, etc.

    Nous avons donc conçu puis fait fabriquer un outil complet doté de son propre système d'éclairage incorporé, repliable dans un gros flycase et (à la limite) transportable.

    La TestBox est donc un dispositif destiné à effectuer dans des conditions rigoureusement identiques des séries d'essais caméras (plus généralement appareils de prises de vue vidéo) dont les résultats pourront être stockés, analysés et comparés a posteriori.

    L'objectif est d'obtenir au final un ensemble de résultats comparables implémentés au fur et à mesure dans une base de données. De cette façon, les Repairenautes disposeront à l'avenir d'une base de la plus grande fiabilité qui pourra leur servir pour leurs choix d'investissements. Cette base de données va se construire petit à petit, au fur et à mesure des nouvelles caméras testées.

    decortestbox01.jpg

    Sur quels aspects porte le test ?


    Définition, précision de l’image :


    - Mesure de la définition sur mires 4k.
    - Vérification visuelle du moiré/aliasing ainsi que de son éventuel coloration.
    - Restitution des détails de textures et d'objets concrets.

    Restitution des couleurs :


    - Évaluation à partir d'une charte ColorChecker X-Rite.
    - Calcul du Delta E a partir du logiciel 3DLutCreator.
    - Évaluation à partir de divers objets colorés (pigments, plumes, tissus, etc).

    Dynamique maximum :


    - Nombre de diaphs de dynamique compté sur un waveform.

    Sensibilité :


    - Évaluation du rapport signal/bruit dans des conditions de faible luminosité, voire de très faible luminosité.


    Dispositif concret


    Le décor


    Il est composé de nombreuses couleurs, de teintes, saturations et luminances variées. Celles-ci se trouvent sur des objets concrets ou sur une ColorChecker X-Rite.

    couleurs.jpg
    Le mannequin humanise l’ensemble et permet d'avoir un référentiel de tons chairs et un rendu des carnations.

    carol.jpg

    La mire de résolution présente sur la moitié droite de la largeur permet de repérer les optiques non interchangeables de mauvaises qualités. On peut y voir un éventuel vignettage, des aberrations, une perte de définition sur les bords, etc.
    Évidemment, la mire permet également de rendre compte de la définition délivrée par les caméras.

    mire.jpg

    La Testbox inclut de nombreuses textures, permettant d'évaluer la capacité des caméras à restituer différentes matières.
    Certaines textures aux détails très fins (tissus, dentelles, etc) sont particulièrement intéressantes afin d'évaluer la définition et la restitution des détails.

    detailsfins01.jpg

    Conditions d'utilisation


    La Testbox peut être utilisée en principe à partir d'une distance de 1,5m, l'idéal se situant entre 1,5m et 2m.

    La focale adéquate afin de cadrer la Testbox dans son intégralité, se situe aux alentours de 50 mm (équivalent 24x36). Nous équipons les caméra Full Frame d'un Sigma Art 50 mm F/1.4 et les caméras aux capteurs APS-C d'un Sigma Art 35 mm F/1.4.

    Certaines focales fixes très larges, comme celles de certaines mini caméras ou de smartphones par exemple, nous obligent à nous rapprocher davantage.
    C'est bien sûr au prix de grosses distorsions géométriques et d'une perte de détails intéressants à gauche, cachés par la tête du mannequin, qui est indispensable notamment en basse lumière puisqu'elle produit une ombre que l'on doit retrouver sur toutes les vues "lowlight".

    L'axe caméra doit être situé précisément en face du centre de l'écran.

    Si le cadre a un ratio 16/9, les bords du cadre doivent coïncider le mieux possible avec les bords de l'image de la Testbox. Si le format d'enregistrement entraîne un ratio différent (par exemple 17/9 en 4K DCI), c'est la hauteur qui prime.

    Les filtres ND utilisées pour compenser l'exposition sont le ND4, le ND8, et le ND64 de chez Cokin ainsi que le ND8 de chez Nisi.

    Par ailleurs, le test doit impérativement se dérouler dans un local sans autre source de lumière parasite, notamment pour les écrans basse lumière, très basse lumière et dynamique.


    Les différents écrans de la Testbox


    1 . "Pleins feux"


    Cet écran est doté de deux sources de lumières latérales placées de part et d'autre de la Testbox. Il s'agit de deux minettes LED iDV Aurora Medium 5600, dotés d'un IRC correct avec tout de même une légère dérive magenta.

    Ce test est le plus complet de tous, il va permettre de dégager les principales caractéristiques du produit. Son pouvoir de résolution, sa résistance à l’aliasing et au moiré qui en découle, son rendu des couleurs ainsi que la sensation générale qui se dégage de l’image.

    2 . Low light


    Cet écran est éclairé à l'aide d'une source unique latérale gauche tungstène. Il s'agit en réalité d'une ampoule de frigo de 15 W. Le mannequin projette donc une ombre intéressante sur la partie basse du décor qui permet de voir l'étendue des dégâts dans les détails fins qui y sont inclus.

    lowlight.jpg

    3 . L'Ultra Low Light


    L'écran Ultra Low Light est uniquement éclairé via une source ponctuelle tungstène très proche, latérale et masquée. L'éloignement de chaque petit bonhomme a été pensé et calibré pour que l'éclairement reçu soit préréglé précisément. Les reçoivent donc respectivement 24 lux, 5 lux, 2 lux, 1 lux et 0,0 lux, le dernier n'étant pas vraiment mesurable à la cellule.

    tibonhomme600.jpg

    4. Dynamique


    Cet écran permet de compter le nombre de diaphs de dynamique maximum que la caméra peut délivrer entre la valeur la plus élevée à la limite du clippage et la plus sombre se détachant du seuil de bruit.

    Le dispositif est constitué d'une source de lumière homogène sur laquelle des filtres ND ont été positionnés de manière à générer des bandes de luminosité calibrée, chaque "bande" laissant passer deux fois moins de lumière que la bande précédente.

    Le résultat est donné en images fixes issues du waveform dans DaVinci Resolve.

    La Testbox restera compatible avec des capteurs restituant jusqu'à 18 diaphs de dynamique.

    dynaok_02-600.jpg

    Capture.JPG

    Quels réglages pour le test ?


    Réglages généraux :


    Toutes les caméras sont réinitialisées à l'état d'usine avant de passer à la Testbox. Cela permet de désactiver tous les circuits débrayables (réduction de bruit, correction de contours, etc.), ou du moins remettre les réglages paramétrés de base par le constructeur

    La cadence d'image est constamment verrouillée à 25 images par secondes.

    Les enregistrements sont effectués en 4K/UHD afin de proposer un comparatif 4K de rendu des détails, ainsi que dans les résolutions supérieures.
    Le codec et le format d'enregistrement choisis pour les comparatifs est le meilleur offert par la caméra (niveau maximum de quantification et échantillonnage important, faible compression, long Gop Vs All intra, etc.).
    D'autres formats d'enregistrements peuvent être enregistrés, s'il est pertinent de les comparer en raison d'une qualité ou d'un débit différent.

    On utilisera le gamma apportant la dynamique la plus large (Log, HLG, Wide DR, etc.). La LUT constructeur vers REC.709 est appliqué en postproduction.
    Là encore, on enregistrera d'autre gammas présents dans la caméra en vue d'effectuer des comparaisons entre différents profils d'image (notamment pour la dynamique).

    La balance des blancs est opérée avec le circuit ad hoc de la caméra sur une feuille blanche. Cette balance est effectuée pour l'écran pleins feux et à nouveau pour l'écran Low Light. En Ultra Low Light, chaque caméra est paramétrée à une valeur de 3200K. En dynamique, on réglera la caméra à 5600K.

    Le point est réalisé sur le centre de la Testbox à l'aide d'une mire de tirage optique amovible.
    Sur l'écran Ultra Low Light, le point est réalisé sur les bonshommes.


    Exposition :


    Le principe est d'utiliser le réglage qui délivre le moins bruit numérique. Il est donc indispensable de connaître "l'ISO natif" de chaque caméra recommandé par le fabricant et de l'utiliser comme base.
    • En pleins feux l'exposition est réglée de façon à ce que la charte de gris moyen (18%) soit exposée à la recommandation constructeur pour le gamma utilisé. Par exemple, le gris moyen sera exposé à 43% en Rec.709 alors que le gris moyen en ARRI LogC devra être exposé à 38%. Pour parvenir à l'exposition désirée, on se placera à l'ISO natif des caméras. On compensera avec le diaphragme, l'obturateur (au dessus de 1/50ème), ou éventuellement avec l'ajout d'un filtre à densité neutre si besoin.
    • En basse lumière (Low Light) on passe évidemment en pleine ouverture : F/1.4 sur nos optiques dans le cadre de caméras à objectifs interchangeables, et ouverture maximum de l'objectifs intégré dans le cadre de caméras à objectifs fixes. On verrouille l'obturateur à 1/50ème afin d'obtenir des résultats comparables. Le sensibilité ISO est ajusté afin d'obtenir une exposition du gris moyen 18% à 18%. Nous avons choisi cette valeur afin de garder une image sombre (notre scène est sombre donc notre image doit le rester également, logique) mais qui reste tout de même lisible. Cela nous permet donc d'évaluer la sensibilité de chaque caméra pour cette situation et cette exposition désirée. On essaiera, tant que possible, de se placer à l'ISO natif. Si une caméra présente un palier ISO optimisé (dual ISO, système de denoising, etc.) on préfèrera se placer à cet ISO peut-être un peu plus élevé mais qui délivrera un meilleur rapport signal/bruit, lorsque la situation est appropriée. Enfin, on pourra également effectuer une montée d'ISO compensée afin d'observer l'évolution du rapport signal/bruit. Ce test consiste à tourner la scène Low Light à l'ISO natif puis de doubler constamment la sensibilité ISO jusqu'à atteindre l'ISO maximal proposé par la caméra. Pour chaque montée d'ISO, on compense l'exposition grâce à l'obturateur ou à l'ajout d'un filtre ND.
    • En très basse lumière (Ultra Low Light) les petits bonshommes reçoivent une lumière fixe calibrée entre 24 lux pour le premier et 0,00 (non mesurable) pour le dernier. L'exposition est réglé de manière à situé le point chaud du premier bonhomme à 90% sur un waveform.
      Une fois tourné, on augmente d'un diaph l'exposition (en doublant les ISO) jusqu'à atteindre la sensibilité maximale de la caméra.

    Contrôle rigoureux de l'image à la prise de vues


    Le cadre, le point et l'exposition sont contrôlés à l'aide de la sortie HDMI (ou SDI) sur notre station professionnel de montage équipée de Resolve Live. Le logiciel bénéficie d'une interface de monitoring assez complète (affichage 1:1, zoom, assistance focus, waveform, vecteurscope, parade, etc). Par ailleurs, dans les situations où Resolve Live ne fonctionnerait pas, nous sommes équipé d'un moniteur Atomos SUMO nous permettant d'avoir ces mêmes outils de monitoring.


    Montage et traitement en post production


    Les images enregistrées sont montées sur une station Resolve, équipée d'une RTX 3090 et de 64 Go de RAM (voir la config du repaire dans cet article).

    Les rushes 4K sont insérés dans DaVinci Resolve dans une timeline FullHD 25p avec un crop 1:1. Les rushes d'une résolution supérieure à la 4K sont redimensionnés à la taille 4K. Un rushe 6K sera redimensionné avec un facteur x0,66, un rushe 8K sera redimensionné avec un facteur x0,5, etc.
    Le principe de ce traitement est de favoriser la visualisation comparative en respectant au maximum la source en la modifiant le moins possible (sauf exception nécessaire mais qui serait alors correctement documentée).

    Les fichiers RAW sont débayerisés dans la meilleure qualité possible (Full res).

    Les waveforms générés par Davinci Resolve présentent tous les mêmes préférences et réglages. Il s'agit de waveforms RGB en mode colorize, réglés à l'intensité maximale.

    En scène Low Light et Ultra Low Light, les waveforms sont capturés dans la timeline FullHD, en revanche pour les waveforms de dynamique, ils sont capturés dans une timeline au réglage de résolution identique au rushe concerné.

    Le denoising est effectué via le plug-in Neat Video avec un réglage de 5 images pour le radius.

    L'export est effectué en FullHD H.264 "Best quality" et "High encoding profile".


    Les évolutions à venir de la TestBox


    La qualité du signal délivré par les caméras étant de plus en plus performante, de nouveaux tests seront mis en place afin de confronter les caméra à des tests exigeants. Cela permettra de départager plus facilement les nouvelles caméras du caméra qui présentent de bon résultats sur nos tests actuels.

    Mires 8K :


    L'évolution des capteurs de plus en plus définis nous obligent à passer prochainement sur des mires de résolutions 8K, nos mires 4K ne permettant plus vraiment de départager les caméras passées à la Testbox.

    HDR :


    L'exploitation des rushes RAW et des divers logs permettant toujours une meilleure plage dynamique, il ne fait nul doute que le HDR fera l'objet d'une prochaine étape de test dans notre Testbox. Un écran spécial à très fort contraste lumineux sera construit dans le but de visualiser la capacité des caméras à capturer des informations dans les basses et hautes lumières. Ce nouveau test respectera évidemment l'esprit scientifique de la TestBox afin de délivrer à l'avenir des comparaisons impartiales et pertinentes.

    =======================================================


    Le mot de la fin de Michel : Petit historique de la TestBox



    A l'origine il y a une réflexion commune à Forest Finbow et moi-même sur la nécessité d'un protocole de test comparatif qui permette d’effectuer l'essai d’une seule caméra à la fois. L’objectif était d’éliminer la contrainte de disposer de toutes les caméras testées en même temps, contrainte qui rend ce type de test infaisable pour beaucoup de raisons logistiques.

    De nombreuses autres personnes ont amené leurs réflexions et leurs suggestions, citons notamment pour les débuts Sébastien Gaillard, Pascal Despeaux.

    Est venue ensuite l’étape de la réalisation pratique dans laquelle Forest et moi avons bénéficié de l'apport décisif de Nicolas Rolland, qui l'a réalisée concrètement sur commande ferme du Repaire dans son "form factor" actuel d'une grosse valise dotée de ses propres systèmes d'éclairage.

    Il aura fallu encore beaucoup de temps, d'essais et d'erreurs, d'hésitations pour parvenir à la version actuelle. Merci à Sélim Bibi Moreau qui fait partie avec Marina des supporteurs les plus importants de cette étape là, la plus ingrate.

    La dernière phase et l'aboutissement actuel nous le devons au soutien logistique et multiforme de la nouvelle mouture du Repaire version Marina (hébergement local, finalisation décor, station Resolve, partenariat pour achat du moniteur de terrain Sumo etc.). La finition du décor doit notamment énormément à Marina, ainsi qu'à Jeffrey Charpentier et Eugene Bonnet au cours de leur stage au Repaire.

    J'ajoute que j'ai pu bénéficier également des avis et des conseils de beaucoup de Repairenautes avisés tout au long de cette lente maturation et de ce processus.

    Que tous ces contributeurs se voient ici remerciés chaleureusement
    nestaphe, bcauchy et Guest20191220 ont recommandé ce message.

Partager cette page

► Commentaires 26

Vous ne souhaitez rien louper du Repaire ?