Le tournage DATA et le problème de l'archivage [Cartes mémoire, HDD, P2, SXS, etc...]

Suite à de nombreuses questions concernant l'archivage de nos tournages Data, j'aimerai réunir ici les différentes réponses possibles afin dans l'idéal d'aider les actuels et futurs utilisateurs de ces solutions sans médias consommables.
Si la richesse des réponses le permet, je propose en outre de condenser les différentes propositions avec leurs avantages et inconvénients afin de les publier sur le repaire.

Premièrement, définissons avec précision le tournage data :
En fait cette expression nous proviens du monde du D-Cinéma ou cinéma numérique en français. C'est un monde où les impératifs de qualité de l'image prévalent souvent sur les coûts de production. Ainsi le cinéma s'est très rapidement interressé aux solutions d'enregistrements sans compression. De fait, comme les débits impliqués ne permettent pas l'enregistrement des images sur des solution à bandes traditionnelles les solutions à carte mémoire se sont rapidement imposées. En effet les cartes mémoires sont rapides, sans mécanique et relativement petites, ce qui permet de les empiler et même de mutualiser l'enregistrement sur plusieurs destinations simultanées afin d'augmenter les débits. Le tournage data c'est justement l'utilisation de ces solutions comme support de captation.
Cependant de telles solutions de tournages existent aussi en dehors de ce monde élitiste et onnéreux. En 2003 Panasonic introduisait dans le monde des professionnels de la prise de vue ses solutions à base de cartes mémoires baptisées P2. 2005 les premiers camescopes/APN grand publics apparaissent avec des solutions MPEG-4 sur cartes SD, parrallèlement de nouveaux camescopes apparaissent avec un disque dur intégré et en 2007 Sony emboîte le pas à Panasonic et instaure sa propre solution de tournage sur cartes mémoires pour les professionnels : les cartes SXS.

Le monde du D-Cinéma a rapidement déterminé une solution efficace de transfert et d'archivage de ses rushes non compressés : La sauvegarde sur bande, j'ai nommé les enregistreurs LTO. Avec une capacité allant jusqu'à 800 Go/bande c'est la solution idéale pour le stockage de tous ces tera-octets d'images. Or le monde de la vidéo n'en est pas du tout à ce niveau. Premièrement car il n'a pas les mêmes besoins en capacités, et surtout car il n'en a pas forcément les moyens.

Voici donc les solutions que nous avons à notre disposition :

- Le report de nos tournages datas sur bande : les bandes ne coûtent pas grand chose, sont fiables et peuvent stocker beaucoup d'informations dans une place fort restreinte. Leur utilisation en revanche n'est pas vraiment confortable, en raison de leur linéarité, et en dehors des DLT ou des LTO ils sont généralement dédiés à un format (Un magnétoscope DVCAM n'enregistrera qu'un signal DV, un magnétoscope HDCAM qu'un signal HD-SDI qu'il recompressera).

- Le stockage des données data sur disques optiques : les disques optiques offrent l'avantage de permettre le stockage de n'importe quelle forme de données numériques. Ils sont peu coûteux mais leurs capacités actuelles ne sont pas très importantes et ils présentent certains problèmes de fiabilité.

- Le stockage sur disques durs HDD : et oui, les prix baissent, les disques durs sont actuellement une vraie alternative au stockage consomable, et ils présentent l'avantage d'être trsè rapides en lecture, et permettent systématiquement la réécriture. On peut donc facilement stocker la totalité des montages afin de pouvoir les reprendre ultérieurement. Malheureusement ils nous opposent de sérieux problèmes de fiabilité. La mécanique est fragile et les contraintes physiques poussées à l'extrème (qui ici n'a jamais eu un disque dur qui a lâché...)

Si vous voyez d'autres solutions, ou si vous aimeriez détailler les solutions citées ci-dessous (et là il devrait y avoir de quoi) faites vous plaisir. L'idée est de résumer les + et les - des chaque technique afin d'aider chacun d'entre nous dans nos choix technologiques qui vont probablement être forts différents d'un individu à l'autre, du camescope grand public HDD ou DVD aux pros qui utilisent les P2 et SXS.

Alice

 

Comme d'habitude voilà une netrée en matière de grande qualité.
Ce soucis de la pérénité du stockage des informations n'est pas seulement celui des vidéastes mais c'est qussi celui des pratiquent de l'informatique au sens large et bien sur au niveau professionnel car au dela d'un support défaillant les systèmes eux mêmes peuvent semer le désordre dans nos données !!
Il y a de cela plus de dix ans les conseils des "spcialistes" consistaient à prévoir 3 stockages, deux redondants sur place pour la rapidité de réinstallation du système et la reconstruction des données et un autre à distance pour la protection physique de ces données en cas d'incendie, d'inondation ou de malversation.
A partir de là tous les supports bandes, disques, ..) ont été utilisés.
Il faut maintenat traduire cela au niveau de notre utilisation au quotidien en fonction de nos moyens techniques et financiers et bien sur en distinguant parfois les utilisateurs professionnels des "amateurs" comme moi même.

En ce qui me concerne je rencontre ce même souci pour le stockage de mes photos numériques afin d'assurer qu'elles seront encore visible spar mes petits enfants et arrières petits enfants comme le sont les photos de mes ancêtres.
Pour l'instant c'est donc deux copies sur disque dur dans deux machines différentes non en réseau pour l'une d'elle afin d'éviter au mieux les virus et une copie sur CD (support OR de KODAK tant que j'en aurais en stock) et déposés chez mon frère.

Alors au suivant ...

 

BluRay double couche = 50 Go = stockage d'un peu moins de 210 minutes en HQ 1920x1080i de rushs

 

Sauvegarde et archivage ....

salut barraalice et Gérard

Deux mots utilisés souvent qui recouvrent des concepts et enjeux très différents ...

Sauvegarde : l'objectif est de pouvoir sauvegarder "temporairement" un contexte donné ( un volume de data sur une durée donnée ) pour pouvoir le "restaurer" le plus vite possible en cas de panne d'un des " systèmes".
C'est l'intégrité des données et la vitesse de restauration qui sont la clefs du système mis en place .. le "temps réel" prend ici tout son sens .. solution des gros centres informatiques à base de dorsaux placé en "suceur " des bases principales qui dupliquent en permanence les données sur une période définie ( équivalent toute proportion gardée des points de restauration de nos Pc, et de nos DD externes )

Archivage : là le temps n'est plus le critère majeur, mais la capacité de" stocker durablement et retrouver " un contexte archivé dans le temps en parfait état .. la relative lenteur du processus n'est pas un handicap .. ce qui importe c'est la sécurité/fiabilité du support des données archivées ..le coût acceptable compte tenu des volume de data ..l’intégrité physique de ces supports....enfin le logiciel de gestion des archives pour "savoir " à tout moment ou trouver le contexte archivé.

Le tout ( sauvegarde/archivage) est hiérarchisé de supports ultra performant indexés au supports séquentiels les plus lents ( RAM, DD, Cartouches) ... en fonction de l'importance, de l'age et de la génération des contextes ( Gand mère, mère, fille ... ) l'ensemble étant de plus en plus imbriqué.

Actuellement la majorité des sauvegardes sont réalisées sur des cartouches ( équivalent des K7 ) en plusieurs copies et stockés dans des entrepôts sécurisés, distants, doublés voir triplés ..les manipulations et le "camion processing" étant remplacé par des liaisons haut débits avec les robots présents sur les sites d'archivages.

Pour revenir à nos modestes préoccupations c'est bien la bande sous une forme ou une autre qui est encore actuellement le meilleur support d'archivage sur le ratio volume/coût/sécurité ... de la K7 Dv au LTO ou DLT aprés ce n'est qu'une question de moyens..

On sauvegarde sur des DD ...doublés...triplés.. internes/externes ..sur une autre Pc distant les données à "ré usage/retraitement" proche .

On archive sur bandes les données finalisées qui ne doivent plus être retraités à court/moyen terme ..

Par contre la gestion de la pérennité de ces sauvegardes est un travail spécifique en soit, vérifier à intervalle régulier leur états, s'assurer de l'existence et du bon fonctionnement des lecteurs associés avec les logiciels "ad hoc" prévoir les migrations de supports et lecteurs lors d'évolutions technologiques ..

Longue vie aux bandes sous toutes leurs formes ...

Bertrand

 

Que ce soit BlueRay ou HD-DVD le risque sera de reproduire les problèmes de fiabilité des DVDs actuels. Pas contre comme le souligne STEF, on augmente notablement la capacité de stockage. Ces médias ne sont par contre que destinés à un stockage / archivage final (pas de possibilité de réécriture). De plus qu'en est-il des performances (débits) ?

Il y a aussi les cartouches type magneto-optique telles que celles utilisées par STEF (cf une discussion récente avec Bob). Elles peuvent offrir une souplesse intéressante et un espace de stockage qui n'est pas ridicule (mais pas au niveau des nouveaux disques actuels qui offrent facilement 500 Go ou plus pour un tarif dérisoir). Le tarif peut devenir génant lorsque l'on doit manipuler un lourd volume de données.

Le LTO4 qui offre 800 Go en non compressé reste peut être encore une solution très haut de gamme. Le LTO3 qui offre 400 Go en non compressé est certainement beaucoup plus accessible. J'ai moins confiance dans la durée de vie des bandes de moindre capacité (DAT, VXA). Les bandes sont plus petites (un poil plus fragiles) et je ne miserais peut être pas sur la pérénité de telles solutions.

Daniel

 

Pas d'accord, j'utilise un logiciel de streaming sur mon Mac qui permet d'enregistrer n'importe quel type de données numériques présentes sur un disque dur. On reste dans la solution linéaire, mais pour de l'archivage, quelle réelle importance. Je me sers d'un caméscope D8 qui présente une grande sécurité d'écriture, mais un magnétoscope DVCAM conviendra parfaitement. C'est comme ça que je peux enregistrer du MPEG 2 de DVD (VIDEO_TS) ou du HDV sur une vulgaire bande 8 mm !
Une bande DVCAM de 184 minutes permet d'enregistrer en double sécurité 20 Go de données.
Le logiciel Mac s'appelle DV Backup et plusieurs logiciels équivalents existent sur PC.

 

C'est vrai Video98, je ne suis pas sans connaitre ces solutions de sauvegardes sur bandes DV, néamoins elles représentent une methode détournée, et quoi que tu en dises, c'est tout de même un signal vidéo MJPEG-25 4:2:0 qui est envoyé sur la bande. Le truchement réside dans la technique de codage particulière qui permet effectivement de décrire des données data dans ce flux vidéo, du reste parfaitement lisible en tant quel tel (bien que forcément, ce soit une bouillie de pixels infame que l'on puisse lire dans ce cas). La solution est bonne, mais elle est malheureusement dépendante de l'éditeur du programme, et cette dépendance peut être un frein à la pérénisation des données stockées...

Je vais tout de même la rajouter à la liste des solutions de sauvegarde sur bande, elle a son lot de défauts, mais à 2 euros les 13 Go elle reste attractive, et il semblerait qu'elle ne présente pas spécialement de problèmes de fiabilité, en dehors de la propriétarisation qui implique que l'on doivent posséder le programme de backup, et qu'il fonctionne toujours à la date de retrait des informations.

Hey Bertrand, tu soulèves là aussi une question : qu'est-ce que la sauvegarde ? et effectivement ce concept englobe les deux cas que tu décris. Il s'agit donc naturellement de prendre en compte ces deux cas de figures, et de déterminer les solutions les mieux adaptées au cas par cas.

A titre tout à fait personnel, j'envisageais très sérieusement un système de sauvegarde sur bandes DLT. Pas trop couteux, mais à la fois large et fiable, pour un stockage dans le temps ça devrait convenir. L'arrivée des blu-rays double couche (et bientôt quadruple n'est-ce pas ?) pourrait toutefois changer mes plans car quoi qu'on en dise, je reste persuadé qu'un disque optique, conservé dans de bonnes conditions à l'abris de la lumière et de l'humidité, restera une bonne solution qui à l'avantage d'être très accessible (fichier par fichier) et très compact.

 

Pour les moins initiés lire ou relire l'article d'un confrère du Repaire sur le sujet qui évoque de manière concise les contraintes et avantages de quelques solutions d'archivage standard en vidéo amateur ... sur bande, sur disque dur, sur dvd en mpeg2, en H.264, en divx ...

Y ajouter de nouveaux médias et formats de stockage comme le blue-ray le hd-dvd ( et sa version chinoise le CH-DVD ) ou plus récent encore en H264 le Hd-rec ...

Envisager des solutions complètement différentes comme la sauvegarde en ligne dont rêvent les géants de l'informatique ou des "petits" bordelais qui seront peut-être utilisables dans un avenir proche pour les énormes volumes de données de la vidéo.

Secouer le tout et nous voila avec un beau casse-tête pour trouver la meilleure solution .

 

Très juste Hugues. Ta remarque me fais d'ailleurs penser qu'il nous faut également distinguer l'archivage aux seules fins de relecture, qui s'accommoderont très bien des encodages destructifs tels que sont les DVD, divx et autre H264, de l'archivage à but réutilisable qui demande une qualité supérieure, et donc un espace de stockage également supérieur.

Personnellement ce n'est que cette deuxième disposition qui m'intéressait, la première étant pour moi plus attachée à la diffusion qu'à l'archivage, mais c'est un point de vue et on est là pour en discuter n'est-ce pas ?

 

Joyeux mélange ...

Salut Hugues
Euh cette article " l'article d'un confrère " assez bien présenté sur la forme a l'avantage de dégrossir, faire une sorte d'état des lieux ..mais il mélange un peu tout ..voir il est dangereux ..
Affirmer que l'on peut envisager d'archiver ( sous tend le long terme ) sur des supports aussi fragile et peu durable que les DVD actuel, double couche, ou Blue-ray voir HD-DVD ..est "irresponsable "
De même promouvoir le DD externe sans évoquer les risques encourus dont le premier, le plus basique ..une simple chute du bureau sur le sol ..adieux veaux, vaches, cochons ..n'est pas sérieux..
Hyper valable pour la sauvegarde ..
Bon points pour les cartouches en vertical ..mais il oubli de citer la toute aussi basique boite métallique avec un sachet de silicagel pour être à l'abris de tout soucis de magnétisme, enfin qu'un bout de bande abîmé ..une paire de ciseaux du scotch et un peu de dextérité, le tour est joué ..plus sophistiqué, plus coûteux voir impossible sur d'autres supports ...
Bon points pour la surveillance et l’entretien régulier de ses archives voir leur migration à terme fonction des technologies disponibles ..
Semi bon point pour la promotion de l'archivage en format destructif ..O.K. on gagne un peu de place mais à quel prix en traitement et éventuel post traitement ... et perte de substance !!! d'autant que le principe même de l'archivage ce sont des supports volumineux, fiable mécaniquement et dans le temps, peu coûteux ..!! Donc ?

Vrai aussi que tout support de diffusion non "auto destructible ( DVD ) " peut être détourné de son usage premier et avec beaucoup de précaution devenir une archive ( Vinyle 78 t .. etc .. )

Il ne faut pas écarter les outils de classement/recherche des archives ( mots clefs multicritères ) pour pouvoir retrouver une archive ...
Il faut aussi mentionner que l’archive est souvent le dernier recours en cas de pertes totales d’un contexte et de ses sauvegardes

Dire par-dessus tout , pour ceux qui bénéficient encore des K7 .. que garder ses rushs originaux est la première des archives ..

Pour finir que doit t’on archiver .. seulement le résultat final ou aussi le processus qui a permis d’obtenir ce résultat à partir des données initiales ? "pour moi" c’est les deux …
Bertrand

 

Bonjour Bertrand

c'est ton avis et tu le défends bien mais ce n'est pas avoir un avis et le défendre comme ce confrère - ou toi - qui est irresponsable c'est être persuadé que son propre avis est forcément la seule voie responsable qui l'est .... et je vois mal comment tu peux affirmer que c'est le cas de ce confrère qui ne fait que présenter un état des lieux...et donner son avis ni plus ni moins responsable que le tien...

On peut très bien archiver sur Dvd ou sur bandes - ou même sur les deux - si on prend soin de rendre ces sauvegardes redondantes et de vérifier soigneusement que la sauvegarde est bien la copie conforme à l'original... Ca c'est mon avis ... Et tenter de rendre perenne cet archivage si on renouvelle relativement souvent l'opération.

C'est un débat qu'on a déja eu avec Bob ( qui défend comme toi la suprématie de la bande et c'est son droit le plus strict ...) on ne va pas le refaire...

Essayons plutôt si tu veux bien de dresser l'état des lieux le plus exhaustif possible que nous propose Alice ( sans exclure à priorir aucune poissibilité dvd compris, à l'aide des avis des confrères éventuellement et à l'aide de toutes les bonnes volontés du Repaire à ce sujet et nous finirons bien par arriver à dégager les meilleures ou plutôt les moins pires solutions existantes à adopter dans les différents cas de figure ( amateur, semi pro, pro ...). Qu'en dis-tu ??

 

Salut Hugues
" ..donner son avis ..." Ceci n'est pas formuler comme un avis mais présenter dans cet article comme une solution ....c'est radicalement différent.. là...réside le danger
" Vu à la télé" ou "écrit dans le journal " c'est tout aussi dangereux car la majorité du " grand public " ne dispose pas d'une formation suffisante pour trier le bon grain de l'ivrais ..
Avec un début de connaissance en Physique et Chimie ..il est impossible d' affirmer qu'un support chimique comme le DVD ..est durable dans le temps ....c'est actuellement une imposture ...le "die" s'auto détruira inexorablement .." et ceci n'est pas un avis ..c'est une donnée scientifique ...responsabe ...elle !! " ...et "pourtant elle tourne" ne te rappel rien ? "Galilée" qui avait du renier ses convictions scientifiques ..!!!
C'est aussi énorme que de déclarer que des accus sont éternels ..
Bien entendu si l'on reconstruit le dessin sur la plage après chaque marée il devient artificiellement éternel ..!!!
" .. On peut très bien archiver sur Dvd ...si on renouvelle relativement souvent l'opération" !!! Bien entendu on peut archiver sur du papier bio, auto dégradable ..à condition de recopier le texte très, très souvent !!!

" ..Essayons plutôt si tu veux bien de dresser l'état des lieux le plus exhaustif possible que nous propose Alice ..."
Oui et j'ai la faiblesse de croire que j'y participe pleinement en essayant non seulement de clarifier mais de compléter en ouvrant d'autres pistes totalement parties prenantes du travail d'archivage ...qui demeure assez confus dans l'esprit de beaucoup ...dont le traditionnel amalgame entre sauvegarde et archivage

Quant à croire qu'Alice défendra bec et ongle le support DVD comme un support de sauvegarde à long terme ....permet moi de demeurer sceptique ..mais c'est a elle de se prononcer ...
" ..qui s'accommoderont très bien des encodages destructifs tels que sont les DVD, divx et autre H264..." car dans ces propos "je" perçois une simple confusion entre le support DVD et son mode d'encodage traditionnel " mpeg" qui devient cohérent avec Divx et H264 ..!!!

"...est irresponsable c'est être persuadé que son propre avis est forcément la seule voie ...." alors Hugues vois tu je te rejoins totalement, mais peut être pas comme tu le crois ..!!
Bertrand

 

Bjr
Il va sortir un magnétoscope semi pro lecteur de cartouche SxS Sony. Il sera doté d'une sortie Data et pourra copier donc les données directement sur un scope XDCAM type PDW-HD1500 Optical DISK en double layer. C'est la solution la plus rapide et la plus économique (optical double layer 50Go dans les 40Euros). Ainsi les cartes Sxs sont libérés pour les JRI et les rushs sont arichivés en natif. L'opération se fera de l'ordre de 4 fois la vitesse.

 

Là, je suis en désaccord, ce n'est pas un signal vidéo MJPEG-25 4:2:0 qui est enregistré, même si les paquets de données ont la structure DV, tu sautes une étape ! Ce sont des données réorganisées selon les espaces data du DV, ce qui n'est pas du tout la même chose. Il n'y a donc pas conversion en MJPEG-25 4:2:0.

Pour les autres critiques, je suis bien sûr d'accord, on dépend d'un logiciel et de sa compatibilité future, comme la plupart des autres systèmes (que dire des cartouches Jaz ou Syquest ?). Une solution élégante pour réutiliser des bandes D8 ou DV pour enregistrer les fichiers informatique reste de s'équiper avec des streamers à bandes qui utilisent ces formats (c'est assez courant).

 

exact
=> le PDW HD1500 pour les rushs tournés sur SxS en HQ (1920x1080)
=> le PDW HD1500 ou le F70 pour les rushs tournés sur SxS en SP (1440x1080)

++