Le tournage DATA et le problème de l'archivage [Cartes mémoire, HDD, P2, SXS, etc...]

Salut Daniel
" ..parler des contraintes d'utilisation (matériels / logiciels utilisés pour stocker les données sur bandes, recherche des données ...."
Exact ...stocker avec les bons critères/mots clefs /dates/ bibliothèques qui permettent à tout moment de savoir ou se trouve tel fichier ou telle vidéo, sur quelle K7/bande, ou se trouve physiquement cette K7/bande, éventuellement son numéro d'index sur la bande.
Ce dernier permet ( mieux que les K7 ou l'on ne peut que sauter d'index en index .. ) la recherche en défilement rapide directement sur la séquence parmi les n contenus sur la bande ..
Les cartouches professionnels à enregistrement linéaire, bande flottante sur les têtes, plus rapide que l'enregistrement hélicoïdale, s'écrive pour certaine à partir du milieu ...pour optimiser statistiquement le temps moyen de recherche d'une séquence ...

Et de l'expérience de chacun .. Gérard nous décrit sa façon ..
" .En ce qui me concerne ...pour le stockage de mes photos numériques afin d'assurer qu'elles seront encore visibles par mes petits enfants......c'est .. deux copies sur disque dur dans deux machines différentes non en réseau pour l'une d'elle afin d'éviter au mieux les virus et une copie sur CD (support OR de KODAK tant que j'en aurais en stock) et déposés chez mon frère......"

En ce qui me concerne pour archivage ...je garde toutes mes K7 "rushs originaux" dans des boites de thé métalliques avec un sachet de silicagel, ( les K7 sont étiquetées ainsi que les boîtes ), idem pour les montages une fois finalisés ( soit par reportage un jeux "brut " et un "net" ) les initiaux à Paris, les montés en province ..

Le "savoir faire" ( fichiers d'ordres, paramètres de lettre/nom de partition associée, paramètres de quelques effets/titres construits un peu par hasard, nom du logiciel de montage utilisé ), les fichier "ISO" des DVD de tous les montages réalisés, sont sauvegardés sur des DD internes monté sur rack sortie du Pc, entreposés par terre ( chute ) au fond d'un placard.

Les sauvegardes suivant la proximité du projet en cours sont soit en double sur DD distincts dans le Pc, soit sur DD externes en FW400 pour les "à restaurer peut être " en FW 800 " à retoucher sûrement et/ou en attente "
Enfin pour visionner ( Diffusion) un jeux de chaque projet sur DVD ..ranger dans des boîtes en carton à l'abris de la lumière et de l' humidité.

"Mon" plus grand problème est la tenue à jour du classement/contenu de ces supports .. pour l'instant "manuel !!! " sous excel/word .. et dans la précipitation/négligence souvent pas assez bien rempli... très conscient qu'il faut que je trouve un bon logiciel simple ..autre soucis il faudra le mettre à jour !!

Quant aux DAT / LTO pour un amateur "je" trouve cela trop onéreux ...( voir le tableau d'Alice ) même en simple lecteur/enregistreur de table ..sans compter le prix des médias..
Bertrand
N.B. : Pour certaines archives un coffre en banque est un élément de sécurité supplémentaire .
.

 

Et le plus important sera d'archiver correctement ce classement sur differents sites avec synchronisation des données. Parce que c'est bien beau de se donner les moyens d'archiver tout mais si le "mode d'emploi" des differentes copies disparait, bonjour la galère pour retrouver le moindre element.

Et là une solution hyper simple et sécurisée pour archiver juste des documents de type texte c'est tout simplement d'envoyer ces fichiers sur 2 ou 3 adresses mail type yahoo, hotmail, gmail et avec 1 giga de stockage c'est plus que suffisant

 

Ok, voici le tableau comparatif concernant les disques optiques. J'espère avoir globalement synthétisé la chose. Je n'ai pas inclus les disques magnéto-optiques genre zips, mini discs et Cie puisqu'ils sont de toute façon trop petits pour nos applications vidéo. Je n'ai pas non plus mentionné les CD-ROM. Ils sont trop petits et anciens pour prétendre aux solutions de sauvegardes, tout particulièrement en HD (raison pour laquelle je n'avais pas non plus parlé des sauvegardes propriétaires de vidéo SD sur bandes).
Enfin, je n'ai pas fait de différence entre les DVD+ et les DVD-. Il y a peut être certaines différences mineures, mais pas suffisantes pour valoir le distingo.

Petite note spécifique aux médias optiques : les durées de vie sont données pour une récupération bit par bit. Les données sont toutefois généralement gravées avec un système de protection contre les erreurs par vérification de parité. Ce système permet non seulement de déterminer si il y a eu une erreur lors de la récupération, mais permet en outre la correction des erreurs mineurs (jusqu'à 1/7 des données perdues). Il n'est donc pas surprenant que les données stockées sur ces medias, même dégradés par le temps, peuvent être récupérés au delà de la période de durée de vie indiquée. La question du risque reste tout de même entière car si un bloc perds trop d'informations c'est la totalité du bloc qui deviens irrécupérable, or si un fichier contiens des blocs irrécupérables (Erreur de redondance cyclique, ça vous dis quelque chose ?) c'est tout le fichier qui refusera de passer, il faudra alors entrer dans la pénible tâche de la récupérations de données, qui ne permettra jamais la récupération totale du fichier concerné.

Bref voici le tableau. Comme d'hab, commentaires, ajouts etc... sont fort bienvenus.

[TABLE]

Produit​

|

Description​

|

Stockage/Durée maxi​

|

Prix​

|

Prix de l'enregistreur​

|

Durée de vie​

|

Remarques​

DVD R|Disque de 12 cm, inscriptible une seule fois. Très généralisé|4.3 Go|0.3 €|30 €|La fiabilité dépendant du substrat : de 2 à 5 ans (couches organiques), à près de 100 ans (Or 24 carats)|Dépends très largement de la qualité du DVD vierge. A bas prix ils sont très peu fiables. Les DVD-R or sont rares et couteux, la majorité des médias disponibles est données pour une durée de vie de 5 ans en moyenne.
DVD DL|Disque double couche de 12 cm|8.5 Go|1 €|30 €|2 à 5 ans|Il n'existe pas à ma connaissance de DVD-DL avec une couche en or.
DVD RW|équivalent du DVD R, mais réinsciptible|4.3 Go|0.6 €|30 €|2 à 5 ans|N'existe pas à ma connaissance en double couche ni en or.
DVD pressé|Disque de 12 cm, simple ou double couche. Compatible avec les DVD-R mais réalisé à partir d'un moulage. Utilisé uniquement pour la duplication en grande série|4.3 ou 8.5 Go|N/A|N/C|100 ans|le glass master coute en général 400 euros. Pour 1000 copies, compter 0.6 € par copie. Le substrat est mineral et la durée de vie donnée est très longue. Uniquement envisageable à partir de 500 exemplaire.
HD-DVD|Disque de 12 cm.Contrairement au DVD, le laser utilisé n'est pas rouge mais bleu. La longueur d'onde est plus courte, et permet une finesse de gravure suppérieure.|15 ou 30 Go|11 € et 25 €|450 €|N/C|Je n'ai trouvé aucune infos sur la durée de vie estimée de ces supports. Il existe aussi une déclinaison 51 Go (trois couches de 17 Go) mais je n'ai encore trouvé aucun appareil capable de les graver.
Blu-Ray|Disque de 12 cm. Technologie similaire (laser bleu) au HD-DVD|25 ou 50 Go|12 € et 25 €|450 €|30 ans|La durée de vie est annoncée par Sony selons les tests de vieillissement acceléeés faits dans leur laboratoires et ne concerne que les disques protégés avec la technologie AccuCORE. Existe également en réinsciptible avec la même durée de vie annoncée. Existera prochainement en quadruple couche 100 Go.
Professional Disc|Disque optique réinscriptible protégé en cartouche, spécifique aux applications vidéo professionnelles XDCAM. Gravé à l'aide d'un laser violet, ils sont initialement dédié à l'enregistrement de flux XDCAM SD et HD, mais permettent en théorie le stockage de toute autre forme de données. Existe en simple et double couche|23 Go ou 50 Go|40 € et N/C|2500 €|30 à 50 ans|Les disques simples couches 23 Go étaient donnés pour une durée de vie de 30 ans, mais les publications réscentes sur les doubles couches 50 Go donnent systématiquement une durée de vie de 50 ans.
REV PRO|Disque professionel dévellopé par GrassValley et concurent du Pro Disc de Sony|35 Go ou 70 Go|40 €|500 €|30 ans|Spécifique aux applications Grass Valley, mais peut naturellement accueillir n'importe quel flux de données. Des lecteurs portatifs existent en USB[/TABLE]

 

Bravo Alice ... même si je ne suis pas d'accord sur la longévité à 5 ans des Dvd gravés si c'est fait dans de bonnes conditions et que j'aurai estimé nettement plus longue comme me l'a confirmé il n'y a pas si longtemps le "coordinateur système qualité" d'un gros presseur français de cd et dvd ton appréciation sur cette longévité est pour moi trop pessimiste mais d'autres la qualifieront de prudente ( cf une des discussions dvd contre k7 à laquelle Bob faisait allusion en souriant tant nous avons feraillé sur le sujet ... ). Dans le doute dupliquer dans les règles de l'art les dvd d'archives gravés précieux tous les trois ou quatre ans pourrait donc être un conseil judicieux...

Ton effort de vulgarisation et ta synthèse sur ces supports bandes et supports optiques me parait remarquable de clarté et donne une bonne vue d'ensemble de ces systèmes d'archivage accessibles au grand public comme au professionnel.

 

Salut Alice

Un « gros bémol » entre les R et RW le procédé d’enregistrement est totalement différent ..ce qui rends les RW encore nettement moins fiables que les R pour la conservation d’un enregistrement.

A savoir les R ( +ou - c’est identique ) sont disons « brûlés » par le laser qui forme des petites cloques dans le Die ..les zéro ou un … petites cloques qui auront tendance avec le temps à s’auto cicatriser ou a être noyé dans l’oxydation générale …

Par contre l’enregistrement des RW s’apparente plus à la technique du rouleau dans un champs de blé… le rouleau passe . ..couche les blés .. on relit les traces laissés par ce rouleau dans le champs ..

Et c’est réversible logiquement et physiquement , logiquement ..on détruit la table d’accès et on autorise le rouleau à faire d’autre empreintes …..on imagine bien que ce processus atteint par le procédé physique de base assez vite ses limites en ré enregistrements successifs.

MAIS ..on peut régénérer physiquement le RW … "effacement long "..environ 20’ par DVD…là, tout simplement le graveur va redresser tous les blés du champs et restituer un champs tout vierge . ...il suffit de retourner son DVD RW après une telle opération pour voir qu’il est comme neuf .. !!!

Alors .. ben c’est que si on laisse un RW enregistré tout seul ..les épis de blés vont se redressez tout seul avec le temps ..et ce beaucoup plus vite que la dégradation d’un R ..

Attention dans ce cas le RW n’est pas dégradé, une reconstitution physique comme ci-dessus lui redonne tout son potentiel ..il n’est simplement plus lisible .. !!!!l et là c’est bien avant 2 ans !!! Par contre physiquement ses propriétés d’enregistrement tiendront aussi longtemps qu’un R

Voili ..voilà ..
Bertrand

 

Ok, merci Bertrand pour ces précision. Le problème c'est qu'on manque cruellement d'informations au sujet des médias RW. La dernière étude d'IBM parlait d'une durée de vie similaire au dvd-r, raison pour laquelle j'ai statué "équivalent du dvd-r" ce que ça n'est manifestement pas.
Pour Hugues d'après les fabricants, il semblerait que la durée de vie d'un CD vierge varie de 75 à 200 ans en fonction du substrat. Une fois gravé toutefois la durée de vie annoncée est de 5 à 10 ans. L'étude d'IBM, dernière en date parle de 2 à 5 ans, et j'ai lu plusieurs fois qu'une certaine émission TV parlait de 10 à 15 ans.

Toutefois comme je l'ai mentionné dans ma dernier assertion, ce n'est pas parce qu'un dvd est dégradé qu'il est illisible, en fait sur un DVD-R, c'est jusqu'à 604 Mo de données brutes (536 Mo net) qui peuvent disparaître sans laisser aucune trace, la vérification paritaire reconstituant les données perdues lors de la lecture.

Ceci étant dit, Il apparaît que les données perdues en raison de la dégradation du médias optiques soient vraiment parcimonieuses, et s'il suffit qu'un bit soit perdu pour que l'on estime qu'il ai atteint sa durée de vie, il se peut fort bien qu'il faille des dizaines d'années avant que l'actuel contenu soit inaccessible ou présente des erreurs à la récupération.
Les solutions de sauvegarde sur bande en l'occurence n'ont pas le pendant de cette protection (du moins pas en standard), ce qui fait que le premier bit perdu sera irréversiblement amputé du fichier qu'il codait...

 

Les sauvegardes informatique sur bande ou autres supports ont dans chaque bloc de données un bit de parité pour vérifier l'intégrité des données. D'autres méthodes plus complexes peuvent être ajoutées pour la reconstitution exactes des données, méthodes couramment utilisées sur Internet comme avec avec les fichiers "Par" capables de corriger de grosses erreurs.
En vidéo numérique ou non, la redondance d'une image à l'autre permet d'effectuer des corrections très valables, mais ce type de correction est coûteux par la main d'œuvre qu'il exige.
A titre d'exemple : http://www.chv-plugins.com/repair-manual.php

 

Il est à noter que les DLT, DAT & LTO existent en libairies de 10 à XXXX bandes dotés de un à plusieurs lecteurs. Ces systèmes assurent non seulement une bonne disponibilité de l'archive, mais peuvent également automatiser certaines taches tels que la duplication de bandes. Simple et efficace, mais un peu cher...

En imaginant appliquer le même systeme à des DVD-r double couche (peu-être existe-t-il), il serait possible de palier à leur manque de fiabilité en dupliquant les support régulièrement.

 

Mais il semble que la taxe ne s'appliquera pas sur les boitiers vides !!!
@+

 

Actualité --- vnunet.fr --- Copie privée : les disques durs sont désormais taxés
"Les disques durs exclusivement dédiés aux usages professionnels (mais comment le prouve-t-on?) sont épargnés."
A priori les professionnels ne sont pas concernés pour les disques durs

Je viens de télécharger le JO du 9 septembre dernier (N° 209), mais je n'ai pas vu ce passage :
http://www.journal-officiel.gouv.fr/frameset.html

 

JLH37,

Tu fais juste une erreur d'appréciation sur le fait que 2 disques identiques ne devraient pas tomber en panne en même temps. L'exemple que beaucoup ont encore en mémoire est la si fameuse série de disques IBM (75 GXP de mémoire) qui a deffrayé la chronique il y a quelques années ... Les disques tombaient en panne comme des mouches après une pulverisation de baygon ...

Si un disque ou n'importe quel équipement tombe en panne il peut s'agir de sa belle mort ou d'un problème industriel (voir de conception) qui touche un grand nombre d'aquipements de la même série (cf. les rappels de bateries à la pelle, les histoires de capteurs Sony ou Canon -je ne sais plus quelle marque-, les disques IBM ... )

J'avoue, je pousse le bouchon un peu loin, mais j'ai suffisament vu de disques HS pour savoir que lorsque ça coince, on est vite dans la mouise.

Cela dit, tu relèves la question importante de savoir si l'on parle de stockage, de sauvegarde ou d'archivage. Et tu soulèves aussi bien le fait que l'on peut être tenté d'utiliser des solutions de stockage pour faire de la sauvegarde voir de l'archivage lorsque l'on parle à l'échelle des besoins d'un amateur (dans le bon sens du terme) ou d'une petite société.

Daniel

 

Vu sur cette page de nombreux liens interessants sur le sujet et notamment un livre blanc du stockage vieux de 2003 mais qui semble ne pas avoir pris une ride si, comme moi, on est pas spécialiste de la question.

La conclusion de Thierry Bloch auteur du Livre blanc du stockage me parait particulièrement savoureuse :

 

Très interressant Hugues, ça nous fait un bon point sur les technologies existantes et leur gestion. C'est domage que la durée de vie des médias impliqués n'ai pas été abordé (en dehors des 30 ans pour les disques magnéto-optiques), mais cette omission est peut être volontaire, la fiabilité des médias étant justement imprédictible.
D'après Intellique la seule solution viable réside dans la parrallelisation des données, avec une distance minimale entre les deux copies de sécurité selon le degrés de sensibilité des informations : jusqu'à 500 km pour les données les plus critiques, afin de prévoir même un séisme. De plus la santé des sauvegardes doit être surveillée en permanence, et chaque faiblaisse remplacée dès qu'elle est découverte.

Pour nous malheursement le volume des données à stocker est très important (gargantuesque en HD, surtout si elle deviens non compressée) et cette parrallélisation implique un coût qui n'est pas facilement envisageable, surtout lorsqu'on parle de données qui justement n'ont pas une importance gouvernementale...

Bon il s'agit de faire une synthèse, personnalisée par type d'utilisateur.