Le tournage DATA et le problème de l'archivage [Cartes mémoire, HDD, P2, SXS, etc...]

Solution d'autant plus envisageable que les disques durs de qualité affichent des MTBF (mean time between failure) impressionnants. Les raptors de Western Digital affichent par exemple un temps de rotation de 1.2 millions d'heures, soit plus de 130 années... Et les prix relativement bas au Go permettent également d'envisager la parallélisation des
données sur deux disques afin de prévenir les éventuelles pertes de données.

 

j'aimerais être sûr que ...

les "mtbf" annoncés le soient bien pour des zappeurs sans peur et sans reproche: les diques durs claquent surtout du fait de manips trop rapides (mon humble avis), exemple idiot : faire lire un fichier hdv en ayant pris le risque d'en disséminer les images aux 4 coins du disque! Pour cette seule raison, un dvd pressé, ou donc (peut-être) un blu ray tiennent la route, puisqu'ils ne contiennent aucune mécanique. Les lecteurs passent, les galettes ne trépassent pas !

 

Juste une petite precision pour le tableau disque optique : le drive XDCAM ne coute que 2500 Euros pour le nouveau modèle double couche ( PDW U1 )

 

et enregistre en 1440x1080i

 

JLH37,

Ne t'y méprends pas, mon message n'était pas tourné pour "interdire" le fait d'utiliser des disques dans une optique de sauvegarde voir d'archivage. Je soulignais simplement un point qui me semblait quand même important. Si l'on désire utiliser des disques, rien n'empêche comme tu le suggères finalement de se fournir chez deux fabriquants pour concerver ses données en double sur des équipements qui n'obéiront pas aux même contraintes de fabrication. On reste toujours dans l'optique de détourner un outil de sa fonction principale, mais on conserve alors des garanties de sécurité plus élevées.

Pour ce qui est du fameux MTBF, je ne peux que constater que cet indicateur n'est pas suffisament précis pour être vraiment utile. J'ai trop vu de disque rendre l'ame avant l'heure au cours de ma carrière pour être soucieux de ce que je veux en faire (même si personnellement, je n'ai pas d'autre choix actuellement que d'utiliser des disques dans une optique de stockage à moyen / long terme).

Un dernier point au sujet de la volumétrie. A raison de 250 Go pour 15 heures de rushes, quel volume penses-tu générer dans l'année ? 1, 2, 3 To ? Plus ? Compte le nombre de disques qu'il te faut posséder pour conserver tout ce petit monde ...

Daniel

PS : Je ne veux pas avoir l'air d'intervenir en empêcheur de tourner en rond. Mon but est vraiment d'aider à trouver la frontière dans l'utilisation acceptable entre chaque solution.

 

Non il enregistre les données dans le format qu'on lui donne. Par exemple la nouvelle XDCAM HD PDW 700 delivre du 1920 X 1080 et c'est le meme drive

 

Merci Denis pour la précision sur le scope XDCAM. C'est corrigé. De plus, ciel, j'avais oublié le HD-DVD !

Bon, Jean Luc soulève un gros point là : l'aspect pratique ! Point que j'ai également plusieurs fois évoqué, notament à propos des solutions sur bandes.

Comme Danielha nous le montrait, on peut facilement sur une année accumuler plusieurs tera octets de rushes. Un tournage un peu chargé, et hop on est vite dans les 200 ou 500 gigas de rushes (particulièrement si l'on bosse en DVCPROHD ou un autre format gourmand).

Si l'on mets de côté un instant le problème du prix, la plupart des solutions mentionées dans cette conversation sont tout simplement abominables pour transférer ce volume de données. Par exemple les 250 Go de rushes de Jean Luc trouveront leur place sur pas moins de 59 DVD, et ce en assumant qu'ils soient impécablement segmentés en morceaux de 4.3 Go, bref un vrai calvaire.

Sur des disques blu-rays certes le stockage est plus large (encore qu'il en faille tout de même une sacrée poignée) mais à la vitesse de 2x il faudra quand même 1h40 par disque de 50 Go, soit 8 heures de gravage pour nos 250 Go, et un temps probablement très conséquent pour les restaurer. Bon, la vitesse va aller en augmentant, on peut compter dessus, mais en attendant...

Les disques durs eux ont des capacités par disque qui atteignent le To, de plus ces disques peuvent très facilement être groupés (en RAIDs ou même en JBOD) afin d'additionner leurs capacités en se permettant même le luxe d'augmenter leurs performances ou leur sécurité, voire même les deux dans le cas du RAID 5, du RAID 10 ou du 0+1.

Question prix, à l'heure actuelle les blu-rays double couches sont chers, et ramenés au Go ils sont plus cher que les disques durs, ce qui place ces derniers en favoris au ratio prix/usage pratique. En effet un disque 500 Go s'achète autour des 90 euros. le 750 Go à 160 euros et on trouve même des 1 To à moins de 300 euros.

Comme Jean Luc, je ne veut pas par ces lignes faire l'apologie du stockage sur disques durs, mais ils ont indéniablement l'avantage du pratique/rapide/versatile.
Achetés en disques externes (pour un modeste surcoût) ils peuvent même être accédés à chaud en branchant simplement un cable USB.

En revanche il faut absolument prendre en considération le risque de la perte de données : le fameux crash disk. Un disque dur qui cesse de fonctionner c'est pratiquement systématiquement la perte de tout ce qu'il contient, et malheureusement un disque dur c'est fragile, surtout lorsqu'il est bon marché. La mécanique impliquée est extrèmenent précise, et les accidents sont courants. Tout utilisateur un tant soi peu chevronné de matériel informatique y a été confronté au moins une fois, souvent plusieurs fois, et si le marché de la sauvegarde est si important c'est en grande partie à cause de la faiblesse de ces disques durs.

De manière générale, il est conseillé de ne pas dépasser 5 ans en ce qui concerne le stockage sur disques durs. Qu'ils soient en rotation ou non d'ailleurs, car même si la mécanique est capable d'endurer 100 ans de rotation, les sites magnétiques on tendance à se démagnétiser avec le temps. Tout ceci est un peu spéculatoire, mais la durée de vie doit probablement se situer dans les 30 ans, comme pour les bandes magnétiques, Toutefois, aucun professionnel de la sauvegarde ne conseille de dépasser les 5 ans, quitte à recopier les même données sur le même disque afin de remagnétiser les secteurs physiques.

 

Salut Odile
"l'apologie du stockage " On stocke soit pour traitement soit pour sauvegarde ..soit pour archivage .... les volumétries sont différentes ...surtout à long terme ...
Que doit archiver un Professionnel sur le très long terme ?( > à 5 ans ) l'ensemble de ses productions en format natif ..ou une certaine durée/période ( qu'il se doit de définir ) en format de diffusion ..les échelles de volumes changent radicalement ...
" J'ai couvert un mariage pour des amis il y a 9 ans ..3 K7 Dv soit 45 Go de rushs ..j'ai conservé 3 ans la montage finalisé et le savoir faire associé .. soit ~ 15 Go .. actuellement je ne garde que le format Iso du mariage soit 4Go ... pour mes archives personnels .. c'est "pour moi" ..en "souvenir" .
La sauvegarde ( court terme ..projets en cours ) se doit d'être le plus fiable possible ..en l'absence des K7 ...et du modeste coût des DD ... "pour moi" ... sur 2 DD externes capacitifs (sans être ultra rapide) différents me semble être un bon compromis ...
Le "stockage" temporaire des projets en cours/instance/attente de traitement ( qui sont simultanément sauvegardés) peut être réalisé sur des DD externe ultra rapide ( esata ou FW800)
Les projets en traitement sont stockés sur les DD internes ... ( leurs données/clips sauvegardées ) ainsi que les "fichiers d'ordres" ( les logiciels de montage devraient pouvoir offrir la tenu en double écriture simultanée de ces fichiers sur des DD différents )
Cette hiérarchie est la mienne ...
Par contre pour l'amateur ..dont je suis .. lui souhaite garder ses "souvenirs" au meilleur format le plus longtemps possible ..mais sa volumétrie est beaucoup plus modeste ..si de plus il prend l'habitude de n' archiver que les montages "conformés" au format de type m2t .. de plus il a le temps ... déjà 10 à 15 heures de vrai montages finalisés par ans c'est pas mal ... la solution type "Vidéo98" demeure réaliste.

¨Pour les plus lourdes on peut s'orienter vers ce type de solution?...

" ..Lecteur AIT-2 Turbo 80/200Go USB 2.0 & Firewire noir Sony " ~ 1200 € TTC
80Go natif/200Go compressé, débit ~40 Go/heure. par contre les cartouches sont pas données ..~25 € .. les logiciels de back up sont fournis ( Dont le fameux Backup Exec )

Lire la gamme : http://www.infodip.com/sauvegarde/lecteurs/pdf/AIT-2_Turbo.pdf

Bertrand

 

IOMEGA REV 70 Go : lecteur dispo en SCSI, USB2, Firewire, sATA, ATAPi ... prix max : 449 €
prix des 5 cartouches 70 Go : 200 € soit 40 € l'unité
débit 25 Mo/s soit 90 Go /h
- format propriétaire IOMEGA / Grass Valley
+ peut lire les REV 35

LTO3 dispo en SCSI, prix à partir de 1900 €
Cartouches LTO3 : 400 Go / 800 Go compressé = 44 €
Cartiouches LTO2 : 200 Go / 400 Go compressé = 30 € (compatible LTO3)
débit LTO3 = 80 Mo/s
LTO - Wikipédia
+ Multiple constructeur
+ Rétro compatibilité
+ Pérénité du matériel

d'autres périphériques de stockage qui ne sont pas présent dans le super tableau de baralice : Lecteur Bandes magnétiques - Stockage/Sauvegarde - Windows & Software - FORUM HardWare.fr

 

Salut Bertrand,

Merci pour ton témoignage sur tes usages, c'est exactement ce dont j'ai besoin pour faire une synthèse, car évidement comme tu l'as compris, le but n'est pas de déterminer LA solution ultime, mais plutôt d'établir un rubriquage des solutions adaptées en fonction des utilisateurs. En l'occurence le jeune bringuard qui fait des videos en mpeg4 sur cartes SD avec son petit combi photo/camescope aura à mon avis tout à fait interrêt à exporter ses métrages sur une solution très accessible telle que le DVD Vidéo. Très familiale, cette solution lui permettra de voir et revoir sa vidéo du ski dans son salon en sirotant gaiment ce brevage à base de houblon qu'il affectionne tant. S'il est préoccupé par la sécurité de son film, deux exemplaires devraient faire l'affaire, mais de toute façon il va bien falloir qu'il libère sa petite carte SD, et je ne le vois pas tout de suite faire de la sauvegarde sur bande.

A l'inverse les équipes de tournages qui choississent les solutions DATA 4k non compressés fabriquent environ 1 à 1.5 To de données par jour de tournage. Ces données sont enregistrées sur des disques durs grâce à un magnétoscope 4k (Le superbe Codex Digital), mais les packs de disques disponibles ne peuvent guerre stocker plus. Ainsi, toutes les nuits le Codex dumpe ses données sur deux LTO en miroir (à la vitesse fantastique de... 0.5 X) qui serviront alors de master de tournage, et seront également conservés pour les archives. Une fois vérifié bit par bit l'intégrité des données sur les bandes LTO, les disques sont effacés et sont à nouveau disponibles pour la journée du lendemain.

Entre ces deux types d'utilisateurs, il y a différent types de professionnels (boîtes de prod, reporters, documentalistes, etc...) et il y a les amateurs éclairés (dans le bon sens du terme). Bref c'est nous quoi. Il va peut être falloir faire du détail au sein de ces catégories mais c'est exactement là qu'il faut déterminer les solutions les plus optimisées, entre confort d'utilisation, coût et fiabilité.

Nous travaillons tous nos images avec deux buts :
- la date de rendu : deadline, cloture de projet, date de diffusion ou tout simplement soirée de projection entre amis.
- le futur incertain : on ne sais pas forcément si, ni quand, on va avoir à nouveau besoin de nos métrages, mais on est à peu près tous d'accord sur le fait qu'ils faut qu'ils soient de qualité (sans compression excessive) et qu'ils soient intégralement récupérables.

Autant sur le travail pour la date de rendu (le montage quoi) il me semble qu'on travaille tous sur disque dur (protégé par une RAID si nécessaire), autant pour le futur incertain la question n'est visiblement pas tranchée.

Petit rappel, cette conversation s'adresse principalement aux tournages DATA. Pour ceux qui travaillent avec un format à support dédié (ProDisc, HDV, RevPro, HDCAM etc...) je pense que le bon sens veut qu'ils collent à leur support. Ils sont dimensionnés à la qualité de leurs formats et sont attachés à un workflow. En revanche lorsqu'on filme sur carte mémoire il n'y a tout simplement pas cette facilité. Une des solutions d'ailleurs consiste à utiliser une de ces précédentes possibilités dédiées afin d'archiver nos données DATA.

PS: moi c'est Alice, pas Odile (que ja salue toutefois bien bas, car j'aime beaucoup ses interventions sur ce forum)

 

Salut Stef, je ne savais pas qu'il y avait du Rev 70, je vais corriger ça de ce pas sur le tableau. Concernant les solutions sur bande il y en a encore d'autres mais bon, je me suis concentrée sur les solutions les plus courantes et les plus larges. De l'une à l'autre on retrouve peu ou pro les mêmes avantages et inconvénients, les énumérer tous n'apporterait que trop peu de choses dans cette conversation.

Bertrand : AIT 80/200 Go ??? alors comme ça Sony commence à supputer encore plus sur les capacités de compression afin d'augmenter la quantité annoncée de données stockées... non mais !!!
Je n'ai jamais parlé d'autre chose que de données brutes, et en matière de vidéo compressée de toute façon les compressions d'archivages n'apportent guerre plus de 5%, donc ces beaux chiffres ne riment à rien.

 

Sony a sorti également le PetaSite
Sony : PetaSite S60 (PetaSite S60) : Vue d’ensemble du produit : France

Évolution facile vers une capacité de 54 To (modèle S100) ou 108 To (modèle S200) par la mise à niveau du logiciel
La meilleure fiabilité du marché avec la robotique de librairie et de lecteurs S-AIT
qui date un peu

... et plus récement, en professionnal disc (genre XDCAM)
Sony : PDJ-C1080 (PDJC1080) : Vue d’ensemble du produit : France

 

Bonjour Alice,

Puis-je te suggérer d'ajouter deux colonnes à ta liste:

1. Prix par Go (net)
2. Prix par heure (DV/HDV)

 

Au début c'est aussi ce que je voulait faire, mais dans le cas des données DATA, le prix par heure ne veut rien dire puisqu'il dépends directement de l'encodage choisi, je ne veut pas calculer le prix par heure DV/HDV (et donc à 25 Mbps) car cette donnée de veut rien dire dans le cadre du tournage en 18, 35, 50 ou 100 Mbps (sans parler des solutions exotiques, des codecs intermédiaires etc...), et dans le cas des tournages sur bandes dédiées (HDCAM, DVCPROHD) le prix au Go n'est pas non plus relevant puisque on ne peut pas exploiter le stockage pour les données data.

PS : Penses-tu pouvoir enlever le tableau de ta citation ? il augmente inutilement la longueur de la page, et vu que je le mets à jour régulièrement il risque d'indexer de fausses informations sur lequelles je n'ai aucun controle...