[Débutant] Organisation des données sur le(s) disque(s)

Bonjour,

Pour remettre de l'ordre dans mes disques, je voudrai définir une organisation de mes données cohérente et si possible performante avec Premiere Pro, Encore et After Effects.

1) Mes unités de stockage:

• SSD de 119 Go (58 libres)
  A tort ou à raison, j’ai décidé d’y mettre tous les programmes et si possible aucune donnée (pour éviter l'«usure» de ce SSD par des écritures trop nombreuses. ???)
• HDD de 1,5 To comportant 2 partitions.
  - 292 Go (90% libres) destinés à tout ce qui n'est pas vidéo
  - 1070 Go destinés à la vidéo
  
• HDD de 40 Go
  Récupéré d'un autre PC, il était supposé très rapide (10 000 t/mn).
  Ses performances par rapport au précédent ne sont peut-être pas aussi brillantes que ça.

2) Organisation envisagée sur un seul disque (la grande partition du gros disque)

• 
  Un répertoire « Commun » avec toutes les ressources (audio, vidéo, images, menus) communes à l’ensemble des dossiers

• 
  Un répertoire pour chaque dossier (1 dossier = 1 ou plusieurs projets au sens Adobe du terme) avec
  o les ressources audio, vidéo, images et menus qui lui sont propres
  o le(s) projet(s) Premiere, After Effects, Encore correspondant(s)
  o les répertoires et les fichiers générés par Adobe pour chaque projet

Mes questions:

• Cette organisation tient-elle la route, ou une autre est-elle préférable?
• Le gain de performance si on répartit les fichiers sur plusieurs disques physiques concerne-t-il la qualité (ce qui peut être important) ou uniquement le temps (ce qui ne présente pas un intérêt énorme pour l'amateur que je suis)?
• Si ce gain est significatif, quels sous-ensembles des dossiers peut-on stocker sur un disque physique différent (en l’occurrence le 40 Go) pour y arriver ?
• Ne pas mettre de données très changeantes sur un HDD relève-t-il d'une bonne pratique ou d'une pure parano?

Merci d'avance à qui aura l'amabilité de m'éclairer.

 

Bonjour,
ce n'est pas tous les jours que l'on voit des questions comme celles-ci aussi bien préparées après une vraie analyse préliminaire et de la réflexion !!!

Pour vérifier les performances de tes disques et partitions, il existe un utilitaire freeware qui te permet de bien visualiser les débits et temps d'accès en lecture (en écriture pour la version payante, mais les perfs sont à peu près similaires) :
HDTune 2.55 (dans sa version portable, sans installation) :
Download Portable HD Tune 2.55 Free - It is a hard disk utility that can test the performance of the drives - Softpedia

• 
  
  Globalement oui !!!,
  
  mais quelques infos manquent et des améliorations sont possibles
  -> ssd -> + 1 oui l'organisation du SSD tient la route (éviter les partitions sur un SSD) OS + programmes -> OK
  
  -> HDD 1.5 To -> une première partition pour les sources vidéos, images, sons... + projet PPro, une ou deux autres pour les autres fichiers et sauvegardes/sauvegardes croiséesentre HDD 40Go et HDD1.5 To
  
  -> HDD 40 Go -> Temporaires (prévisualisation, cache média ...) et rendus finaux + mémoire virtuelle / fichier d'échange du disque SSD
  Cf. post http://www.repaire.net/forums/pc-and-video/245470-config-2.html/post1970094069)
  -> des informations complémentaires (partie "Optimisation") ont déjà été données et répondent globalement à ta question, mais l'organisation peut varier en fonction de la complexité du projet, des médias utilisés, du nombre de flux (audio vidéo, images...) simultanés des perfs de la config... (Cf; Forum PC et Vidéo)
  http://www.repaire.net/forums/pc-and-video/245470-config-2.html/post1970094069
  
  
  Pour l'optimisation du SSD et les précautions à prendre :
  http://www.repaire.net/forums/pc-and-video/245470-config-2.html/post1970084992
  
  des éléments de réponse sur un des posts récents notamment concernant les Infos manquantes -> Quels type de montage (format, complexité...), optimisation des partitions :
  http://www.repaire.net/forums/pc-and-video/245470-config-2.html/post1970094069
  Dans le cas de ton disques dur de 1.5 To, la taille des partitions et le choix de l'une d'entre elle pour y stocker tes sources a de l'importance.
  Pour les disques durs les débits en écriture/lecture et temps d'accès vont dépendre de l'endroit où sont enregistrés les fichiers.
  Plus les fichiers sont enregistrés sur la partie extérieure de(s) plateau(x) plus les débits et temps d'accès seront rapides, plus les données sont enregistrées vers le centre, près de l'axe de rotation, moins les débits et temps d'accès seront rapides.
  Donc pour le stockage des sources, il vaut mieux les enregistrer au tout début de la première partition, sur la deuxième partition (la moins rapide) on y stocke les fichiers ne nécessitant pas des débits en lecture élevés.
  
  
  
  Tu peux t'organiser de cette façon, si tu veux revenir ultérieurement effectuer des modifications ou autres ou si tu travailles sur plusieurs projet en parallèle. Le problème c'est qu'à chaque projet supplémentaire les performances en débit et temps d'accès vont diminuer d'autant.
  
  En revanche si tu travailles sur un seul projet à la fois et que tu l'archives une fois terminé, ce que tu peux faire dans ce cas c'est créer une première partition d'une taille suffisante pour y stocker les médias et le dossier projet en cours et que tu archives, une fois le projet finalisé, sur une partition dédiée au projets finalisés et "consolidés", avec une copie de sauvegarde sur le deuxième HDD de 40 Go, mais la taille du disque risque d'être rapidement insuffisante dans le cas où tu réalises de nombreux projets avec des sources volumineuses.
  
  
  
  Non, la qualité d'image à paramètres d'export identiques sera la même, seule la durée sera différente.
  
  
  
  Là il faudra détailler un peu plus car tout dépend du type de montage et de ta configuration matérielle (particulièrement l'accélération graphique GPU Cuda activée ou non / Ref GPU non précisée dans ton profil)
  
  
  
  
  Pour le SSD, oui il faut éviter à cause du nombre limité d'opérations décriture/effacement des cellules, pour les HDD pas de problème, en revanche il faut pousser la réflexion sur la sauvegarde de tes données présentes sur tes 2 disques durs.
  
  

 

Le sujet a été traité de nombreuses fois sur les forums du Repaire.
Voir entre autres :
http://www.repaire.net/forums/pc-and-video/244619-ca-cetait.html

et
http://www.repaire.net/forums/adobe-premiere-pro/246991-temps-de-rendu-adobe-premiere.html

Un seul disque utilisé pour faire du montage vidéo est insuffisant, il faut éclater au maximum les différents types de dossiers et en particulier ce qui est lecture (sources, caches) et en écriture (prévisualisations, exports).
Premiere utilise intensivement les disques.

Sur les disques partitionnés, c'est la première partition la plus rapide. Ne jamais éclater les fichiers nécéssaires au montage sur 2 partitions d'un même disque.

S'il vous reste suffisamment de place sur le SSD, vous pouvez mettre (le temps du montage) une copie des fichiers sources, qui ne seront donc accédés qu'en lecture.

Edit : je n'avais pas vu la réponse de GastonHD avant de poster.

Olivier

 

Pas de soucis

Je préfère mettre la prévisualisation dans la case "lecture", avec sources et cache média (audio) car la prévisualisation lorsqu'elle est enregistrée sur le disque est lue à la lecture de la timeline parfois, à la place des sources et surtout pendant l'export si la prévisualisation est réalisée pour la totalité du montage.

+1, on peut aussi y coller le "cache media" et la" prévisualisation" (si la place est suffisante) pour la raison évoquée plus haut (accès des caches et prévisualisation en lecture pendant l'export) et dédier le disque de 40 Go uniquement à l'écriture du fichier "export". Mais là il faut "benchmarker" pour vérifier si en fonction du projet et de la config, le gain est substantiel ou pas.

 

Avant de rebondir sur certains points de la longue et précieuse réponse de GastonHD, je voudrai -même si c'est un peu hors sujet- réagir à la remontrance d'Olivier

Remontrance tout à fait méritée, j'en conviens.
Mais sans vouloir me faire l'avocat de ceux qui (comme moi) n'ont pas l'air de fouiller assez dans les messages des forums, et en reconnaissant bien volontiers qu'il doit être fastidieux pour des Repairenautes compétents de rabâcher trop souvent la même chose, je voudrai juste dire que le contenu des forums du Repaire est très riche.
Trop peut-être pour des amateurs certes passionnés, mais éternels débutants. Surtout s'ils ont les cheveux bien blancs.
Alors, même s'ils sont accompagnés d'un froncement de sourcil, les liens vers des réponses déjà données sont déjà une aide précieuse. Pas si facile que ça à extraire de l'ensemble des messages.
Bref, désolé Olivier, et merci

Pour le fond, laissez moi l'un et l'autre un peu de temps pour digérer vos propos et faire quelques essais. Je reviendrai à coup sûr vers vous pour des précisions complémentaires.

 

Aujourd'hui, je souhaiterai avoir des précisions sur HD Tune d'une part et sur la procédure pour localiser les différents types de fichiers (sources, prévisualisation, caches, ...) d'autre part.

HD Tune 2.55
Les résultats obtenus sont:
[TABLE] | SSD=128Go| HDD1=150Go | HDD2=1,5To
Tr mini | 74 | 49 | 57
Tr maxi | 272 | 83 | 128
Tr moy| 203 | 71 | 100
Temps accès | 0,1 | 8.5 | 14,3
[/TABLE]

• Ces résultats sont-ils cohérents et acceptables pour mon usage vidéo (Système et programmes=SSD, projets, sources et prévisualisations=HDD2, caches et export=HDD1)?
• "CPU usage" est toujours à -1%. Est-ce normal?
• Impossible de mesurer séparément les performances de chaque partition. Est-ce normal?

NB: Le HDD1 (10 000 t/m récupéré d'un ancien micro) fait 150 Go et non 40 comme j'avais dit précédemment par erreur.

Comment localiser les fichiers de visualisation et les caches
Je souhaite répartir ces fichiers entre mes disques conformément aux recommandations qui m'ont été faites, mais je n'ai pas bien compris où paramétrer ce placement.
J'ai repéré 3 cheminements pour faire des paramétrages relatifs aux emplacements, et c'est particulièrement confus pour moi:

• Edition/Préférences/Enregistrement automatique
  Là il n'y a aucune adresse à définir mais ce sont bien des fichiers projet?.
• Edition/Préférences/Média
  Fichiers média en mémoire cache:
  - Case à cocher ou pas?
  - Est-ce bien ce qu'il ne faut pas mélanger avec les sources?
  Base de données des caches de média:
  - Est-ce aussi ce qu'il ne faut pas mélanger avec les sources?
• Projet/Réglages du projet/Disques de travail
  Vidéo capturée et audio capturé:
  - Ce sont des sources (quand un caméscope est branché sur le micro)?
  Prévisualisations vidéo et audio:ça a l'air clair, mais n'y a-t-il pas un rapport avec les répertoires xx.PRV évoqués ci-dessous?

Par ailleurs, Premiere génère des répertoires "Adobe Premiere Pro Preview Files" avec des sous-répertoires xxx.PRV et d'autres "Adobe Premiere Pro Auto Save" avec des fichiers projet. Faut-il leur donner une destination particulière (et comment?) ou le programme s'en débrouille bien tout seul?

Enfin pour les sources audio, vidéo et images, en principe pas de problème puisqu'on les met où l'on veut et qu'on dit ensuite à Première où aller les chercher.

 

Ces résultats sont-ils cohérents et acceptables pour mon usage vidéo ?

chedev Parfaitement ...sans soucis

Je n'utilise plus "Adobe Premiere Pro " donc je ne sais pas te répondre

aux "autres " ..

Bertrand

 

Pas si facile que ça à extraire de l'ensemble des messages.

Oui ..mais chedev suffit d'utiliser le "Google Repaire" ici en haut à droite ..





"Organisation DD" on obtient 338 réponses encore plus circonstanciées et précises

Bertrand &

 

Comme l'a précisé Bertrand , ces résultats sont cohérents.
Ton disque dur de 150 Go doit être un WD Raptor (Western Digital) WD 1500ADFD ou quelque chose dur genre, un des disque les plus rapides ... à l'époque. Maintenant les disques de grande capacité sont plus performants en débit, mais pas en temps d'accès.

Tu peux estimer les performances de tes futures partitions à partir de la courbe obtenue avec HDTune :

- Pour le RAPTOR par exemple pour te représenter les débits obtenu avec 2 partitions -> (partition 1 : 100 Go - partition 2 : 50 Go)
1- la première partition (partition 1) offrira des débits Maxi de 83 Mo/s et le débit mini correspondra à la valkeur indiquée sur la courbe à 66% de la courbe cad env. 70 Mo/s
2- pour la deuxième partition de 50 Go (partition 2) les débits seront de : Maxi de 70 Mo/s et mini de 49 Mo/s

- Pour le HDD de 1.5 To (partition 1 : 100 Go - partition 2 : 50 Go)
1- La 1ère partition de 100 Go (partition 1) offrira des débits Maxi de 128 Mo/s et mini, la valeur que tu vas lire sur la courbe à 6.6 % du début de la courbe, c'est à dire une valeur proche des 120 Mo/s.

- 2 pour la partition 2 de 50 Go les débits seront de :
Valeur Maxi : valeur correspondant sur la courbe à 6.6 % du début de la courbe, c'est-à-dire une valeur Maxi proche des 120 Mo/s
Valeur Mini (correspond à 10 % de la capacité du disque de 1,50 To) correspondante que tu vas lire sur la courbe à 10 % du début de la courbe -> valeur Mini proche des 110/120 Mo/s

Remarque :
L'intérêt d'utiliser des disques durs de grande capacité (non valable pour les SSD) est que les débits en lecture et en écriture et temps d'accès seront toujours plus élevés et homogène qu'avec un disque de faible capacité.

Partition 1 (100 Go) HDD 150 Go -> Débit maxi : 83 Mo/s débit Mini : 70 Mo/s
Partition 1 (100 Go) HDD 1,50 To -> Débit maxi : 128 Mo/s débit Mini : env. 120 Mo/s

Partition 2 (50 Go) HDD 150 Go -> Débit maxi : 70 Mo/s débit Mini : 49 Mo/s
Partition 2 (50 Go) HDD 1,50 To -> Débit maxi : 120 Mo/s débit Mini : env. 110/120 Mo/s

D'où l'intérêt de créer une partition en début de disque pour y stocker les sources de ton projet en cours avec les meilleures performances possibles (débits/temps d'accès), une fois terminé tu archives tes sources sur une autre partition et tu réinstalles les sources de ton nouveau projet sur cette première partition. Quel que soit le projet sur lequel tu travailles les performances seront du même niveau.
Pour chacun des disques dur de ta config (attention pas de partition pour le SSD), tu peux créer des partitions dans le même esprit pour les dossiers cache média/prévisualisation, dossier projet... en fonction de l'organisation que tu auras défini en amont.

Je complète la réponse tout a l'heure.

 

"Je complète la réponse tout a l'heure"

J'avais sous la main un texte que j'avais déja rédigé il y a quelques temps, à compléter éventuellement.

Sauf erreur vous n'avez pas précisé dans quelle version de Premiere vous travaillez. Le paramétrage a légèment varié aux cours des différentes versions.

Voici l'état pour la CS5.5 que j'utilise

Fichiers projets (.prprj) définis à partir
du menu Fichier => nouveau projet
dans le pannneau qui s'affiche , onglet général => Emplacement (image1).

Dans le dossier du projet, se crée automatiquement un sous dossier "Adobe Premiere Pro Auto-Save", qui contient les différentes versions du projet enregistrées à intervale régulier.
Nota : il est important de faire également une sauvegarde (copie) du projet sur un autre disque après des modifications importantes dans le montage.

Disques de travail à partir :
du menu Fichier => nouveau projet
ou du menu Projet => Réglages du projet
Onglet disques de travail du panneau qui s'ouvre : (image2)

Vidéo et Audio capturés : répertoire de destination pour la capture de video DV ou HDV.
Je m'en sert aussi pour mettre toutes mes vidéos sources (un sous répertoire par projet)

Prévisualisations Audio et Vidéos : répertoire pour les rendus de la time-line
Adobe crée dans ce répertoire un dossier "Adobe Premiere Pro Preview Files"
et un sous dossier par projet.

Ce sont des fichiers temporaires, qui peuvent être supprimés une fois le montage terminé.

Fichiers caches : (image3)
Adobe utilise deux répertoires, l'un pour les index de la base de données (Media cache)
l'autre essentiellement pour la conversion en 32 bits des fichiers Audio (Media cache files)

Ils sont mis à jour chaque fois que l'on rajoute un média dans un projet, ensuite ils ne sont accédés qu'en lecture.

Fichiers résultats d'export
Définis dans le panneau d'export, en cliquant sur "nom de la sortie" (image4)

La documentation en ligne, bien sûr, détaille tout cela:
Aide de PremierePro | Aide et didacticiels

Olivier

 

Bingo, Gaston, c'est effectivement un WD 1500ADFD
Mais au delà de ce coup dans le mille, je suis impressionné par le contenu de la réponse . C'est tout à fait ce que je recherche: une réponse pour traiter mon problème bien sûr, mais aussi (j'allais dire surtout) un éclairage sur le sujet permettant de comprendre (ou au moins d'essayer ).
Une petite précision tout de même:

Archiver les sources, c'est en faire une copie ailleurs sans rien changer au reste du projet et réinstaller, c'est faire la copie inverse?
Dans ce cas les sources des composantes After Effects et Encore correspondant au projet doivent subir le même sort? (ce qui est simple pour moi puisque les sources -toutes applications Adobe confondues- seront stockées par projet).
Il est donc impératif de n'ouvrir un projet qu'après avoir fait la bonne permutation des sources?

Même commentaire élogieux en ce qui concerne les propos d'Olivier.
La seule différence concerne les précisions:

• La version de Première sur laquelle je tâtonne est CS5.5
• La "sauvegarde (copie) du projet" recommandée doit se faire par "Fichier/enregistrer sous ..." ou par "Fichier enregistrer une copie ..." ?
  Je n'ai pas bien compris la différence, ni comment on repart d'une copie.

 

"La version de Première sur laquelle je tâtonne est CS5.5 "

donc c'est bien la même que celle dont j'ai donné les images

"La "sauvegarde (copie) du projet" recommandée doit se faire par "Fichier/enregistrer sous ..." ou par "Fichier enregistrer une copie ..."


"Enregistre sous", comme tous les autres logiciels permet éventuellement de changer le nom et la destination du fichier, qui deviennent permanents (remplacement).

Ce n'est pas ce que l'on veut.

"enregistrer une copie" crée par défaut un fichier de même nom que le projet suffixé par Copie, dans le même répertoire que le projet;

Il faut donc changer ce répertoire pour metttre un autre disque (pas sécurité en cas de problème sur le disque original)

On peut repartir dessus simplement par "ouvrir un projet" et aller le chercher dans ce nouveau répertoire.

Olivier

 

Merci Olivier.

Pour les fichiers "cache", j'ai donc mis (en créant un nouveau projet) les emplacements cache sur mon HDD D: à la place du SSD C:
Les répertoires Media Cache et Media Cache Files y ont bien été créés.

Mais en ouvrant un ancien projet, je constate que ses répertoires cache ont suivi le même mouvement: ce sont ceux que je viens de créer.

• Si je ré-ouvre tous mes anciens projets auront-ils tous leurs caches dans ces deux nouveaux répertoires?
• Si oui, que deviennent les anciens de C: ?
  Ils font la bagatelle de 4 000 fichiers (dont la moitié à 1 Ko) pour un total de 15 Go. Pas tout à fait négligeable!
• De façon plus générale, comment se fait le ménage dans les caches? A la mimine?

Par ailleurs, si j'ai bien compris la problématique de l'"usure" des SSD, des milliers de fichiers de 1 Ko, ce n'est pas terrible pour eux. Donc les mettre ailleurs, si la moindre performance n'est pas trop sensible, c'est plus raisonnable.

 

Les fichiers caches ne sont pas organisés en sous-dossiers par projet, dommage.

Donc seule la date de création peut renseigner sur l'appartenance à tel ou tel projet (si on ne les a pas traités en parallèle).

De toutes façon on peut les supprimer sans risques, il seront automatiquement recrées à la prochaine ouverture du projet (ce qui ralentira un peu l'ouverture)

Donc vous pouvez supprimer ces répertoires de votre SSD.

Olivier

 

Bonjour,

Pas besoin de compléter mon dernier post, puisque Ogt a déjà répondu .

Mes explications aussi ne sont peut être pas des plus claires

L'archivage en fonction du type de projet et du contexte (professionnel, particulier, valeur financière, légale, affective des sources et du montage) dans le cas général, c'est une fois un projet terminé, l'opération de stockage des sources et du projet sur un autre support (bandes, supports optiques, cloud...) pour conserver ces éléments sur le long terme, sans effectuer de modification.
La sauvegarde chacun va suivant son contexte, sauvegarder tout ou partie de ces éléments sur un autre support (disque dur, Nas...) pour une éventuelle réutilisation pour modification ou montage dans un autre format par exemple, ...

Pour les particulier la sauvegarde ou l'archivage si l'on n'a pas les moyens d'inverstir dans des système "couteux" (NAS, sauvegardes sur bande, cloud ... peut se contenter d'utiliser ses propres disques durs pour sauvegarder ou archiver ses sources et projets, en copiant les éléments sur une partition d'un ou plusieurs disques durs (disques seuls, ou en Raid 1/5...). ce qu'il est aussi possible de faire ce sont des sauvegardes croisées, cad copier les données sensibles d'un disque A sur une partition d'un disque B et réaliser la même opération des données sensibles du disque B vers le disque A en utilisant l'espace disponible inutilisé (au delà des premiers 70% de chaque disque dur, là ou les performances sont les moins bonnes pour le montage vidéo, mais suffisant pour la sauvegarde ou l'archivage).

A chaque type de projet (type des sources, type de montage hdv, multicam, non compressé, volumétrie...) va correspondre un ou plusieurs compromis/solutions.

Il existe des options dans PPro, comme la conformation du projet (sauvegarde du projet et uniquement les sources utilisées dans le montage).
Adobe Premiere Pro * Archivage des projets

Déplacement ou nettoyage de la base de données des caches de média cf. chapitre éponyme ici :
Adobe Premiere Pro * Configuration du système

Suppression des fichiers de prévisualisation cf. chapitre éponyme :
Adobe Premiere Pro * Rendu et prévisualisation de séquences
Adobe Premiere Pro * Rendu et prévisualisation de séquences


Dans ton cas, il faut certainement faire du ménage dans les dossiers cache média et prévisualisations car tu dois traîner depuis les montages précédents des fichiers à vocation "temporaire" et concernant les projets déjà finalisés, comme proposé dans mon précédent post.

Le SSD serait idéal pour gérer les fichiers de 1 Ko par rapport à un disque dur classique, mais effectivement cela peut augmenter l'usure des cellules de ton SSD si tu gères de nombreux fichiers de cette taille régulièrement.
En revanche si tu cumules depuis des années ces fichiers c'est autre chose. Tu peux nettoyer les fichiers xml et de bases de données de tes anciens projets si tu ne travailles plus dessus et au final s'il n'en reste qu'une quantité modeste tu peux en fonction de la configuration disque, les laisser ces dossiers (cache media et prévisualisation) sur le SSD.
Autrement il faudra utiliser CrystalDiskMark pour évaluer les débits de tes HDD en 4K et ainsi connaitre le HDD le plus véloce.
Cependant un HDD 10 000 tr/mn à faible temps d'accès comme le WD Raptor est probablement préférable pour gérer de nombreux petits fichiers de 1 Ko, sinon les installer sur le disque dur ou la partition où sont stockées tes sources.