Ferme serveur, Thread réparti, Informatique en prog parallèle , NAS

Bonjour,

Je n'ai pas vu de pareil témoignage, alors je prospecte.

Plutôt que d'investir dans une ou deux grosses stations avec 2-3 méga disque dur, je me demande si il ne serait pas judicieux d'essayer d'utiliser plusieurs stations en parallèle.
J'ai cherché un peu mais je ne sais pas si les logiciels actuels de vidéo permettent de le faire. Les logiciels de 3D en tout cas le permettent pour la plupart.

Je souhaiterais donc savoir si les logiciels de vidéo permettent de le faire, en activant une option obscure, ou en rajoutant un plug in permettant de répartir les threads sur plusieurs machines.

Si c'est le cas, et que certains l'ont déjà fait, des retours de la viabilité de la chose sont bienvenus.

Je me dis également que pour partager ceci dans une équipe, et pour permettre à plusieurs PC de marcher entre eux, il serait judicieux d'externaliser le stockage sur un ou plusieurs serveurs NAS, permettant d'avoir des capacités de stockage assez grosses pour de la HD.
Ainsi, est-ce que certains ont déjà tenté d'utiliser des serveurs de stockage reliés en gigabit , voir en 10GB par fibre ( mais la ca devient inacessible) avec un trafic réseau sain ( pas d'internet, de ftp, de P2P, qui tourne derrière en mm tps et monopolise le trafic réseau), avec succès ???

Voili voilou, en esperant avoir plus de 0 réponses,

bonne soirée !

 

Yannocitch,

Il y a Cinelerra, sous Linux, qui sait faire du rendu sur des fermes de serveurs. Sous Windows, j'avoue ne pas connaitre de produit qui sache faire ce genre de chose (mais la vidéo n'étant pas mon métier, il ne faut pas prendre cette réponse comme une impossibilité technique ).

Il ne me semble pas qu'il y ait des raisons qui empêchent de déporter tes données sur des serveurs NAS (ou SAN d'ailleurs). C'est juste une question de moyens si tu dois traiter des vidéos peu ou pas compressées (donc très volumineuses et demandant des débits importants).

Daniel

 

J'utilise Vegas pour ma part sous windows et le rendu en réseau est possible (plus la config actuellement pour tester malheureusement)
aucune idée des perfs à en attendre en tout cas.

Mais bon avec les super processeur actuels, à part monté des vidéos en très haute définition, je ne pense pas que ça soit un problème la puissance de la station.

Pour le NAS (enfin plutot SAN), oui j'ai déjà vu des pros en utiliser, ça marche bien apparament

 

Attention cela n'est absolument pas pareil, le NAS n'est pas securisé en terme de transfert de donnée, il ne verifie pas non plus l'ecriture sur les disques, il n'est qu'un adaptateur ethernet ==> sata ou ide ou scsi.

Il va de soi que lorsque l'on parle cluster, on parle calcul et securité, on ne peut donc pas imaginer monté un cluster sans SAN.

Pour la question premiere qui de lancer des calculs sur plusieur machine, il y a plusieur config possible, la premiere qui est de dire j'ai plusieur pc et je souhaite repartir le calcul sur plusieur pc (genre lightwave 3D ou on donne une tache precise à chaque machine), ou d'avoir un cluster windows (ou autre bien sur ) et de faire marcher le cluster avec un logiciel clusterware. Cela dit je ne connais malheureusement que les cluster Linux ...
Pour les logiciels videos capables de gerer les taches sur plusieur machines reseau, je n'en connais pas.
Bonne chance dans la recherche

 

Ce n'est pas totalement juste ce que tu dis, il est vrai que dans un système san en fibre channel il y a de la redondance à tous les étages, mais deux nas chacun doublé en ethernet, avec du raid 50 dans chacun, c pas trop mal ...
Le SAN m'intéresse surtout à cause de ses débits très élevés à priori garantis et qui s'agrège ...

Sinon pour le rendu, j'ai l'impression, si j'ai bien compris, que ovus me proposez d'assembler les machines sous linux et d'en faire un cluster considéré comme une seule machine de l'extérieur.
Or, pour faire tourner ca, il faut des applications qui ont prévu de lancer les threads en parallele.
Je cherche plutot des logiciels comme Maya dans la 3D qui proposent de lancer sur ferme serveur, mais dans le domaine de la vidéo.

Merci pour Cinelerra je vais aller regarder ... Mais bon c'est pas Avid ou FCP :S...
Ptet que FCP propose avec le multithread de répartir sur ferme serveur la charge ... je vais explorer ca ..
Cependant, je souhaiterais pouvoir qd mm limiter les frais, je compte justement pouvoir ne pas trop dépenser en prenant plusieurs ordi "normaux" et pas sommer des betes de courses à 10000 roros ...

 

Pas tout à fait, sur l'ethernet il n'y pas de securité, c'est à dire que la carte ne verifie pas si les donnée qui arrive sont corrompu ou pas, dans le SAN d'une part les données ne peuvent pas etre corrompu et d'autre part, il gere l'acces simultané en ecriture de plusieur machine sur une partition, ce que le NAS ne fait pas du tout.
Le SAN gere un protocole à part de l'ethernet 100%secur.

Alors sous linux on peut voire plusieur type de cluster, je ne suis pas aller tres loin dans la reflexion, mais effectivement pour certain type de cluster (redhat par exemple), il faut une application clusterware. Pour d'autre non, c'est le projet beowulf, tous les process tournent sur toutes les machines, tout est repliqué en temps reel ...

Tout depend du budget, maintenant entre une ferme de 486 et un duo core pas photo, un duo.

 

Oui justement j'avais entendu parler du Beowulf...

Sais-tu qu'est-ce qui est employé dans les grosses boites de prod, et les boites de film d'animation , que je puisse m'en inspirer? C'est pas possible qd mm qu'ils achetent que des stations à 20000 euros sans partager les ressoruce pour améliorer la productivité ??

Et tu dis quoi d'une ferme de core 2 duo ou d'amd 64 bas de gamme ?

 

Non je ne sais pas ce qui est employé dans le milieu professionnel, je ne fais que de la video amateur
Par contre certaine boite tels que Newteck et autre certainement propose des cartes ou modules pour ameliorer l'edition video, regarde VT4.
Cela depend beaucoup de ce que tu veus faire, tu es un professionel ?

 

Plus d'info sur Beowulf : Beowulf.org: Overview -- FAQ

tu veux rendre quoi, de la 3d ou de la vidéo ?
avec quels softs ?

 

Hello

Non je ne suis pas un pro, j'essaye de faire mon petit bout de chemin en semipro pour passer peut etre un jour au stade supérieur

Sinon STEF je ne sais pas quel soft utilisé justement car ce que je souhaiterais ce serait pouvoir faire du rendu vidéo temps réel de très haute qualité, et ceci sans avoir à dépenser 150000 euros en station de montage ... Par contre pour la 3d y a pas de prob, j'utilise maya, mais en vidéo, je ne vois pas :'(
Je sais pas si ca existe, mais dans le domaine de la 3d, il existe des logiciels architecturé en clien/serveur, qu'on installe sur chaque machine, et qui gère les threads entre les différentes machines pour faire de l'informatique répartie ...
Beowulf me permettrait peut-être de faire considérer plusieurs machines comme une seule aux yeux du système , mais normalement les logiciels doivent etre compilés pour eter compatibles avec l'informatique parallele ...
Ce que fait Newtek ne m'intéresse pas, ce sont des cartes permettant d'accélérer le rendu comme celle de Blackmagic, et encore 2-3 autres choses, mais c'est trop cher pour ce que c'est...

 

Media composer Adrenaline a rarement besoin de faire du rendu !
Avid propose des Render Station fontionnant avec toute la gamme, jusq'uau nitris : si on a besoin d'un gros calcul, il suffit de checker la séquence et de l'envoyer à la Render Station pour qu'elle fasse le petit bout de rendu, le temps qu'on continue à bosser sur la station de montage

... mais tout à un prix et on ne fait pas rien sans rien !

Sur tes softs de 3D tu peux très bien faires tes rendus en TGA sur plusieurs station :
image001 à image100 sur une station
image1001 à image200 sur une autre
.... et aini de suite, autant que tu as de pc !

toutes les stations tournent en même temps, ensuite il n'y a plus qu'à mettre toutes les imageXXX dans le même dossier et importer le rendu en une séquence d'image dans un soft de montage.
c'est comme ça que travaille la plupart des boites qui ne font pas de long film d'animation

 

Hello

Merci de tes infos,

D'autres réponses ??

 

Calcul haute performance avec Windows Compute Cluster Server 2003

render farm ou renderfarm en cluster sous windows ^^

 

rendu moulte station :

BOINC/Calcul partagé ---> Victoire de l'AF sur les Australiens - Bla-Bla - FORUM SMP-FR

 

lol oué mais pour chacun de ces logiciels il faut adapter le logiciel à la base