[CpteRendu] Amélioration de la résolution via l'Intelligence artificielle: Topaz Video Enhance AI

Tout le monde le sait, l'Intelligence Artificielle est partout et va révolutionner (pour le meilleur et pour le pire) le monde à venir et la vidéo n'y échappe pas (pour le meilleur).

Je vous propose aujourd'hui un bref essai de Topaz Video Enhance AI ( Video Enhance AI – Topaz Labs ) dont la promesse est d'améliorer la résolution et le détail de nos anciennes vidéos.

Pour cela, Topaz Video Enhance AI (on va dire Topaz VE) s'appuie sur des techniques d'intelligence artificielle, dont pas grand monde ne comprend le fonctionnement, mais qui sont extrêmement efficaces.

L'inconvénient est que la puissance de calcul nécessaire est importante, et même si la solution tourne sur la CPU, une carte graphique de toute dernière génération (NVIDIA équipée au minimum de CUDA cores, voire de TENSOR cores) est indispensable, le traitement restant malgré tout assez long.

A titre d'exemple, sur mon système (PC moyenne gamme récent - AMD Ryzen 1700 - 16Go de mémoire - Carte graphique NVIDIA GTX 1650 - sous Windows 10) le traitement d'une image oscille entre 1/2 à 2 secondes en mode GPU (carte graphique) à 5 à 10 secondes en mode CPU, globalement 10 fois plus lent en mode CPU que GPU.


Beaucoup de cas d'utilisation sont possibles, notamment transformer des vidéos SD en HD, enlever le bruits et les artéfacts de vidéo VHS, je vous donne ici deux exemples

Le premier exemple, un fichier issu d'un DVD filmé en PAL DV. L'exemple consiste à désentrelacer la vidéo et à l'upscaler en 4K. La 4K ne semble pas apporter beaucoup par rapport à du HD, j'ai réduit la résolution à de la HD (la moitié) que j'ai stabilisée avec Virtualdub/Deshaker. Le résultat est là.



Le second exemple est issu d'une video Youtube d'un film argentique posté ici: scanner de pellicule pour films 8 mm et super 8 | Page 4 | Film argentique : projection et numerisation dont l'objectif a été d'augmenter la résolution. On peut voir le niveau de détail du papier peint que l'IA a recréé, c'est bluffant !



Je n'ai pas posté d'exemple VHS, d'une façon générale, l'image est désentrelacée et le bruit est supprimé, par contre, pas de miracle sur la netteté, l'image grossière VHS ne se transforme pas (pas encore en tout cas) en HD.

Pour voir les fichiers résultats, c'est ici avec: Démo Topaz VE AI - pCloud

1 la version d'origine du fichier
2 le fichier upscalé par Topaz Video Enhance AI
3 une version stabilisée avec Virtualdub/Deshaker pour avoir le plus beau résultat possible.​

Il faut bien sûr télécharger les fichiers et les regarder en local pour éviter le recodage de la plate-forme cloud si on veut voir quelque chose.

En résumé, les résultats sont là, même si j'ai un petit bémol sur la fonction de désentrelacement qui amène des scintillements (flickering) assez visibles sur les travellings. Dommage, l'idée est peut-être de désentrelacer avant.

Pour conclure, les résultats sont impressionnants, on n'est qu'au début de ces techniques d'Intelligence Artificielle appliquée à la vidéo, nulle doute que les progrès vont être immenses dans les années à venir.

 

On avait déjà vu la restauration du film :
"L'arrivée d'un train en gare de La Ciotat" restaurée en 4K à 60 i/s grâce à l'intelligence artificielle

 

Oui, l'intérêt, c'est de voir que vous pouvez faire la même chose chez vous sur vos films...

 

j'ai testé topaz video enhance pour passer d'un 1080p à un 2160 p par rapport à la même fonctionne avec Resolve 17

beaucoup plus long et moins bonne qualité

 

Dommage Reboot est parti du forum !!
Je sais pas si il utilise Topaz...Mais il s'est lancé dans la restauration de ses vieux films
je pense que c'est plus efficace sur du super 8 que sur du VHS ?? non ??
Merci d'avoir choisi mon film où y a mon fils tout petit en 72 !!
Mais bon à 1 image seconde il faut de la patience !!
Reboot c'est cet ordre de grandeur ausi

 

Phillipe
Je t'enverrais volontiers un petit bout de ma numérisation super 8 ( j'ai filmé l'écran en 4k pour avoir pas de perte vs la projection)
Tu as récupéré mon bout de film sur YouTube je pense ..Encore YouTube n'a pas trop rajouté de défaut.
Mon plus gros problème est l'instabilité du focus de l'optique de mon projecteur que je dois retoucher sans arrêt ...ça se voit très bien sur la vidéo que j'ai mise sur YT et que tu as utilisé
ta restauration à l'air d'aplanir un peu ça

 

Pas de souci pour faire un test avec un exemple de la vidéo originale

 

Re Phillipe
J'ai regardé la même scène de mon fils avec sa cousine dans le parc à bébé.
Je trouve la netteté ajouté très artificielle voire numérique et on perd le texture de la pellicule.
Regarde je préfère ça :

Mais il doit y avoir des réglage délicat à faire !!
Faudrait que je retrouve l'original qui part de 4k la c'est sur l'export que j'ai fait en 1080p.
Pas évident !!
Sur travaillé par ton soft c'est plus net met adios l'effet cinéma
Je rechercherais comme j'ai changé de PC c'est peut être sur celui que j'ai mis en salle de projection.

Tu sais en Super 8 Argentique on avait de sacrées différence suivant le traitement que faisait Kodak ..Si tes cassettes arrivaient en fin de bain je suppose boujour le grain !!!
Et ça coutait cher 20 mn de film
Pour arriver à la résolution qu'on a en 4k maintenant même avec une simple AX100 ou un OsmoPocket il fallait au moins filmer en 35mm et même la copie zéro du 35mm je suis pas sûr qu'en résolution elle atteigne le 4k
MAIS P...cette texture de la peloche c'ètait qq chose !!!
Avec une BM 6k on a aussi une belle texture ..un GH5 ou un XT4 aussi !

 

Je n'ai pas de débat sur le fait que l'IA ne remplace pas le netteté ni la résolution d'origine. Je trouve néanmoins que le résultat est très intéressant notamment pour des films DVD (vob) assez mal codés à l'époque (2003) tournés en DV PAL qui trouvent quasiment une nouvelle vie en format HD 1440X1080 progressif à 50 i/s avec Topaz VE AI.

 

Ca veut t'il dire que ce qui était tourné en DV pourrait avoir après traitement au final l'apparence en définition d'un tournage en HDV ? Je ferais bien l'expérience sur un même plan avec la Z1 qui permet des deux formats : tournage en HDV puis en mode DVcam traité Topaz et comparatif. Mais je ne sais si ma config informatique va accepter Topaz VE.

 

Phillippe
Je t'envoie en MP un lien pas très long 240 MO où y a ma femme qui joue au tennis avec mon fils
Si l'lA pouvait m'améliorer ça et me donner plus de piqué ça serait super

 

L'accepter OUI je pense
Mais toi vas tu accepter que ton ordinateur travaille plusieurs heures pour 5 mn de vidéo ?
Car sur des ordinateur bien équipé avec bonne carte graphique quand on est à 1 images secondes on est content .
Avec un ordinateur costaud c'est 2 bonnes heures pour 5 mn.
Mais tu peux tenter le coup en le laissant bosser toute la nuit
Heu il vaut mieux lui donner du progressif que le l'entrelacé j'ai entendu dire

 

Je vais essayer quand j'en aurai le temps sur la Z1 le comparatif (*) avec la version démo Topaz sur un plan de 10" ça ne devrait pas prendre la nuit j'espère, mais je ne pourrai guère compter sur les possibilités de la carte graphique du portable ; une puce Radeon Vega 10. Mais ça doit être possible sur une photo ?

(*) DVcam "gonflé" vs. HDV d' origine ... en entrelacé, sur le site Topaz VE, ils disent que c'est possible.

 

"Topaz sur un plan de 10" ça ne devrait pas prendre la nuit j'espère,"
Non sur 10" ça devrait prendre un temps raisonnable
Convertis le en progressif avant il parait que c'est mieux (je ne suis sur de rien) mais c'est Reboot qui m'a dit cela

 

J'ai fait les test, le résultat est très moche, ça ressemble à du "blurring", on perd le grain, tout est flouté et l'IA n'arrive pas à reconstruire la netteté.