Adobe intègre les IA génératives à Premiere Pro !

Le NAB 2024 a été le lieu de beaucoup d'annonces liées à l’IA, Adobe s'inscrit dans cette tendance avec l’annonce d’intégration de nombreux outils dans Premiere Pro 2024 à venir.

Adobe a déjà fait des annonces sur son IA générative Firefly, disponible en beta. Cette IA permet de générer des images et aussi de modifier l’étalonnage à partir d’un prompt.

Elle génère des effets de texte et les anime, ce qui donne, selon Adobe, de magnifiques écrans titres, polices d’écriture et logos.

Elle a aussi des capacités audio avec la possibilité de créer une musique à partir de quelques mots et de générer des effets audio basés sur la vidéo analysée par Firefly.

Firefly permettra, en plus de générer un prompt d’une interview, d’identifier les mots clés, de suggérer des images plans et de proposer une première version d’un montage.

Cette IA produit des rendus libres de droits, d’autant plus libres à la diffusion qu’elle se base sur les bases de données libre de droits ou celle d’Adobe.

Une attention qui détonne dans le milieu de l’IA générative, les entreprises ne s'encombrant généralement pas du droit d’auteur et laissant leur IA s'entraîner sur tout ce qu'elles peuvent trouver en ligne.

Adobe mise désormais sur l’intégration de cette IA et d’autres dans Premiere Pro.

​

Premiere diposera donc de nouveaux outils : il sera par exemple possible d’y générer des séquences à partir d’un prompt ou d’une image de référence.

L’IA permettra aussi de modifier des images, de retirer des objets d’un plan en un seul clic, l’IA détectant les contours de l’objet et l’effaçant automatiquement.
Cette option sera très pratique pour enlever un élément technique accidentellement dans le champ (perche cable…).

​

​

Il sera également possible d'ajouter des objets dans une zone de l’image à partir d’un prompt, avec Firefly ou d’autres IA génératives.

​

En effet, Premiere intégrera directement certaines des IA génératives les plus avancées telles que Pika, Runway ou Sora de OpenAI (qui a récemment fait beaucoup de bruit en raison de la qualité des rendus présentés).

Adobe est convaincu que la concurrence stimulera l'amélioration générale des modèles d’IA, et indique ne pas croire qu’un modèle émergera comme “le meilleur”. Selon eux, la diversité des options permettra aux utilisateurs de maximiser leurs résultats en optant pour une intelligence artificielle spécifique, en fonction de ses points forts.

Première proposera également de pouvoir allonger des clips directement dans la timeline comme vous le feriez avec un clip qui a été raccourci. Cet outil ne me paraît pas encore très convaincant sur des visages.

​

Toutes les modifications générées par l’IA seraient non destructives : il sera toujours possible de revenir au plan original.

Adobe cherche à avoir une approche éthique et transparente vis-à-vis de l’IA en intégrant des métadonnées dans la vidéo, sauvegardées dans le cloud, permettant d’identifier les passages générés ou modifiés par l’IA. L'objectif étant d'éviter un usage détourné de l’IA et de permettre d’identifier le modèle utilisé pour un plan précis.

En plus des annonces concernant la génération vidéo, Adobe a également dévoilé de nouveaux flux de travail audio boostés à l'intelligence artificielle.

Selon Adobe, ces innovations permettront aux monteurs vidéo de contrôler et d'améliorer précisément la qualité de leur son :

• Poignées de fondu interactives : Des poignées sur les éléments permettent de créer des fondus et des transitions audio personnalisées en les faisant glisser sur les clips.
• Balisage des catégories audio : L'IA identifie automatiquement les clips audio et les classe dans Audio Essentiel en fonction de leur nature : dialogues, musique, effets sonores ou ambiance.
• Formes d'ondes intelligentes : Les formes d'ondes s'ajustent automatiquement sur les clips lorsque la hauteur de la piste change, avec de nouvelles couleurs pour faciliter la lecture des séquences.

Ces nouveautés audio devraient être intégrées à Première Pro courant mai 2024.

Bien qu’Adobe n’annonce pas de date de sortie précise, ces nouveautés devraient être intégrées en 2024 selon les développeurs.

En conclusion, Adobe vient marquer un coup fort dans le monde de la post-production, avec l’intégration directe d’IA génératives d’images dans Premiere.

Cette intégration est assez complète avec une attention portée sur l’image (sa génération complète ou sa modification), le son et l’étalonnage.