Agrandir / Une démo de la génération Firefly AI dans Adobe Premiere.
Adobe
Lundi, Adobe a annoncé son intention d’ajouter des outils de synthèse vidéo IA à Premiere Pro et After Effects, rapporte Reuters. Cela fait suite à une annonce la semaine dernière selon laquelle le montage vidéo basé sur l’IA arrivera sur Premiere Pro en mai.
Les effets vidéo génératifs d’Adobe seront fournis par Adobe Firefly. Firefly, un mode de synthèse d’images que nous avons déjà couvert en mars, s’étendra pour inclure des outils de génération vidéo et audio. Premiere Pro est l’application de montage vidéo phare d’Adobe, un outil populaire de l’industrie pour l’assemblage d’émissions de télévision et de films hollywoodiens.
Actuellement, l’exécution de certains effets spéciaux ou de certaines tâches d’édition peut souvent demander beaucoup de travail. Adobe vise à rationaliser ce processus grâce à l’assistance générative de l’IA. Dans une démo publiée sur son blog, Adobe a montré “Firefly for Video” générant une bande sonore de fond, générant des effets sonores, changeant la saison visuelle dans une vidéo, créant un effet visuel sur le mot “fondu”, localisant et éclairant le visage d’une personne , et générer des transcriptions audio via des commandes de texte.
Dans son blog promotionnel, Adobe mentionne des fonctionnalités que l’on pourrait attendre de ses nouveaux outils d’IA, dont certaines énumérées ci-dessus (comme la génération d’effets sonores et de musique), mais aussi des améliorations de couleur basées sur le texte, des animations de texte et de logo, la création automatique de storyboard et la créativité ” co-pilotes” qui peuvent soi-disant générer des tutoriels pour aider les utilisateurs à maîtriser les compétences d’édition.
Publicité
Si ces types d’outils de montage vidéo basés sur du texte semblent familiers, c’est parce que Runway a dévoilé des fonctionnalités similaires en septembre, bien que Runway n’ait pas encore tenu ces promesses avec la fidélité annoncée dans son teaser. De même, il est probablement sage de prendre la vidéo marketing d’Adobe avec un grain de sel jusqu’à la sortie du produit.
(Et seul le temps nous dira si Adobe Firefly sera un jour capable de générer une vidéo de Will Smith mangeant des spaghettis qui puisse rivaliser avec le chef-d’œuvre conçu par ModelScope, un modèle de synthèse vidéo open source.)
Dans une annonce distincte mais connexe la semaine dernière, Adobe a annoncé qu’il intégrait le montage vidéo textuel dans Adobe Premiere Pro, ce qui permettra aux éditeurs de découper et de réorganiser la vidéo en fonction des transcriptions de discours automatiquement détectées extraites des clips vidéo. Voici comment Adobe décrit la fonctionnalité :
Premiere Pro est le seul logiciel de montage professionnel à intégrer l’édition basée sur le texte, révolutionnant la façon dont les créateurs abordent leur métier en rendant l’édition vidéo aussi simple que copier et coller du texte. Propulsé par Adobe Sensei, Text-Based-Editing analyse et transcrit automatiquement les clips afin que les éditeurs, les producteurs et les assistants puissent simplement copier et coller des phrases dans l’ordre de leur choix et les voir apparaître instantanément sur la timeline. Les transcriptions peuvent être recherchées dans la fenêtre de transcription pour identifier des mots et des phrases exacts.
Adobe a initialement prévisualisé une capacité d’édition vidéo basée sur du texte similaire dans le cadre de “Project Blink” en octobre, bien qu’Adobe affirme maintenant que ces fonctionnalités proviennent de son framework “Adobe Sensei”. Que la différence soit technique ou simplement liée à l’image de marque n’est pas claire. Il convient de noter qu’une société appelée Descript propose une fonctionnalité similaire pour le montage vidéo et podcast.
Adobe indique que ses fonctionnalités Firefly pour la vidéo commenceront à être déployées “plus tard cette année” tout en permettant aux gens de s’inscrire pour essayer Firefly, qui est actuellement en test bêta fermé. Pendant ce temps, Adobe promet que le montage vidéo basé sur du texte arrivera sur Adobe Premiere Pro en mai.
