Runway vient de sortir son dernier outil de génération de vidéo par IA.
Je suis déjà fan.
Et je pense que vous allez bientôt le devenir.
Que vous soyez un réalisateur de vidéo, de film ou bien que vous ayez l’âme d’artiste, Runway Gen 3 Alpha est un vrai bijou de technologie qui va vous ravir.
Ce guide ultime va vous présenter étape par étape tout ce dont vous avez besoin pour créer de belles vidéos, épater vos collègues et vos amis ou mettre en valeur vos produits comme un réalisateur d’hollywood (ok j’exagère).
Dès la première minute de lecture, vous saurez ce qu’est Runway et comment générer une vidéo basique de 5 à 10 secondes.
Après la cinquième minute de lecture, vous saurez créer des prompts avec différents formats, du plus simple et plus complexe. Je vous fournirai beaucoup d’exemples.
Puis dans 10 minutes, vous saurez créer un mini film de 4 ou 5 vidéos cohérentes dans leur style.
Regardez simplement ces 2 minutes de vidéo pour imaginer ce que vous pourrez faire
Et regardez ce que j’ai fait, sans être motion designer, et en moins de 4h.
Alors entrez avec moi dans cet article avec motivation, concentration, et audace.
Ce triptyque de valeur vous permettra d’acquérir une compétence unique et précieuse pour vous faire plaisir ou vous valoriser sur le marché de travail.
Prenez une grande inspiration avec moi et commençons !
Qu’est ce que Runway Gen 3 Alpha ?
Runway Gen 3 Alpha est un outil développé par les équipes Runway.
Voyez Runway comme une boîte à outils mettant à disposition au monde de la création visuelle et du montage une batterie de d’outils.
En tant que non initié à la création visuel, mais créatif formateur en intelligence artificielle, j’adore son outil de text to video.
Dans cet outil, j’ajoute une description visuelle sous forme de texte en entrée. C’est le prompt, comme quand je parle avec Chat GPT, Gemini ou Claude.
Puis la magie opère. Je reçois une vidéo de 5 à 10 secondes correspondant à ma description.
Runway est un des leaders actuels de la génération de vidéo par IA et nous offre un beau cadeau avec cette version 3.
Par rapport à la version 2, que j’utilisais déjà souvent, les vidéos sont plus réalistes, cohérentes. Les variations de vitesse et de mouvement sont plus fidèles par rapport aux précédents modèles.
Je vous propose maintenant d’entrer dans le vif du sujet :
Comment utiliser Runway Gen 3 Alpha ?
1 – S’inscrire sur https://runwayml.com/
2 – Aller sur : https://runwayml.com/pricing/ et choisir Standard à 12€ (paiement annuel). Oui, vous devez payer car les outils IA de génération de vidéo utilisent beaucoup d’énergie de calcul. Ainsi, générer une vidéo coûte “cher”.
3 – Aller sur : https://runwayml.com/ai-tools/gen-3-alpha/ puis appuyer sur Try Gen 3 Alpha. Vous arriverez dans la liste de “video tools”
4 – Aller sur Text/Image To Video
5 – Sélectionner Gen3 Alpha
6 – Ajouter un prompt comme l’exemple suivant :
Exemple de prompt donné par Runway
“Close-up of a smiling young woman with curly hair on a dusky beach. The ocean blurs in the background, bathed in deep blue twilight, creating a serene atmosphere »
En français :
“Gros plan d’une jeune femme souriante aux cheveux bouclés sur une plage au crépuscule. L’océan se fond dans l’arrière-plan, baigné dans un profond crépuscule bleu, créant une atmosphère sereine”
7 – Faire le choix de créer une vidéo de 5 secondes ou de 10 secondes
8 – Appuyer sur “Generate”
Le temps de génération va :
- de 60 secondes pour une vidéo de 5 secondes
- à 90 secondes pour une vidéo de 10 secondes
Les éléments d’un prompt de base pour le prompt des vidéos
Principe de base des prompts IA de vidéo :
Principe 1 : Le modèle a été entraîné avec une approche permettant de générer des vidéos très fidèles aux descriptions textuelles fournies, en capturant même les nuances et les changements rapides décrits dans le texte. Ainsi, plus vous faites une description précise, plus le modèle va produire des vidéos fidèles.
Principe 2 : Rédigez toujours vos prompts en anglais. Le modèle réagit mieux à ce type d’instructions pour le moment.
Les éléments basiques du prompt
- SUBJECT (Sujet): C’est le personnage principal ou l’objet central de ta vidéo. Exemple: « Un chat roux », « Une femme en tenue de jogging », « Un vase antique »
- SCENE (Scène): Le lieu ou l’environnement où se déroule l’action. Exemple: « Dans un jardin fleuri », « Au sommet d’une montagne enneigée », « Dans une cuisine moderne »
- LIGHTING (Éclairage): La façon dont la scène est éclairée. Exemple: « Éclairage doux du coucher de soleil », « Lumière vive de midi », « Ambiance tamisée avec des bougies »
- CAMERA MOVEMENTS (Mouvements de caméra): Comment la caméra se déplace pour filmer la scène. Exemple: « Zoom lent sur le visage », « Plan panoramique de gauche à droite », « Caméra fixe »
- AND MORE (Et plus): Détails supplémentaires pour enrichir la description. Exemple: « Style cinématographique », « Ambiance sereine »
Voici un exemple de prompt complet combinant tous ces éléments:
« Un jeune artiste (SUBJECT) peint sur une toile dans son atelier encombré (SCENE). La lumière dorée du matin filtre à travers une grande fenêtre (LIGHTING). La caméra commence par un gros plan sur les mains de l’artiste, puis recule lentement pour révéler toute la scène (CAMERA MOVEMENTS). L’ambiance est sereine et inspirante (AND MORE)
En anglais : “A young artist (SUBJECT) paints on a canvas in their cluttered studio (SCENE). Golden morning light filters through a large window (LIGHTING). The camera starts with a close-up on the artist’s hands, then slowly pulls back to reveal the entire scene (CAMERA MOVEMENTS). The atmosphere is serene and inspiring (AND MORE).”
Interlude pratique : comment créer une vidéo IA ?
Ici, vous avez deux choix :
- Vous pouvez continuer à lire ce guide par curiosité intellectuelle et ne pas passer à l’action. C’est votre droit le plus élémentaire, mais vous ne progresserez pas. Je suis un grand pourfendeur de l’apprentissage par l’action.
- Ou alors vous pouvez stopper la lecture de ce guide 5 petites minutes. Prendre un stylo. Une feuille de papier ou le fichier note de votre pc ou mac. Puis tenter de rédiger un prompt avec les 5 éléments d’un prompt.
A titre personnel, j’aime fermer les yeux et m’immerger dans un souvenir heureux. Un beau paysage. Puis essayer de la décrire. Je commence simplement. Sans pression. Puis j’appuie sur “Generate”. Je regarde le résultat. Puis je recommence. Je ne suis pas trop dur avec moi-même. Je me rappelle que c’est plus le chemin qui compte que le résultat. Je veux juste prendre du plaisir.
N’est-ce pas comme ça que nous apprenons le mieux ?
Ok, prenons une nouvelle inspiration.
Car nous allons passer à du prompting plus complexe.
Nous allons rajouter de la nuance et de la précision à vos prompts.
Vos créations raviront alors les cœurs les plus froids (ou votre chef, ou votre client, si vous êtes freelance comme moi).
Prompting engineering avancée pour le text to vidéo Runway Gen 3
Rappelez vous des 5 éléments :
1 – SUBJECT (Sujet): C’est le personnage principal ou l’objet central de ta vidéo.
2 – SCENE (Scène): Le lieu ou l’environnement où se déroule l’action.
3 – LIGHTING (Éclairage): La façon dont la scène est éclairée.
4 – CAMERA MOVEMENTS (Mouvements de caméra): Comment la caméra se déplace pour filmer la scène.
5 – AND MORE (Et plus): Détails supplémentaires pour enrichir la description.
En plus du sujet de la vidéo, vous pouvez rajouter une action.
Vous pouvez aussi maîtriser le déplacement de la caméra, et même la vitesse.
L’outil assimile aussi les effets de transitions.
Rappel : dans mes prompts, je rédige en anglais.
Mais pour une meilleure compréhension, je vous partage mes exemples en français.
Prête et prête à approfondir ?
Les éléments du prompt avancée pour Runway Gen 3
- Subject Action (Action du sujet) : C’est ce que fait le sujet principal dans la vidéo. Exemples :
- « Un danseur exécutant une pirouette »
- « Un chien courant après une balle »
- « Une fleur s’épanouissant en accéléré »
- Camera Action (Action de la caméra) : Comment la caméra se déplace ou change pendant la prise de vue. Exemples :
- « La caméra tourne lentement autour du sujet »
- « Zoom progressif sur le visage du personnage »
- « La caméra suit le mouvement du sujet de gauche à droite »
- Speed (Vitesse) : La vitesse à laquelle l’action ou le mouvement de caméra se déroule. Exemples :
- « Mouvement au ralenti »
- « Vitesse normale »
- « Time-lapse rapide »
- Transitions : Comment une scène passe à une autre. Exemples :
- « Fondu au noir »
- « Transition par balayage »
- « Morphing d’une scène à l’autre »
Exemple de prompt avancé
“A high speed wide FPV shot approaches a rocky seaside cave, enters the cave, and emerges in an arctic landscape with glaciers and snow capped mountains, hyperlapse cinematography”
En français : “Un plan large à grande vitesse en FPV s’approche d’une grotte rocheuse au bord de la mer, entre dans la grotte, et émerge dans un paysage arctique avec des glaciers et des montagnes enneigées, cinématographie en hyperlapse »
Note : FPV = First Person View
Astuces de prompting supplémentaire
Vous pouvez séparer le prompt avec une description visuelle et la description de la caméra
Exemple de runway :
Anglais
Visual: A pillow fort in a cozy living room. The pillow fort is made from an assortment of quilts, fabrics and pillows
Camera motion: Hand held camera smoothly zooms into the entrance of the pillow fort, revealing an ancient castle in the interior
Français
Visuel : Un fort coussin dans un salon confortable. Le fort est construit avec un assortiment de couettes, de tissus et de coussins.
Mouvement de caméra : Une caméra à l’épaule effectue un zoom fluide vers l’entrée du fort de coussins, révélant un château ancien à l’intérieur
Votre défi : créer un mini-film avec Runway Gen 3
Vous savez désormais créer des vidéos de 5 à 10 secondes, des plus simples aux plus complexes.
Désormais, je vous encourage à créer un mini-film cohérent.
De mon côté, voici mon brief :
Titre : Ode à la vie
Synopsis : Un jeune homme se balade sur les bords d’un lac. Il voit un banc au soleil à la déclinaison du jour. Le banc est libre et lui aussi est libre. Il s’assied. Le soleil caresse délicatement sa joue droite. Le vent fait virevolter ses blondes bouclettes. Cette vidéo est une ode aux petits moments de bonheur qu’on oublie trop souvent.
Prompt 1 : FPV of a drone flying over a lake and arriving at a beach with people in the soft light of the end of the day, dynamic motion
Prompt 2 : A 31-year-old blond man with blue eyes walks along the shores of Lake Geneva in a soft evening light. The camera is fixed and the young man moves at real speed. The style is realistic.
Prompt 3 : A wooden bench on the shore of Lake Geneva in the late afternoon light. The camera is fixed. Only the grass on the lawn in the background of the bench moves with the wind.
Prompt 4 : A 31-year-old blond man with blue eyes sits in a wooden bench along the shores of Lake Geneva in a soft evening light. High angle camera focusing on the scene. The style is realistic.
Prompt 5 : Close-up of a blond man’s right cheek in late afternoon light. The camera moves slowly showing the sun on his cheek The background is blurred and shows a beach on Lake Geneva.
Prompt 6 : FPV of a drone flying over a lake in the soft light of the end of the day and going up to the stars, dynamic motion
Le résultat :
- Vidéo de 50 secondes
- Musique par Udio
- Voix off par ElevenLabs
- Montage par capcut
- Ecriture par moi-même
Voici ci-après :
Qu’en pensez-vous ?
Défiez-moi et envoyez moi votre résultat sur linkedin : https://www.linkedin.com/in/jean-baptiste-berthoux/
Je serai heureux de partager votre travail à mes 12 000 abonnés si je l’apprécie.
Quelles sont les alternatives à Runway Gen 3 ?
Je ferai bien mal mon travail d’information si je vous parlais uniquement de Runway et pas des alternatives.
Dans le milieu de la vidéo IA, vous avez les outils de text to vidéo comme Runway, Sora, Pika Labs et Luma Dream Machine.
Vous avez aussi les outils de créations de vidéos avatar comme Hey Gen ou Synthesia.
Et aussi les outils spécialement conçus pour les réseaux sociaux.
Ce sont des IA génératives de vidéos mais adaptées à des usages différents.
Allez, passons-les en revue.
Sora d’OpenAI
Open AI a démontré la puissance de Sora, mais impossible d’avoir accès à l’outil encore. Dommage. Mais faites-vous plaisir en regardant cette vidéo (réalisé avec VFX + Sora)
Je ne sais pas encore à quel niveau cet outil va révolutionner la création vidéo. Mais il va la révolutionner. Certain, j’en suis.
Luma Dream Machine de LumaLabs
Un outil sympa qui est sorti de nulle part et qui fait de l’ombre à Runway ! En plus, il est déjà disponible et vous pouvez le tester gratuitement maintenant.
Genmo
Un outil qui permet aussi de faire de belles vidéos. A tester dans votre quête du monde audiovisuel augmenté par l’IA.
Pika Labs
Cet outil est souvent cité par mes amis comme une belle alternative à Runway. Mon ami Gilles Guerraz, réalisateur, l’utilise beaucoup. Ses options d’édition vont vous régaler.
HeyGen
Vous voulez un avatar digital personnalisé ET réaliste ? HeyGen, c’est votre allié. Créez des présentateurs virtuels en un clin d’œil et donnez vie à vos idées. J’ai même créé un clone vidéo avec un de mes clients et il est capable de prospecter 1 ou 1000 clients sans enregistrer les vidéos lui-même, le tout en plus de 20 langues… du gros délire.
Synthesia
Un peu comme Heygen, vous tapez un texte, et pouf ! Vous obtenez une vidéo avec des personnages virtuels bluffants de réalisme. Idéal pour pimper vos présentations pro ou vos cours en ligne. En formation, les responsables formations des départements RH y voient tout de suite un bel intérêt.
Fliki
Fliki est un outil est dédié aux marketeux et social media manager. Allez-y faire un tour.
Lumen5
Dans la même veine, Lumen5 va faciliter votre création de contenu. Par exemple, l’outil peut transformer vos articles de blog en vidéos. De quoi donner une seconde vie à vos textes.
Enfin
InVideo AI
L’outil vous permet de générer et éditer en un seul outil. Toujours pour un public de créateur de contenu. A tester.
Conclusion sur l’outil IA de génération de vidéo Runway
J’adore. J’adore Runway. J’adore les possibilités que donne cet outil aux non intitiés comme moi.
Mais je dois me rendre à l’évidence, sans une connaissance :
- des mots
- des différents types de camera, luminosité, mouvement de caméra
Alors difficile de faire une vidéo convaincante.
Comme je le dis toujours en formation, les nouveaux IA nous augmentent mais ne remplacent par l’expertise de 20 ans d’expérience en cinéma, réalisation ou scénario.
Mais pourquoi ne pas utiliser Chat GPT ou Claude 3 pour apprendre les bases dès maintenant ?
Comme je l’ai dit dans mon article chat gpt pour l’éducation, ces outils sont de formidables tuteurs personnalisés lorsque leur utilisation est encadrée.
Si vous êtes un professionnel de l’audiovisuel, vous allez tout simplement vous éclater.
Si vous êtes un créatif comme moi, commencez par apprendre quelques bases, à expérimenter et vous pourrez réaliser de belles créations.
C’est terminé pour aujourd’hui,
J’espère vous avoir donné envie d’expérimenter cet outil, et que la lecture de cet article vous fut agréable,
Si vous avez besoin d’une formation sur l’IA générative, texte, audio, vidéo ou visuel, c’est mon métier. J’ai formé 1000 pros et 60 organisations en 23 mois.
Alors contactez-moi sur Linkedin.
Jean-Baptiste.
Aller plus loin sur Runway Gen 3
Les mots clés pour le prompting : https://help.runwayml.com/hc/en-us/articles/30586818553107-Gen-3-Alpha-Prompting-Guide
Une comparaison avec Luma Labs AI Video COMPARED: Runway Gen-3 vs LUMA, Haiper, Kaiber, LensGo, LTX Studio and PikaLabs
Résumé : Le nouveau produit vidéo RunwayGen-3, a impressionné de nombreux utilisateurs par la fluidité de ses mouvements et sa cohérence, surpassant Luma, qui était auparavant un concurrent de premier plan. La comparaison comprenait également des outils comme Haiper, Kaiber et LensGo, mais aucun n’égalait la qualité de Runway. L’auteur exprime son espoir quant au développement futur des capacités de vidéo à vidéo, qui amélioreraient le contrôle créatif.
I Spent $15 on Runway Gen-3 Alpha AI Videos: Worth It?
Résumé : L’auteur a dépensé 15 $ pour des vidéos Runway Gen-3 Alpha AI afin d’explorer ses capacités en tant qu’utilisateur novice. Ils ont trouvé les vidéos générées impressionnantes, mais ont noté qu’il était difficile de créer des prompt efficaces. Dans l’ensemble, bien que le service ait du potentiel, les utilisateurs doivent tenir compte du nombre limité de générations de vidéos disponibles chaque mois
Generate ANY Video! │Runway Gen-3 Alpha Tutorial
Résumé : Runway Gen-3 Alpha est un modèle d’IA de conversion de texte en vidéo qui permet aux utilisateurs de créer des scènes simplement en saisissant des descriptions. Le didacticiel présente diverses vidéos générées, mettant en évidence à la fois des résultats impressionnants et certains qui n’ont pas répondu aux attentes. Dans l’ensemble, l’auteur trouve que Gen-3 Alpha est un outil puissant pour la création de vidéos, offrant un grand potentiel malgré certaines limitations
