Comment créer une vidéo avec Runway Gen 2 ? (et 4 autres outils IA)

Vous avez toujours rêvé de transformer vos idées vidéos en réalité ?

Votre propre clip de musique ? 

Votre propre trailer d’entreprise ? 

Vos propres créations vidéos ?

Mais vous n’avez pas le temps de vous former à Photoshop, et aux outils complexes de montage vidéo.

Pas de problème ! 

Avec les outils d’IA génératives, vous pouvez plus que jamais concrétiser vos projets créatifs.

En combinant plusieurs outils simples d’utilisation dont Runway Gen 2, je vais vous montrer comment créer un trailer d’une minute pour lancer une formation vidéo. 

Vous allez voir comment avec – un minimum de compétences et un minimum de temps –  vous pouvez arriver à un maximum de résultats.

Vous découvrirez aussi que ces outils ne vont pas remplacer les designers, les graphistes et les motions designers mais les amplifier. 

En plus de donner de nouvelles possibilités à des professionnels du marketing et de la communication, sans compétences en création de vidéo. 

Pour ce guide, nous allons utiliser : 

  • GPT-4 pour la génération de texte 
  • Aiva pour la génération de musique 
  • Midjourney pour la génération de musique 
  • ElevenLabs pour la voix off 
  • Runway Gen 2 pour la génération de vidéo à partir d’images 
  • Capcut pour le montage complet

Allez c’est parti ! 

Le programme : 

Le guide pour créer un trailer de A à Z avec GPT-4, Eleven Labs, Midjourney et Runway Gen 2

  • Etape 1 : Déterminer le but de la vidéo
  • Etape 2 : GPT-4 : Créer l’histoire et les images pour Midjourney
  • Etape 3 – Créer des images avec Midjourney
  • Etape 4 – Animer une image avec Runway Gen 2
  • Etape 5 – Créez une musique sur Aiva
  • Etape 6 – Créer la voix off de la vidéo
  • Etape 7 – Monter le tout avec Capcut
  • Conclusion

Etape 1 : Déterminer le but de la vidéo 

Je veux créer un trailer pour ma formation sur l’IA appelé “Devenez irremplaçable”, qui a pour but de faire passer mes apprenants de : 

A – J’ai peur de l’IA, je ne sais pas par où commencer pour me former, ou du moins j’ai conscience de ne pas maîtriser Chat GPT et les autres outils d’IA génératives suffisamment bien pour travailler avec efficacité. 

B – Je sais exactement quand utiliser quel outil pour travailler plus vite, avoir de meilleurs résultats et m’épanouir davantage au travail. Je suis un travailleur totalement à l’aise avec les IA génératives au travail. 

Pour cela, j’ai créé une formation initiatique en 12 étapes avec une base théorique et des exercices concrets. 

Pour le trailer, j’ai envie de montrer mon héros passer de la peur de l’inconnu et de la peur du remplacement à un enthousiasme de travailler avec ces outils. 

Je veux que le trailer dure au maximum 1 minutes.

Et je veux créer tous les éléments (son, image, vidéo) avec des IA génératives pour montrer mes compétences. 

Dans un premier temps, je vais générer l’histoire et le texte des voix off avec GPT-4. Puis je lui demanderai de créer des plans avec des images et le texte qui va bien avec. 

Ensuite, je créerai les images Midjourney. Puis les vidéos avec Runway Gen 2 à partir des images. Enfin, je terminerai avec les voix off sur Eleven Labs et la musique avec Aiva

Les outils payants sont les suivants : 

  • GPT-4 à 24 dollars par mois
  • Eleven Labs à 5 dollars par mois 
  • Midjourney à 8 dollars par mois (payé annuellement) 

Les autres outils : 

  • Runway Gen 2 : 2 minutes de génération gratuite 
  • Aiva : 3 téléchargements gratuits par mois 

Etape 2 : GPT-4 : Créer l’histoire et les images pour Midjourney (qui serviront pour Runway Gen 2)

Mon prompt 

Je suis Jean-Baptiste Berthoux, formateur en intégration de l’IA dans les entreprises. 

Je veux créer un trailer pour ma nouvelle formation sur l’IA appelé “Devenez irremplaçable”, qui a pour but de faire passer mes apprenants de 

A – J’ai peur de l’IA, je ne sais pas par où commencer pour me former, ou du moins j’ai conscience de ne pas maîtriser Chat GPT et les autres outils d’IA génératives suffisamment bien pour travailler avec efficacité. 

B – Je sais exactement quand utiliser quel outil pour travailler plus vite, avoir de meilleurs résultats et m’épanouir davantage au travail. Je suis un travailleur totalement à l’aise avec les IA génératives au travail au point de devenir irremplaçable par mon patron ou mes clients. 

Pour cela, j’ai créé une formation initiatique en 12 étapes avec une base théorique et des exercices concrets. 

Pour le trailer, j’ai envie de montrer mon héros passer de la peur de l’inconnu et de la peur du remplacement à un enthousiasme de travailler avec ces outils. 

A l’issue du trailer, je veux que ceux qui le regardent aient envie de s’inscrire à la formation. Le CTA (Pour plus de détails, cliquez ci-dessous) 

Tu es un créateur de vidéo de trailer professionnel pour Linkedin 

Ton but est de me créer un trailer professionnel et persuasif. 

En étape 1 : Propose moi un scénario pour une vidéo d’1 minute 

Pose moi toutes les questions nécessaires à ta compréhension de mes attentes avant de commencer, 

Ok pour toi ?

Chat GPT m’a posé des questions supplémentaires. 

Ensuite, j’y ai répondu et il m’a proposé une trame de 12 plans pour la vidéo. 

J’ai demandé à unifier le style et GPT-4 m’a fait des propositions. 

Je lui ai ensuite demandé de me décrire les images pour chaque séquence avec ce prompt 

Super, en utilisant les éléments de style que tu as décris, je veux que tu : 

– décrives une image pour chaque plan. Ces descriptions doivent être en anglais. Tu dois ensuite les structurer de la manière suivante : SCENE OU SUJET PRINCIPAL, DETAILS DU LIEU, DÉTAILS DE LA PRISE, DÉTAILS DE L’ACTION

Ok pour toi ?

J’ai eu les descriptions d’image pour Midjourney. 

Description d'image pour Midjourney

Etape 3 – Créer des images avec Midjourney pour Runway Gen 2

C’est l’étape la plus dure selonn moi. 

Midjourney n’a pas de mémoire des précédentes générations que vous faites.

Ainsi, il faut décrire le plus précisément possible votre personnage principal. 

Ce que j’ai demandé à GPT-4 de faire.


Ensuite, j’ai utilisé la commande /shorten afin de déterminer quels étaient les mots les plus importants de mon prompt pour avoir une description précise d’Alex. 

Enfin, j’ai modifié les prompts un à un pour qu’ils ne soient pas trop complexes. 

Si vous faites des prompts à rallonge, Midjourney se perd et ne génère pas ce que vous voulez. 

Création d'image avec Midjourney

Une fois toutes les images Midjourney générées, j’ai sorti celles que je préférais avec les versions de mon personnage principal qui se ressemblaient davantage. 

J’ai rencontré une difficulté : l’IA me crée parfois des images type dessin animé et d’autres fois réalistes. Même en ajoutant des paramètres comme “digital art” ou “realistic”, les images ne changeaient pas de constitution. 

Après 50 minutes, j’avais enfin 12 images qui me plaisaient assez pour débuter ma vidéo. 

Etape 4 – Animer une image avec Runway Gen 2

Runway peut faire du text to video.

Vous entrez directement un prompt et Runway vous créé une courte vidéo de 4 secondes.

Vous pouvez aussi animer une image.

C’est l’option que je préfère car j’ai davantage de contrôle sur le rendu des images Midjourney.

Le système est simple : vous ajoutez votre image et Runway Gen 2 la transforme en vidéo, avec parfois des variations assez fortes. 

12 vidéos à générer c’est parti ! 

Notez bien : il est possible d’unifier le style sur Runway en utilisant une image et en rajoutant in the style of dans Runway Gen 2.

Etape 5 – Créez une musique sur Aiva 

Il suffit de vous créer un compte, de choisir un style, la durée de la chanson et le nombre de génération.

Puis Aiva vous crée une chanson.

Le plus dure est de trouver celle qui vous faut.

Etape 6 – Créer la voix off de la vidéo

Vous allez dans ElevenLabs et créez une voix avec speech synthesis.

Ensuite, vous pouvez appuyer sur “Use” pour générer vos voix off. 

C’est assez intuitif. 

J’ai pu générer 12 voix off pour mes 12 plans de 4 secondes.

Etape 7 – Monter le tout avec Capcut 

J’ai commencé par mettre sur Capcut tous les clips et les voix offs. 

Puis j’ai utilisé la fonction speech to text (text puis auto-caption) de capcut pour générer les sous titres des voix off. 

C’est le plus pratique dans cet outil. 

Et voilà : 

Capcut, logiciel de montage vidéo

Conclusion : comment faire un trailer vidéo avec l’IA et Runway Gen 2 ?

J’ai utilisé ces outils IA de concert car ça me fascine.

Ceci dit – aujourd’hui – vous gagnerez sans doute du temps à utiliser des musiques libres directement de Capcut. 

A utiliser des vidéos de Pexels au lieu de créer un univers avec Midjourney puis Runway. 

En revanche, pour des trailers de films, court métrage, de jeux vidéos, Runway Gen 2 peut être utile pour donner dès maintenant un grain d’originalité à votre récit. 

Du côté du voix off, Eleven Labs fonctionne vraiment bien. Je suis toujours aussi impressionné. Tout comme GPT-4 toujours aussi utile pour générer des textes créatifs. 

Plus que jamais, je crois que ces IA génératives peuvent aider quiconque à créer n’importe quoi

Pour le meilleur et pour le pire. 

Je vous remercie d’avoir lu ce tutoriel jusqu’au bout,

N’hésitez pas si vous avez des questions pratiques,

Excellente journée,

Jean-Baptiste.

.
Partagez cet article !
Jean-Baptiste
Jean-Baptiste
Publications: 84