Partager

11 DÉC. 2024

Réinventer la création de vidéos avec Gemini 2.0 Flash

Vishal Dharmadhikari

Ingénieur en solutions produit

Hang Chu

Viggle

Viggle showcase hero

L'API Gemini ne se contente pas d'améliorer les applications, elle révolutionne l'expression créative. Viggle, la sensation virale de l'IA vidéo qui permet à chacun de transformer des photos en animations captivantes, est à l'avant-garde de cette révolution. En expérimentant la magie multimodale de Gemini 2.0 Flash, actuellement disponible en aperçu expérimental uniquement, et plus particulièrement sa capacité avancée de compréhension vidéo et de sortie audio, ainsi que la génération d'images par Imagen 3, Viggle développe des fonctionnalités qui permettront aux utilisateurs de donner vie sans effort à leurs rêves les plus fous, d'une manière inédite.

Inside Viggle: Powering AI Video Creation with Gemini 2.0 Flash and Imagen 3

Viggle a déjà séduit des millions d'utilisateurs grâce à sa capacité à transformer facilement des images statiques en vidéos animées avec des mouvements du corps entier, ce qui a généré du contenu viral sur les plates-formes de réseaux sociaux. Viggle propose des applications mobiles (iOS et Android) et une plate-forme Web (viggle.ai), et se concentre sur les mèmes et les contenus de danse. Des fonctionnalités telles que l'échange de visages, l'animation d'images avec des mouvements de danse et l'insertion d'utilisateurs dans des scènes de films sont déjà populaires auprès de la base d'utilisateurs de Viggle. L'entreprise explore désormais de nouvelles façons de passer à la vitesse supérieure en matière de créativité.

Viggle est en train de prototyper deux fonctionnalités qui exploitent la puissance de Gemini 2.0 Flash et d'Imagen 3 :


  • Personnages virtuels à partir d'images : Viggle utilise Imagen 3 pour la génération d'images afin de créer une forge de personnages optimisée par l'IA. Les utilisateurs peuvent fournir des requêtes textuelles simples ("un robot qui danse avec des yeux lumineux" ou "un dragon duveteux aux couleurs de l'arc-en-ciel"), et le modèle créera des personnages virtuels uniques prêts à figurer dans leurs vidéos. Ces personnages sont ensuite intégrés de manière fluide dans le moteur d'animation de Viggle, ce qui ouvre un univers de possibilités de narration personnalisée. Imaginez réaliser votre propre court-métrage d'animation avec des personnages issus de votre imagination. C'est ce que vous permettent Viggle et Imagen 3.

  • Narration dynamique par IA : Viggle exploite également la capacité de Gemini 2.0 Flash à générer de la parole et à comprendre les vidéos en profondeur pour développer une fonctionnalité qui ajoute des voix off riches en contexte à n'importe quelle vidéo. Il ne s'agit pas d'une simple voix monotone lisant un script, mais d'un narrateur IA qui analyse le contenu de la vidéo (en identifiant les moments clés, les actions et même les émotions) pour générer une narration qui complète parfaitement les images. Qu'il s'agisse d'un commentaire humoristique sur une vidéo de danse ou d'une description épique d'une scène fantastique, le narrateur IA ajoute une toute nouvelle dimension à l'engagement.

Débloquer de nouveaux niveaux de créativité et d'engagement

L'intégration de l'IA générative devrait améliorer l'expérience Viggle de plusieurs manières essentielles :


  • Création de personnages simplifiée : la génération d'images d'Imagen 3 simplifie la création et la personnalisation de personnages vidéo. Les utilisateurs peuvent désormais générer des personnages uniques en fonction de leurs idées, sans avoir besoin de compétences avancées en design ni de se fier à des options prédéfinies limitées. Ce workflow simplifié permet à un plus grand nombre d'utilisateurs de donner vie à leurs visions créatives.

  • Contenus plus personnalisés : Gemini 2.0 Flash permet aux utilisateurs de créer des récits vidéo très personnalisés. Des personnages conçus sur mesure, associés à une narration dynamique par IA, permettent de créer des histoires uniques qui renforcent le lien entre les créateurs et leur audience.

  • Plus de possibilités créatives  : l'association de personnages virtuels et de narration par IA élargit le potentiel créatif des vidéos courtes sur Viggle. Les utilisateurs peuvent explorer de nouvelles formes de narration, au-delà des formats vidéo traditionnels.

Perspectives d'avenir

Viggle est ravi d'explorer davantage le potentiel de Gemini 2.0 et des modèles de génération d'images pour améliorer sa plate-forme. Il envisage un avenir où l'IA s'intégrera parfaitement à chaque étape du processus créatif, permettant à chacun de devenir créateur de vidéos.

"Chez Viggle, tout le monde est créateur. Nous créons des mèmes, explorons la capture de mouvement pour des projets de pointe et construisons notre propre multivers. Grâce aux capacités de narration vocale réalistes de Gemini 2.0 Flash, nous pensons que nos utilisateurs pourront exploiter tout leur potentiel et raconter des histoires comme jamais auparavant."

— Hang Chu, fondateur de Viggle

La collaboration de Viggle avec Gemini 2.0 Flash et Imagen 3 montre le potentiel de l'IA pour transformer la création de vidéos et offrir aux utilisateurs de nouveaux outils pour s'exprimer. Cette collaboration marque une étape vers l'avenir de la narration optimisée par l'IA. Pour en savoir plus sur la création avec Gemini, consultez la documentation de l'API Gemini et découvrez Imagen 3 pour en savoir plus sur nos dernières avancées en matière de génération d'images.