MAGI-1 : Génération Vidéo Autorégressive à Grande Échelle

MAGI-1 AI est un modèle avancé de génération vidéo autorégressive développé par SandAI, conçu pour générer des vidéos de haute qualité en prédisant des séquences de segments vidéo de manière autorégressive. Ce modèle est entraîné à débruiter les segments vidéo, permettant une modélisation temporelle causale et supportant la génération en streaming.

Les caractéristiques du modèle de génération vidéo MAGI-1 AI incluent un VAE basé sur Transformer pour un décodage rapide et une qualité de reconstruction compétitive, un algorithme de débruitage autorégressif pour une génération vidéo efficace, et une architecture de modèle de diffusion qui améliore l'efficacité de l'entraînement et la stabilité à grande échelle. Il prend également en charge la génération contrôlable via des invites par segment, permettant des transitions de scène fluides, une synthèse à long terme et un contrôle précis basé sur le texte.

MAGI-1 AI génère des vidéos segment par segment plutôt que dans leur ensemble. Chaque segment (24 images) est débruité de manière holistique, et la génération du segment suivant commence dès que le segment actuel atteint un certain niveau de débruitage. Cette conception de pipeline permet le traitement simultané jusqu'à quatre segments pour une génération vidéo efficace.

Les variantes du modèle pour la vidéo MAGI-1 incluent le modèle 24B optimisé pour la génération vidéo haute fidélité et le modèle 4.5B adapté aux environnements aux ressources limitées. Des modèles distillés et quantifiés sont également disponibles pour une inférence plus rapide.

MAGI-1 AI atteint des performances de pointe parmi les modèles open-source, excellant dans le suivi des instructions et la qualité du mouvement, se positionnant comme un concurrent potentiel solide face aux modèles commerciaux propriétaires comme Kling1.6. Il démontre également une précision supérieure dans la prédiction du comportement physique à travers la continuation vidéo, surpassant significativement tous les modèles existants.

MAGI-1 AI peut être exécuté en utilisant Docker ou directement depuis le code source. Docker est recommandé pour faciliter la configuration. Les utilisateurs peuvent contrôler l'entrée et la sortie en modifiant les paramètres dans les scripts run.sh fournis.

MAGI-1 est publié sous la Licence Apache 2.0.

La fonction 'Extension Vidéo Infinie' de MAGI-1 permet l'extension fluide du contenu vidéo, combinée au 'contrôle de l'axe temporel au niveau de la seconde', permettant aux utilisateurs de réaliser des transitions de scène et une édition raffinée via des invites segment par segment, répondant aux besoins de la production cinématographique et de la narration.

Grâce aux avantages naturels de l'architecture autorégressive, MAGI-1 atteint une précision largement supérieure dans la prédiction du comportement physique à travers la continuation vidéo, surpassant significativement tous les modèles existants.

MAGI-1 est conçu pour diverses applications telles que la création de contenu, le développement de jeux, la post-production cinématographique et l'éducation. Il offre un outil puissant pour la génération vidéo qui peut être utilisé dans de multiples scénarios.