MAGI-1: Generacja Wideo z Autoregresją na Dużą Skalę

MAGI-1 AI to zaawansowany model generacji wideo z autoregresją opracowany przez SandAI, zaprojektowany do generowania wysokiej jakości filmów poprzez przewidywanie sekwencji fragmentów wideo w sposób autoregresyjny. Model ten jest trenowany do usuwania szumów z fragmentów wideo, umożliwiając przyczynowe modelowanie czasowe i wspierając generację strumieniową.

Funkcje modelu generacji wideo MAGI-1 AI obejmują VAE oparty na Transformerze do szybkiego dekodowania i konkurencyjnej jakości rekonstrukcji, algorytm autoregresyjnego usuwania szumów do efektywnej generacji wideo oraz architekturę modelu dyfuzyjnego, która zwiększa efektywność treningu i stabilność w dużej skali. Wspiera również kontrolowaną generację poprzez podpowiedzi dla fragmentów, umożliwiając płynne przejścia między scenami, syntezę długoterminową i precyzyjną kontrolę opartą na tekście.

MAGI-1 AI generuje filmy fragment po fragmencie, zamiast jako całość. Każdy fragment (24 klatki) jest całościowo oczyszczany z szumów, a generacja następnego fragmentu rozpoczyna się, gdy tylko bieżący osiągnie określony poziom oczyszczenia. Ta konstrukcja potoku umożliwia równoległe przetwarzanie do czterech fragmentów dla efektywnej generacji wideo.

Warianty modelu dla wideo MAGI-1 obejmują model 24B zoptymalizowany pod kątem generacji wideo wysokiej wierności oraz model 4.5B odpowiedni dla środowisk o ograniczonych zasobach. Dostępne są również modele destylowane i kwantyzowane dla szybszego wnioskowania.

MAGI-1 AI osiąga najnowocześniejszą wydajność wśród modeli open source, wyróżniając się w przestrzeganiu instrukcji i jakości ruchu, pozycjonując się jako silny potencjalny konkurent dla komercyjnych modeli zamkniętych, takich jak Kling1.6. Wykazuje również doskonałą precyzję w przewidywaniu zachowań fizycznych poprzez kontynuację wideo, znacznie przewyższając wszystkie istniejące modele.

MAGI-1 AI można uruchomić za pomocą Dockera lub bezpośrednio z kodu źródłowego. Docker jest zalecany ze względu na łatwość konfiguracji. Użytkownicy mogą kontrolować wejście i wyjście, modyfikując parametry w dostarczonych skryptach run.sh.

MAGI-1 jest wydany na licencji Apache License 2.0.

Funkcja 'Nieskończonego Rozszerzania Wideo' MAGI-1 umożliwia płynne rozszerzanie treści wideo, w połączeniu z 'kontrolą osi czasu na poziomie sekundy', pozwalając użytkownikom osiągać przejścia między scenami i wyrafinowaną edycję poprzez podpowiedzi dla fragmentów, spełniając potrzeby produkcji filmowej i opowiadania historii.

Dzięki naturalnym zaletom architektury autoregresyjnej, MAGI-1 osiąga znacznie lepszą precyzję w przewidywaniu zachowań fizycznych poprzez kontynuację wideo—znacznie przewyższając wszystkie istniejące modele.

MAGI-1 jest zaprojektowany do różnych zastosowań, takich jak tworzenie treści, rozwój gier, postprodukcja filmowa i edukacja. Oferuje potężne narzędzie do generacji wideo, które może być wykorzystane w wielu scenariuszach.