MAGI-1: Geração de Vídeo Autorregressiva em Escala

MAGI-1 AI é um modelo avançado de geração de vídeo autorregressivo desenvolvido pela SandAI, projetado para gerar vídeos de alta qualidade prevendo sequências de fragmentos de vídeo de forma autorregressiva. Este modelo é treinado para remover ruído de fragmentos de vídeo, permitindo modelagem temporal causal e suportando geração em streaming.

Os recursos do modelo de geração de vídeo MAGI-1 AI incluem um VAE baseado em Transformer para decodificação rápida e qualidade de reconstrução competitiva, um algoritmo de remoção de ruído autorregressivo para geração eficiente de vídeo e uma arquitetura de modelo de difusão que melhora a eficiência do treinamento e a estabilidade em escala. Também suporta geração controlável via prompts por fragmento, permitindo transições suaves de cena, síntese de longo horizonte e controle detalhado baseado em texto.

O MAGI-1 AI gera vídeos fragmento por fragmento, em vez de como um todo. Cada fragmento (24 quadros) tem o ruído removido holisticamente, e a geração do próximo fragmento começa assim que o atual atinge um certo nível de remoção de ruído. Este design de pipeline permite o processamento simultâneo de até quatro fragmentos para geração eficiente de vídeo.

As variantes do modelo para vídeo MAGI-1 incluem o modelo 24B otimizado para geração de vídeo de alta fidelidade e o modelo 4.5B adequado para ambientes com recursos limitados. Modelos destilados e quantizados também estão disponíveis para inferência mais rápida.

O MAGI-1 AI alcança desempenho estado da arte entre modelos de código aberto, destacando-se no seguimento de instruções e qualidade de movimento, posicionando-se como um forte potencial concorrente para modelos comerciais de código fechado como o Kling1.6. Também demonstra precisão superior na previsão de comportamento físico através da continuação de vídeo, superando significativamente todos os modelos existentes.

O MAGI-1 AI pode ser executado usando Docker ou diretamente do código-fonte. Docker é recomendado para facilidade de configuração. Os usuários podem controlar entrada e saída modificando parâmetros nos scripts run.sh fornecidos.

O MAGI-1 é lançado sob a Licença Apache 2.0.

A função 'Expansão Infinita de Vídeo' do MAGI-1 permite a extensão contínua do conteúdo do vídeo, combinada com 'controle de eixo de tempo em nível de segundo', permitindo que os usuários alcancem transições de cena e edição refinada através de prompts por fragmento, atendendo às necessidades de produção cinematográfica e narrativa.

Graças às vantagens naturais da arquitetura autorregressiva, o MAGI-1 alcança precisão muito superior na previsão de comportamento físico através da continuação de vídeo—superando significativamente todos os modelos existentes.

O MAGI-1 é projetado para várias aplicações, como criação de conteúdo, desenvolvimento de jogos, pós-produção de filmes e educação. Oferece uma ferramenta poderosa para geração de vídeo que pode ser usada em múltiplos cenários.