O que é Stability AI?

O que é Stability AI? é perfilado pela BTW Media porque evidências publicadas o vinculam à infraestrutura da internet, governança, dependências operacionais ou visibilidade de mercado.

• Stable Cascade é um modelo de imagem gerador de texto não comercial recém-lançado baseado na arquitetura Würstchen. Ele adota uma abordagem de três estágios e é fácil de treinar e ajustar em hardware de consumo.
• Stable Cascade, um modelo inovador de texto para imagem construído na arquitetura Würstchen, usa uma abordagem única de três estágios para simplificar o treinamento e o ajuste fino em hardware de consumo, alcançando saídas de alta qualidade com compressão hierárquica.
• O Stable Cascade estende suas capacidades além da geração padrão de texto para imagem, oferecendo variações de imagem, gerações de imagem para imagem e scripts de treinamento abrangentes para ControlNet e LoRA, mostrando sua flexibilidade e versatilidade.

O Stable Cascade é um modelo inovador de imagem geradora de texto que alcança saídas de alta qualidade em um espaço de imagem compactado por meio de uma arquitetura única de três estágios, reduzindo os requisitos de hardware. O modelo e os scripts de treinamento associados estão disponíveis na página do Stability GitHub e suportam personalização e experimentação adicionais.

Uma nova era na geração de texto para imagem

O Stable Cascade, construído na arquiteturaWürstchen, é um modelo inovador de texto para imagem lançado em prévia de pesquisa com licença não comercial. Este modelo apresenta uma abordagem única de três estágios, simplificando o processo de treinamento e ajuste fino em hardware de consumo. O lançamento inclui checkpoints, scripts de inferência e scripts de treinamento adicionais paraControlNeteLoRA, todos disponíveis na página do Stability GitHub. Este modelo também é acessível para inferência através da biblioteca diffusers. Ao focar na compressão hierárquica de imagens, o Stable Cascade alcança saídas de alta qualidade com um espaço latente altamente compactado, estabelecendo novos padrões de qualidade e eficiência na geração de texto para imagem.

Leia também:Stability AI eleva a geração de imagens com novo modelo base Stable Diffusion

Leia também:CEO da Stability AI, Emad Mostaque, renuncia para buscar IA descentralizada

Revelando os detalhes técnicos

A arquitetura do Stable Cascade compreende três estágios, cada um desempenhando um papel crucial na geração de imagens de alta qualidade. O Estágio C, a fase do Gerador Latente, transforma as entradas do usuário em latentes compactos de 24×24. Estes são passados para os Estágios A e B, as fases do Decodificador Latente, que comprimem ainda mais as imagens, semelhante ao papel do VAE no Stable Diffusion, mas com compressão muito maior.

Esse desacoplamento permite treinamento ou ajuste fino adicional, incluindo ControlNets e LoRAs, apenas no Estágio C, reduzindo os custos em 16 vezes em comparação com modelos Stable Diffusion de tamanho semelhante. A abordagem modular garante treinamento e inferência eficientes, tornando-se um avanço significativo no campo.

Além da geração de texto para imagem

O Stable Cascade estende suas capacidades além da geração padrão de texto para imagem, oferecendo variações de imagem e gerações de imagem para imagem. Ao extrair embeddings de imagem de uma determinada imagem usando CLIP, o modelo pode gerar múltiplas variações da imagem original. Esse recurso mostra a flexibilidade e versatilidade do modelo. Além disso, o lançamento inclui scripts de treinamento e ajuste fino para ControlNet e LoRA, permitindo que os usuários experimentem ainda mais com a arquitetura.

ControlNets específicos para inpainting e outpainting também são fornecidos, destacando o potencial do modelo para aplicações criativas e práticas.

Foco comunitário e não comercial

O Stable Cascade está atualmente disponível apenas para uso não comercial. No entanto, a Stability AI oferece outros modelos de imagem para fins comerciais através de sua página de Assinatura ou Plataforma de Desenvolvedores. O lançamento incentiva o engajamento e a experimentação da comunidade, com todo o código de treinamento e inferência disponível na página do Stability GitHub. A Stability AI convida os usuários a se manterem atualizados sobre seu progresso através de plataformas de mídia social como Twitter, Instagram, LinkedIn e sua Comunidade Discord.

Essa abordagem promove um ambiente colaborativo, visando avançar o campo da geração de texto para imagem, mantendo a acessibilidade e a inovação.