GUI em grafo de nós, API e backend para executar modelos de difusão localmente e gerar imagens, vídeos, áudio e conteúdo 3D.
apple-aiml-research/ml-stable-diffusion
Converte modelos PyTorch do Stable Diffusion para Core ML e gera imagens em dispositivos Apple Silicon por meio de pacotes Python e Swift.
- Estrelas
- 17,968
- Forks
- 1,080
- Issues abertas
- 192
- Último commit
- mês passado
O que é?
ml-stable-diffusion é o toolkit da Apple para executar o Stable Diffusion em dispositivos Apple Silicon usando Core ML. Ele tem duas partes: um pacote Python que converte checkpoints PyTorch do Hugging Face em arquivos de modelo Core ML e gera imagens com a biblioteca diffusers, e um pacote Swift que pode ser adicionado a projetos do Xcode para executar esses modelos Core ML em apps para macOS, iOS ou iPadOS.
A etapa de conversão oferece suporte às variantes Stable Diffusion 1.x, 2.x, XL e 3, além de ControlNet para modelos que não sejam XL. Também inclui opções de compressão de pesos, como paletização de até 6 bits, paletização com bits mistos para reduzir ainda mais o tamanho e quantização de ativações para chips mais recentes. Modelos pré-convertidos estão disponíveis no Hugging Face Hub.
O projeto lista como requisitos macOS 13.1 ou posterior para a conversão e iOS 16.2 ou posterior para execução, além de hardware Mac e iPad da geração M1 ou mais recente e iPhones com A14 ou mais recente. Os benchmarks publicados abrangem vários modelos de iPhone, iPad e Mac.
Recursos principais
- 01Converte checkpoints PyTorch do Stable Diffusion em arquivos Core ML .mlpackage.
- 02Oferece uma CLI e um pipeline Python baseados no Hugging Face diffusers.
- 03Disponibiliza um pacote Swift para integrar geração de imagens a apps da Apple.
- 04Oferece suporte às variantes de modelo SD 1.x, 2.x, SDXL e SD 3, além de ControlNet para modelos que não sejam XL.
- 05Oferece compressão de pesos com paletização de 6 bits e paletização com bits mistos.
Casos de uso
- Executar o Stable Diffusion localmente em um Mac ou iPad sem uma GPU na nuvem.
- Adicionar geração de imagens no dispositivo a um app para iOS ou macOS feito com Swift.
- Converter um checkpoint de Stable Diffusion ajustado para Core ML em dispositivos Apple.
- Experimentar a compressão de modelos para reduzir o uso de memória em iPhones.
Antes de usar
- É compatível apenas com hardware Apple Silicon, exigindo Macs com chip M ou dispositivos iPad/iPhone.
- Algumas melhorias de memória exigem macOS 14 ou iOS 17, e a conversão fixa as versões do Python 3.8 e do coremltools 7.0.
Tópicos
Perguntas frequentes
- O que é ml-stable-diffusion?
- Converte modelos PyTorch do Stable Diffusion para Core ML e gera imagens em dispositivos Apple Silicon por meio de pacotes Python e Swift. ml-stable-diffusion é o toolkit da Apple para executar o Stable Diffusion em dispositivos Apple Silicon usando Core ML. Ele tem duas partes: um pacote Python que converte checkpoints PyTorch do Hugging Face em arquivos de modelo Core ML e gera imagens com a biblioteca diffusers, e um pacote Swift que pode ser adicionado a projetos do Xcode para executar esses modelos Core ML em apps para macOS, iOS ou iPadOS.
- ml-stable-diffusion é gratuito? Qual é a licença?
- ml-stable-diffusion é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- ml-stable-diffusion ainda é mantido?
- Atualizado nos últimos 6 meses. O último commit de ml-stable-diffusion foi em 11 de set. de 2026.
- Para que posso usar ml-stable-diffusion?
- Executar o Stable Diffusion localmente em um Mac ou iPad sem uma GPU na nuvem. Adicionar geração de imagens no dispositivo a um app para iOS ou macOS feito com Swift. Converter um checkpoint de Stable Diffusion ajustado para Core ML em dispositivos Apple. Experimentar a compressão de modelos para reduzir o uso de memória em iPhones.
- Onde consigo ml-stable-diffusion?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/apple-aiml-research/ml-stable-diffusion
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Ferramenta de código aberto baseada em Stable Diffusion para gerar quadrinhos com personagens consistentes e sequências longas de imagem para vídeo.
Implementações nativas em Apple MLX de modelos recentes de geração de imagens (FLUX, Z-Image, Qwen Image e outros) para execução local no Mac.
Um app nativo para macOS que gera imagens localmente com Stable Diffusion e FLUX.2 Klein em Macs com Apple Silicon.
SDK Swift para executar transcrição de fala, síntese de fala e diarização de locutores totalmente no dispositivo, em Apple silicon.
Runtime em Swift e Metal que executa o modelo Gemma 4 26B-A4B de 26B em Macs com Apple Silicon e cerca de 2 GB de RAM, transmitindo os experts do SSD.