Repolode
apple-aiml-research

apple-aiml-research/ml-stable-diffusion

Converte modelos PyTorch do Stable Diffusion para Core ML e gera imagens em dispositivos Apple Silicon por meio de pacotes Python e Swift.

Estrelas
17,968
Forks
1,080
Issues abertas
192
Último commit
mês passado

O que é?

ml-stable-diffusion é o toolkit da Apple para executar o Stable Diffusion em dispositivos Apple Silicon usando Core ML. Ele tem duas partes: um pacote Python que converte checkpoints PyTorch do Hugging Face em arquivos de modelo Core ML e gera imagens com a biblioteca diffusers, e um pacote Swift que pode ser adicionado a projetos do Xcode para executar esses modelos Core ML em apps para macOS, iOS ou iPadOS.

A etapa de conversão oferece suporte às variantes Stable Diffusion 1.x, 2.x, XL e 3, além de ControlNet para modelos que não sejam XL. Também inclui opções de compressão de pesos, como paletização de até 6 bits, paletização com bits mistos para reduzir ainda mais o tamanho e quantização de ativações para chips mais recentes. Modelos pré-convertidos estão disponíveis no Hugging Face Hub.

O projeto lista como requisitos macOS 13.1 ou posterior para a conversão e iOS 16.2 ou posterior para execução, além de hardware Mac e iPad da geração M1 ou mais recente e iPhones com A14 ou mais recente. Os benchmarks publicados abrangem vários modelos de iPhone, iPad e Mac.

Recursos principais

  • 01Converte checkpoints PyTorch do Stable Diffusion em arquivos Core ML .mlpackage.
  • 02Oferece uma CLI e um pipeline Python baseados no Hugging Face diffusers.
  • 03Disponibiliza um pacote Swift para integrar geração de imagens a apps da Apple.
  • 04Oferece suporte às variantes de modelo SD 1.x, 2.x, SDXL e SD 3, além de ControlNet para modelos que não sejam XL.
  • 05Oferece compressão de pesos com paletização de 6 bits e paletização com bits mistos.

Casos de uso

  • Executar o Stable Diffusion localmente em um Mac ou iPad sem uma GPU na nuvem.
  • Adicionar geração de imagens no dispositivo a um app para iOS ou macOS feito com Swift.
  • Converter um checkpoint de Stable Diffusion ajustado para Core ML em dispositivos Apple.
  • Experimentar a compressão de modelos para reduzir o uso de memória em iPhones.

Antes de usar

  • É compatível apenas com hardware Apple Silicon, exigindo Macs com chip M ou dispositivos iPad/iPhone.
  • Algumas melhorias de memória exigem macOS 14 ou iOS 17, e a conversão fixa as versões do Python 3.8 e do coremltools 7.0.

Tópicos

Perguntas frequentes

O que é ml-stable-diffusion?
Converte modelos PyTorch do Stable Diffusion para Core ML e gera imagens em dispositivos Apple Silicon por meio de pacotes Python e Swift. ml-stable-diffusion é o toolkit da Apple para executar o Stable Diffusion em dispositivos Apple Silicon usando Core ML. Ele tem duas partes: um pacote Python que converte checkpoints PyTorch do Hugging Face em arquivos de modelo Core ML e gera imagens com a biblioteca diffusers, e um pacote Swift que pode ser adicionado a projetos do Xcode para executar esses modelos Core ML em apps para macOS, iOS ou iPadOS.
ml-stable-diffusion é gratuito? Qual é a licença?
ml-stable-diffusion é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
ml-stable-diffusion ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de ml-stable-diffusion foi em 11 de set. de 2026.
Para que posso usar ml-stable-diffusion?
Executar o Stable Diffusion localmente em um Mac ou iPad sem uma GPU na nuvem. Adicionar geração de imagens no dispositivo a um app para iOS ou macOS feito com Swift. Converter um checkpoint de Stable Diffusion ajustado para Core ML em dispositivos Apple. Experimentar a compressão de modelos para reduzir o uso de memória em iPhones.
Onde consigo ml-stable-diffusion?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/apple-aiml-research/ml-stable-diffusion

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados