Repolode
apple-aiml-research

apple-aiml-research/ml-stable-diffusion

Convierte modelos PyTorch de Stable Diffusion a Core ML y genera imágenes en dispositivos Apple Silicon mediante paquetes para Python y Swift.

Estrellas
17,968
Forks
1,080
Issues abiertos
192
Último commit
el mes pasado

¿Qué es?

ml-stable-diffusion es el toolkit de Apple para ejecutar Stable Diffusion en Apple Silicon con Core ML. Tiene dos partes: un paquete de Python que convierte checkpoints de PyTorch de Hugging Face en archivos de modelos Core ML y genera imágenes con la biblioteca diffusers, y un paquete de Swift que se puede agregar a proyectos de Xcode para ejecutar esos modelos Core ML dentro de apps de macOS, iOS o iPadOS.

La conversión es compatible con las variantes Stable Diffusion 1.x, 2.x, XL y 3, además de ControlNet para modelos que no son XL. También incluye opciones de compresión de pesos, como paletización de hasta 6 bits, paletización de bits mixtos para reducir aún más el tamaño y cuantización de activaciones para chips más recientes. Hay modelos ya convertidos publicados en Hugging Face Hub.

El proyecto indica como requisitos de destino macOS 13.1 o posterior para la conversión e iOS 16.2 o posterior para la ejecución, además de hardware Mac y iPad de la generación M1 o posterior, e iPhone A14 o posterior. Los benchmarks publicados cubren varios modelos de iPhone, iPad y Mac.

Funciones clave

  • 01Convierte checkpoints de Stable Diffusion en PyTorch a archivos .mlpackage de Core ML.
  • 02Ofrece una CLI y un pipeline de Python basados en Hugging Face diffusers.
  • 03Incluye un paquete de Swift para integrar la generación de imágenes en apps de Apple.
  • 04Es compatible con las variantes de modelos SD 1.x, 2.x, SDXL y SD 3, además de ControlNet para modelos que no son XL.
  • 05Ofrece compresión de pesos mediante paletización de 6 bits y paletización de bits mixtos.

Casos de uso

  • Ejecutar Stable Diffusion localmente en una Mac o iPad sin una GPU en la nube.
  • Agregar generación de imágenes en el dispositivo a una app de iOS o macOS creada con Swift.
  • Convertir un checkpoint de Stable Diffusion ajustado con fine-tuning a Core ML para dispositivos Apple.
  • Probar técnicas de compresión de modelos para reducir el uso de memoria en iPhones.

Antes de usarlo

  • Solo es compatible con hardware Apple Silicon, por lo que se necesitan Mac con chip M o dispositivos iPad/iPhone.
  • Algunas mejoras de memoria requieren macOS 14 o iOS 17, y la conversión fija las versiones de Python 3.8 y coremltools 7.0.

Temas

Preguntas frecuentes

¿Qué es ml-stable-diffusion?
Convierte modelos PyTorch de Stable Diffusion a Core ML y genera imágenes en dispositivos Apple Silicon mediante paquetes para Python y Swift. ml-stable-diffusion es el toolkit de Apple para ejecutar Stable Diffusion en Apple Silicon con Core ML. Tiene dos partes: un paquete de Python que convierte checkpoints de PyTorch de Hugging Face en archivos de modelos Core ML y genera imágenes con la biblioteca diffusers, y un paquete de Swift que se puede agregar a proyectos de Xcode para ejecutar esos modelos Core ML dentro de apps de macOS, iOS o iPadOS.
¿ml-stable-diffusion es gratuito? ¿Qué licencia tiene?
ml-stable-diffusion es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿ml-stable-diffusion sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de ml-stable-diffusion fue el 11 sept 2026.
¿Para qué puedo usar ml-stable-diffusion?
Ejecutar Stable Diffusion localmente en una Mac o iPad sin una GPU en la nube. Agregar generación de imágenes en el dispositivo a una app de iOS o macOS creada con Swift. Convertir un checkpoint de Stable Diffusion ajustado con fine-tuning a Core ML para dispositivos Apple. Probar técnicas de compresión de modelos para reducir el uso de memoria en iPhones.
¿Dónde consigo ml-stable-diffusion?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/apple-aiml-research/ml-stable-diffusion

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados