Interfaz gráfica de nodos, API y backend para ejecutar modelos de difusión localmente y generar imágenes, video, audio y contenido 3D.
apple-aiml-research/ml-stable-diffusion
Convierte modelos PyTorch de Stable Diffusion a Core ML y genera imágenes en dispositivos Apple Silicon mediante paquetes para Python y Swift.
- Estrellas
- 17,968
- Forks
- 1,080
- Issues abiertos
- 192
- Último commit
- el mes pasado
¿Qué es?
ml-stable-diffusion es el toolkit de Apple para ejecutar Stable Diffusion en Apple Silicon con Core ML. Tiene dos partes: un paquete de Python que convierte checkpoints de PyTorch de Hugging Face en archivos de modelos Core ML y genera imágenes con la biblioteca diffusers, y un paquete de Swift que se puede agregar a proyectos de Xcode para ejecutar esos modelos Core ML dentro de apps de macOS, iOS o iPadOS.
La conversión es compatible con las variantes Stable Diffusion 1.x, 2.x, XL y 3, además de ControlNet para modelos que no son XL. También incluye opciones de compresión de pesos, como paletización de hasta 6 bits, paletización de bits mixtos para reducir aún más el tamaño y cuantización de activaciones para chips más recientes. Hay modelos ya convertidos publicados en Hugging Face Hub.
El proyecto indica como requisitos de destino macOS 13.1 o posterior para la conversión e iOS 16.2 o posterior para la ejecución, además de hardware Mac y iPad de la generación M1 o posterior, e iPhone A14 o posterior. Los benchmarks publicados cubren varios modelos de iPhone, iPad y Mac.
Funciones clave
- 01Convierte checkpoints de Stable Diffusion en PyTorch a archivos .mlpackage de Core ML.
- 02Ofrece una CLI y un pipeline de Python basados en Hugging Face diffusers.
- 03Incluye un paquete de Swift para integrar la generación de imágenes en apps de Apple.
- 04Es compatible con las variantes de modelos SD 1.x, 2.x, SDXL y SD 3, además de ControlNet para modelos que no son XL.
- 05Ofrece compresión de pesos mediante paletización de 6 bits y paletización de bits mixtos.
Casos de uso
- Ejecutar Stable Diffusion localmente en una Mac o iPad sin una GPU en la nube.
- Agregar generación de imágenes en el dispositivo a una app de iOS o macOS creada con Swift.
- Convertir un checkpoint de Stable Diffusion ajustado con fine-tuning a Core ML para dispositivos Apple.
- Probar técnicas de compresión de modelos para reducir el uso de memoria en iPhones.
Antes de usarlo
- Solo es compatible con hardware Apple Silicon, por lo que se necesitan Mac con chip M o dispositivos iPad/iPhone.
- Algunas mejoras de memoria requieren macOS 14 o iOS 17, y la conversión fija las versiones de Python 3.8 y coremltools 7.0.
Temas
Preguntas frecuentes
- ¿Qué es ml-stable-diffusion?
- Convierte modelos PyTorch de Stable Diffusion a Core ML y genera imágenes en dispositivos Apple Silicon mediante paquetes para Python y Swift. ml-stable-diffusion es el toolkit de Apple para ejecutar Stable Diffusion en Apple Silicon con Core ML. Tiene dos partes: un paquete de Python que convierte checkpoints de PyTorch de Hugging Face en archivos de modelos Core ML y genera imágenes con la biblioteca diffusers, y un paquete de Swift que se puede agregar a proyectos de Xcode para ejecutar esos modelos Core ML dentro de apps de macOS, iOS o iPadOS.
- ¿ml-stable-diffusion es gratuito? ¿Qué licencia tiene?
- ml-stable-diffusion es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿ml-stable-diffusion sigue mantenido?
- Actualizado en los últimos 6 meses. El último commit de ml-stable-diffusion fue el 11 sept 2026.
- ¿Para qué puedo usar ml-stable-diffusion?
- Ejecutar Stable Diffusion localmente en una Mac o iPad sin una GPU en la nube. Agregar generación de imágenes en el dispositivo a una app de iOS o macOS creada con Swift. Convertir un checkpoint de Stable Diffusion ajustado con fine-tuning a Core ML para dispositivos Apple. Probar técnicas de compresión de modelos para reducir el uso de memoria en iPhones.
- ¿Dónde consigo ml-stable-diffusion?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/apple-aiml-research/ml-stable-diffusion
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Herramienta de código abierto basada en Stable Diffusion para generar cómics con personajes coherentes y secuencias de imagen a video de largo alcance.
Implementaciones nativas en Apple MLX de modelos recientes de generación de imágenes (FLUX, Z-Image, Qwen Image y más) para ejecutarlos localmente en un Mac.
Una app nativa para macOS que genera imágenes localmente con Stable Diffusion y FLUX.2 Klein en Apple Silicon.
SDK de Swift para ejecutar reconocimiento de voz, síntesis de voz y diarización de hablantes íntegramente en el dispositivo, en Apple silicon.
Runtime de Swift y Metal que ejecuta el modelo Gemma 4 26B-A4B de 26B en Mac con Apple Silicon y unos 2 GB de RAM, transmitiendo expertos desde el SSD.