Repolode
Enviar
OpenSenseNova

OpenSenseNova/SenseNova-U1

Modelos multimodales unificados y nativos de código abierto de SenseNova que entienden imágenes, generan imágenes a partir de texto y editan imágenes con una sola arquitectura.

Alternativa open source a:MidjourneyAdobe Firefly

Ver en GitHubSitio web
Estrellas
6,911
Forks
532
Issues abiertos
41
Último commit
hace 19 días

¿Qué es?

SenseNova-U1 y U1.5 son series de modelos multimodales basadas en la arquitectura NEO-unify, que elimina el codificador visual y el VAE independientes que usan muchos sistemas y modela el lenguaje y la visión de extremo a extremo. Los modelos abarcan respuestas a preguntas sobre imágenes, generación de imágenes a partir de texto, generación intercalada de imágenes y texto, y edición de imágenes. También incluyen checkpoints adicionales ajustados para infografías y para inferencia rápida en 8 pasos.

El repositorio incluye scripts de inferencia para Transformers que cubren la generación de imágenes a partir de texto, la edición, la generación intercalada y la comprensión visual, además de opciones de inferencia cuantizada con GGUF y modos de descarga de capas a la memoria para reducir el uso de VRAM en equipos con una sola GPU. Los pesos están publicados en Hugging Face y ModelScope, e incluye código de entrenamiento para el ajuste fino de todos los parámetros.

Funciones clave

  • 01Modelo unificado para comprender imágenes, generar imágenes a partir de texto y editar imágenes
  • 02Generación nativa e intercalada de imágenes y texto en un único flujo
  • 03Variantes de modelos específicas para infografías, con edición de texto y diseño
  • 04Checkpoints cuantizados con GGUF y modos de descarga de capas para inferencia con poca VRAM
  • 05Código de entrenamiento para el ajuste fino de todos los parámetros

Casos de uso

  • Generar pósteres, infografías o diseños con texto legible en chino e inglés
  • Editar imágenes existentes con instrucciones en lenguaje natural y conservar las zonas que no se modifican
  • Crear tutoriales ilustrados paso a paso que combinen texto e imágenes
  • Ejecutar inferencias multimodales en una GPU de consumo usando pesos cuantizados

Inicio rápido

  1. 1

    Instala las dependencias de Python

  2. 2

    Ejecuta el ejemplo de texto a imagen con la guía de inicio rápido de Transformers

    python examples/t2i/inference.py --model_path sensenova/SenseNova-U1.5-8B-MoT --prompt "A formal portrait depicts a man in 18th-century attire seated with a scroll, wearing a red cloak and ornate medals, against a classical landscape with ancient ruins and inscriptions." --output output.png

Antes de usarlo

  • El modelo es grande (8B parámetros), por lo que ejecutarlo localmente requiere una GPU potente o un checkpoint GGUF cuantizado.
  • El README enumera problemas conocidos, como errores con texto denso, detalles humanos inestables y colores sobresaturados.

Temas

#multimodal#image-generation#image-editing#vision-language-model#text-to-image#transformers#gguf

Preguntas frecuentes

¿Qué es SenseNova-U1?
Modelos multimodales unificados y nativos de código abierto de SenseNova que entienden imágenes, generan imágenes a partir de texto y editan imágenes con una sola arquitectura. SenseNova-U1 y U1.5 son series de modelos multimodales basadas en la arquitectura NEO-unify, que elimina el codificador visual y el VAE independientes que usan muchos sistemas y modela el lenguaje y la visión de extremo a extremo. Los modelos abarcan respuestas a preguntas sobre imágenes, generación de imágenes a partir de texto, generación intercalada de imágenes y texto, y edición de imágenes. También incluyen checkpoints adicionales ajustados para infografías y para inferencia rápida en 8 pasos.
¿SenseNova-U1 es gratuito? ¿Qué licencia tiene?
SenseNova-U1 es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿SenseNova-U1 sigue mantenido?
Mantenimiento activo. El último commit de SenseNova-U1 fue el 1 oct 2026.
¿Para qué puedo usar SenseNova-U1?
Generar pósteres, infografías o diseños con texto legible en chino e inglés Editar imágenes existentes con instrucciones en lenguaje natural y conservar las zonas que no se modifican Crear tutoriales ilustrados paso a paso que combinen texto e imágenes Ejecutar inferencias multimodales en una GPU de consumo usando pesos cuantizados
¿Cómo se instala SenseNova-U1?
Instala las dependencias de Python Ejecuta el ejemplo de texto a imagen con la guía de inicio rápido de Transformers: python examples/t2i/inference.py --model_path sensenova/SenseNova-U1.5-8B-MoT --prompt "A formal portrait depicts a man in 18th-century attire seated with a scroll, wearing a red cloak and ornate medals, against a classical landscape with ancient ruins and inscriptions." --output output.png
¿Dónde consigo SenseNova-U1?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/OpenSenseNova/SenseNova-U1

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados