Proyectos open source sobre «multimodal»

Modelos nativos de visión y lenguaje de código abierto (serie NEO) que procesan píxeles y palabras en una arquitectura densa sin encoder, con versiones de 2B y 9B.

Paquete de Python de código abierto que convierte sitios web, PDF, imágenes, videos de YouTube o temas en conversaciones de podcast multilingües con GenAI.

Un motor de entrenamiento unificado para modelos multimodales que admite arquitecturas de visión y lenguaje, difusión y MoE, con FSDP2, Muon y kernels Liger.

Un LLM de video entrenado con transcripción de voz en streaming para generar comentarios en tiempo real, con demos en Gradio y CLI.

Solucionador de captchas autoalojable con una API createTask/getTaskResult al estilo de YesCaptcha, basado en FastAPI, Playwright y modelos de visión compatibles con OpenAI.

Convierte teléfonos Android que ya no se usan en cámaras de la red local, con un panel para PC que ofrece vista previa MJPEG, grabación y análisis opcional de eventos mediante IA.

Convierte PDF, archivos de Office, escaneos, capturas de pantalla y diagramas a Markdown mediante un modelo de visión compatible con OpenAI que tú eliges.

Modelos multimodales nativos de código abierto para comprender imágenes, generar imágenes a partir de texto y editarlas con una arquitectura unificada.

Kit de herramientas RAG visual que convierte páginas web y PDF en capturas de pantalla y busca en las imágenes sin perder tablas ni gráficos.

Un pequeño proyecto educativo para ejecutar inferencias de modelos de visión y lenguaje con MLX en Apple Silicon y puntuar respuestas candidatas sobre una imagen.

Modelo multimodal de pesos abiertos con 9B parámetros para comprensión visual, razonamiento espacial, uso de herramientas e investigación en IA encarnada, basado en Qwen3.5 y C-RADIOv4-H.

Modelo multimodal unificado que resuelve numerosas tareas de visión por computadora generando texto, imágenes o ambos a partir de instrucciones en lenguaje natural.

Aplicación de escritorio que busca archivos locales por su contenido, en fotos, PDF, documentos, audio, video y código, y funciona en el dispositivo con EmbeddingGemma 2.