Open source проекты по теме «multimodal»

Открытые нативные vision-language модели серии NEO обрабатывают пиксели и слова в единой плотной архитектуре без энкодера; доступны версии 2B и 9B.

Пакет Python с открытым исходным кодом, который превращает сайты, PDF, изображения, видео YouTube или темы в многоязычные аудиоподкасты с помощью GenAI.

Единый движок для обучения мультимодальных моделей с поддержкой архитектур vision-language, diffusion и MoE, а также FSDP2, Muon и ядер Liger.

Видеомодель LLM, обученная на потоковой транскрибации речи для генерации комментариев к видео в реальном времени; доступны демо на Gradio и в CLI.

Самостоятельно разворачиваемый решатель капч с API в стиле YesCaptcha (createTask/getTaskResult), созданный на FastAPI, Playwright и vision-моделях, совместимых с OpenAI.

Превращает старые Android-смартфоны в камеры в локальной сети: на ПК доступны трансляция MJPEG, запись и необязательный анализ событий с помощью ИИ.

Преобразует PDF, файлы Office, сканы, скриншоты и диаграммы в Markdown, отправляя страницы вашей модели зрения, совместимой с OpenAI.

Нативные мультимодальные модели с открытым исходным кодом для понимания изображений, генерации изображений по тексту и редактирования изображений в единой архитектуре.

Инструментарий для визуального RAG: превращает веб-страницы и PDF в скриншоты и выполняет поиск по изображениям, сохраняя таблицы и графики.

Небольшой учебный проект для запуска инференса vision-language-модели на Apple Silicon с помощью MLX и оценки вариантов ответа по одному изображению.

Мультимодальная модель с открытыми весами и 9 млрд параметров для визуального понимания, пространственных рассуждений, работы с инструментами и исследований embodied AI, построенная на Qwen3.5 и C-RADIOv4-H.

Унифицированная мультимодальная модель для множества задач компьютерного зрения: по инструкциям на естественном языке генерирует текст, изображения или и то и другое.

Настольное приложение для смыслового поиска по локальным файлам — фото, PDF, документам, аудио, видео и коду — прямо на устройстве с EmbeddingGemma 2.