Repolode
Предложить
om-ai-lab

om-ai-lab/OmAgent

Библиотека Python для создания мультимодальных языковых агентов, способных анализировать текст, изображения, видео и аудио.

Открыть на GitHubСайт
Звёзды
2,671
Форки
289
Открытые issues
23
Последний коммит
21 день назад

Что это?

OmAgent — библиотека Python для создания мультимодальных языковых агентов. Она скрывает за простым интерфейсом оркестрацию воркеров, очереди задач и выполнение узлов: разработчики могут задавать агентов и объединять переиспользуемые компоненты в более сложные системы.

В библиотеке есть движок рабочих процессов на основе графов и несколько типов памяти для контекстных рассуждений. Она поддерживает мультимодальные модели «зрение—язык», обработку видео и подключение мобильных устройств, а также реализует алгоритмы работы агентов, такие как ReAct, CoT и SC-CoT. Модели можно запускать локально через Ollama или LocalAI, а систему — разворачивать в распределённом режиме или в Lite-режиме без промежуточного ПО.

В проект входят примеры приложений: агент для ответов на вопросы по видео с интерфейсом Gradio и мобильный персональный ассистент. Также есть сравнение операторов агентов на наборах данных для оценки рассуждений.

Ключевые возможности

  • 01Движок оркестрации рабочих процессов на основе графов с несколькими типами памяти
  • 02Встроенная поддержка мультимодальных моделей «зрение—язык», обработки видео и подключения мобильных устройств
  • 03Встроенные алгоритмы работы агентов, включая ReAct, CoT и SC-CoT
  • 04Локальный запуск моделей через Ollama или LocalAI
  • 05Распределённое развёртывание с возможностью масштабирования, а также Lite-режим без промежуточного ПО

Сценарии использования

  • Создание агентов, которые отвечают на вопросы по загруженным видео и анализируют их содержимое
  • Прототипирование конвейеров анализа изображений и видео с помощью VLM
  • Создание мобильного персонального ассистента для работы с мультимодальными данными
  • Сравнение стратегий рассуждения, таких как CoT и ReAct, на одной и той же LLM

В подборках

AI-чатботы и клиенты для чата

Темы

#agent#multimodal#llm#vision-language-model#workflow-orchestration#rag#python#chatbot#gemini#gpt

Частые вопросы

Что такое OmAgent?
Библиотека Python для создания мультимодальных языковых агентов, способных анализировать текст, изображения, видео и аудио. OmAgent — библиотека Python для создания мультимодальных языковых агентов. Она скрывает за простым интерфейсом оркестрацию воркеров, очереди задач и выполнение узлов: разработчики могут задавать агентов и объединять переиспользуемые компоненты в более сложные системы.
OmAgent можно использовать бесплатно? Какая у него лицензия?
OmAgent распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
OmAgent всё ещё поддерживается?
Активно поддерживается. Последний коммит в OmAgent — 16 окт. 2026 г..
Для чего можно использовать OmAgent?
Создание агентов, которые отвечают на вопросы по загруженным видео и анализируют их содержимое Прототипирование конвейеров анализа изображений и видео с помощью VLM Создание мобильного персонального ассистента для работы с мультимодальными данными Сравнение стратегий рассуждения, таких как CoT и ReAct, на одной и той же LLM
Где скачать OmAgent?
Исходный код и инструкции по установке — на GitHub: https://github.com/om-ai-lab/OmAgent

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты