Repolode
提交项目
om-ai-lab

om-ai-lab/OmAgent

一个用于构建多模态语言智能体的 Python 库，可处理文本、图像、视频和音频输入。

在 GitHub 查看官网
Star
2,671
Fork
289
未关闭 Issue
23
最近提交
22天前

这是什么？

OmAgent 是一个用于构建多模态语言智能体的 Python 库。它把任务编排、任务队列和节点执行等底层工程封装起来，开发者只需定义智能体接口，并可将可复用组件组合成更复杂的智能体。

库内提供基于图的工作流引擎和多种记忆类型，用于上下文推理。它原生支持视觉语言模型、视频处理和移动设备连接，并实现了 ReAct、CoT、SC-CoT 等智能体算法。模型可通过 Ollama 或 LocalAI 在本地部署，架构支持分布式部署，也可以在无需中间件的 Lite 模式下运行。

项目附带多个示例，包括基于 Gradio 界面的视频问答智能体和移动端个人助手，并对比了多种智能体算子在推理数据集上的表现。

核心功能

  • 01基于图的工作流编排引擎，支持多种记忆类型
  • 02原生支持视觉语言模型、视频处理和移动设备连接
  • 03内置 ReAct、CoT、SC-CoT 等智能体算法
  • 04可通过 Ollama 或 LocalAI 在本地部署模型
  • 05支持分布式部署与弹性扩展，并提供无需中间件的 Lite 模式

适用场景

  • 构建可对上传视频内容进行问答的视频理解智能体
  • 使用视觉语言模型快速搭建图像或视频理解流程
  • 开发能处理多模态输入的移动端个人助手
  • 在同一大模型上对比 CoT、ReAct 等推理策略

收录于专题

AI 聊天机器人与聊天客户端

标签

#agent#multimodal#llm#vision-language-model#workflow-orchestration#rag#python#chatbot#gemini#gpt

常见问题

OmAgent 是什么？
一个用于构建多模态语言智能体的 Python 库，可处理文本、图像、视频和音频输入。 OmAgent 是一个用于构建多模态语言智能体的 Python 库。它把任务编排、任务队列和节点执行等底层工程封装起来，开发者只需定义智能体接口，并可将可复用组件组合成更复杂的智能体。
OmAgent 可以免费使用吗？用的什么许可证？
OmAgent 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
OmAgent 还在维护吗？
活跃维护中。OmAgent 最近一次提交是在 2026年10月16日。
OmAgent 适合用来做什么？
构建可对上传视频内容进行问答的视频理解智能体 使用视觉语言模型快速搭建图像或视频理解流程 开发能处理多模态输入的移动端个人助手 在同一大模型上对比 CoT、ReAct 等推理策略
在哪里获取 OmAgent？
源代码和安装说明在 GitHub 上：https://github.com/om-ai-lab/OmAgent

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目