“multimodal” 相关开源项目

自托管的 OpenAI 兼容 AI 引擎，可在任意硬件（含纯 CPU）上运行大模型、视觉、语音、图像和视频模型。

NEO 是一系列原生视觉-语言模型，采用无编码器的统一稠密架构直接处理像素与文字。

开源 Python 库，可将网页、PDF、图片、YouTube 视频或主题转换为多语言的 AI 播客音频对话。

面向多模态模型的统一训练引擎，支持 VLM、扩散模型和 LLM 训练。

基于流式语音转写训练的视频大模型，可对视频进行实时解说，对应 CVPR 2025 论文 LiveCC。

可自托管的验证码识别服务，提供兼容 YesCaptcha 的异步 API，结合 Playwright 与多模态模型。

借助你自己的多模态模型，把 PDF、Office 文件、扫描件和图片转换为适合 AI 使用的 Markdown。

商汤 SenseNova 开源的原生统一多模态模型，在同一架构中完成图像理解、文生图与图像编辑。

开源的视觉检索增强生成（RAG）流程，将网页和 PDF 渲染为截图进行检索，保留表格与图表信息。

一个面向 Apple Silicon 的教学项目，用 MLX 运行视觉语言模型，对同一张图片的候选答案直接打分。

一个 9B 参数的开源多模态大模型，面向视觉理解、空间推理、智能体工具调用和具身智能研究。

指导 AI 助手为字节跳动 Seedance 2.0 视频生成模型撰写提示词的 Agent Skill 文件。

一个统一的多模态模型，通过文本和图像生成完成检测、OCR、分割、深度估计和多视图几何等视觉任务。

本地运行的文件搜索工具，用自然语言描述内容即可找到图片、PDF、文档、录音、视频和代码，支持 Mac、Windows 和 Linux。