Repolode
提交项目
aryn-ai

aryn-ai/sycamore

面向非结构化文档的 Python 数据处理框架，用于 ETL、RAG 与分析，并可写入向量和混合搜索数据库。

在 GitHub 查看官网
Star
605
Fork
71
未关闭 Issue
56
最近提交
3个月前

这是什么？

Sycamore 是一个文档处理引擎，可将 PDF、报告、演示文稿、会议转录和手册等非结构化文件转换为清洗并切分好的数据。它能处理包含表格、图表和信息图的复杂版面，并可在入库前用 LLM 完成信息抽取、增强和清洗。

项目以 DocSet 抽象组织处理流程，这是一种基于 Python 的函数式数据管道，运行在可扩展的 Ray 后端上。文档切分可以使用托管的 Aryn DocParse 服务，也可以在本地运行切分器，转换步骤所用的 LLM 由用户自行选择。

项目提供向 OpenSearch、Elasticsearch、Pinecone、DuckDB、Qdrant、Weaviate 等向量库和混合搜索引擎写入数据的连接器，可通过 pip extras 按需安装。支持 Linux 与 macOS。

核心功能

  • 01借助版面检测模型切分 PDF 和图片，保留表格、图表和信息图
  • 02提供 DocSet 抽象，以可扩展的函数式方式转换文档
  • 03支持基于 LLM 的自定义函数，用于信息抽取、增强与清洗
  • 04可将切块数据写入 OpenSearch、Elasticsearch、Pinecone、DuckDB、Qdrant、Weaviate
  • 05基于 Ray 后端实现处理规模扩展

适用场景

  • 为 RAG 应用准备 PDF 报告和手册数据
  • 在 OpenSearch 中为企业文档构建混合搜索索引
  • 用 LLM 从会议转录或演示文稿中抽取结构化字段
  • 在 Jupyter 中调试文档 ETL 任务，再写入向量数据库

快速上手

  1. 1

    使用 pip 安装核心包

    pip install sycamore-ai
  2. 2

    可选：安装向量数据库连接器，例如 DuckDB

    pip install sycamore-ai[duckdb]
  3. 3

    免费注册 Aryn DocParse 账户并获取 API 密钥

使用前须知

  • 根据 README，仅支持 Linux 和 Mac OS。
  • 使用 Aryn DocParse 服务需要注册获取 API 密钥。

标签

#rag#document-processing#etl#vector-database#llm#unstructured-data#semantic-search#ai#dataprep#information-retrieval

常见问题

sycamore 是什么？
面向非结构化文档的 Python 数据处理框架，用于 ETL、RAG 与分析，并可写入向量和混合搜索数据库。 Sycamore 是一个文档处理引擎，可将 PDF、报告、演示文稿、会议转录和手册等非结构化文件转换为清洗并切分好的数据。它能处理包含表格、图表和信息图的复杂版面，并可在入库前用 LLM 完成信息抽取、增强和清洗。
sycamore 可以免费使用吗？用的什么许可证？
sycamore 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
sycamore 还在维护吗？
半年内有更新。sycamore 最近一次提交是在 2026年8月1日。
sycamore 适合用来做什么？
为 RAG 应用准备 PDF 报告和手册数据 在 OpenSearch 中为企业文档构建混合搜索索引 用 LLM 从会议转录或演示文稿中抽取结构化字段 在 Jupyter 中调试文档 ETL 任务，再写入向量数据库
sycamore 怎么安装和运行？
使用 pip 安装核心包: pip install sycamore-ai 可选：安装向量数据库连接器，例如 DuckDB: pip install sycamore-ai[duckdb] 免费注册 Aryn DocParse 账户并获取 API 密钥
在哪里获取 sycamore？
源代码和安装说明在 GitHub 上：https://github.com/aryn-ai/sycamore

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目