Repolode
aryn-ai

aryn-ai/sycamore

Python-фреймворк для ETL, RAG и аналитики неструктурированных документов: AI-разбиение на части, чанкинг и загрузка в векторные и гибридные поисковые базы данных.

Звёзды
605
Форки
71
Открытые issues
56
Последний коммит
3 месяца назад

Что это?

Sycamore — движок обработки документов, который преобразует неструктурированные файлы, например PDF, отчёты, презентации, расшифровки и руководства, в чистые данные, разбитые на чанки. Он обрабатывает сложные макеты со встроенными таблицами, иллюстрациями и инфографикой, а также может обогащать, преобразовывать и очищать данные с помощью LLM перед сохранением.

Обработка строится вокруг абстракции DocSet — функционального конвейера на Python, который работает на масштабируемом бэкенде Ray. Для разбиения документов на части можно использовать хостинговый сервис Aryn DocParse или локально запущенный инструмент разбиения; пользователи сами выбирают LLM для преобразований.

Проект предоставляет коннекторы для загрузки результатов в векторные и гибридные поисковые хранилища, например OpenSearch, Elasticsearch, Pinecone, DuckDB, Qdrant и Weaviate. Их можно установить как pip extras. Поддерживаются Linux и macOS.

Ключевые возможности

  • 01Разбивает PDF-файлы и изображения с таблицами, иллюстрациями и инфографикой на части с помощью модели распознавания макета
  • 02Абстракция DocSet для масштабируемых функциональных преобразований документов
  • 03Пользовательские функции на базе LLM для извлечения данных, обогащения и очистки
  • 04Загружает чанки в OpenSearch, Elasticsearch, Pinecone, DuckDB, Qdrant и Weaviate
  • 05Масштабирует обработку на бэкенде Ray

Сценарии использования

  • Подготовка PDF-отчётов и руководств для RAG-приложения
  • Создание индекса гибридного поиска по корпоративным документам в OpenSearch
  • Извлечение структурированных полей из расшифровок или презентаций с помощью LLM
  • Запуск задач ETL для документов в Jupyter Notebook перед загрузкой в векторную базу данных

Быстрый старт

  1. 1

    Установите основной пакет с помощью pip

    pip install sycamore-ai
  2. 2

    При необходимости установите коннектор к векторной базе данных, например DuckDB

    pip install sycamore-ai[duckdb]
  3. 3

    Зарегистрируйтесь, чтобы получить бесплатную учетную запись Aryn DocParse, и получите ключ API

Что важно знать

  • Согласно README, работает в Linux и Mac OS.
  • Для использования сервиса Aryn DocParse необходимо зарегистрироваться и получить ключ API.

Темы

Частые вопросы

Что такое sycamore?
Python-фреймворк для ETL, RAG и аналитики неструктурированных документов: AI-разбиение на части, чанкинг и загрузка в векторные и гибридные поисковые базы данных. Sycamore — движок обработки документов, который преобразует неструктурированные файлы, например PDF, отчёты, презентации, расшифровки и руководства, в чистые данные, разбитые на чанки. Он обрабатывает сложные макеты со встроенными таблицами, иллюстрациями и инфографикой, а также может обогащать, преобразовывать и очищать данные с помощью LLM перед сохранением.
sycamore можно использовать бесплатно? Какая у него лицензия?
sycamore распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
sycamore всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в sycamore — 1 авг. 2026 г..
Для чего можно использовать sycamore?
Подготовка PDF-отчётов и руководств для RAG-приложения Создание индекса гибридного поиска по корпоративным документам в OpenSearch Извлечение структурированных полей из расшифровок или презентаций с помощью LLM Запуск задач ETL для документов в Jupyter Notebook перед загрузкой в векторную базу данных
Как установить sycamore?
Установите основной пакет с помощью pip: pip install sycamore-ai При необходимости установите коннектор к векторной базе данных, например DuckDB: pip install sycamore-ai[duckdb] Зарегистрируйтесь, чтобы получить бесплатную учетную запись Aryn DocParse, и получите ключ API
Где скачать sycamore?
Исходный код и инструкции по установке — на GitHub: https://github.com/aryn-ai/sycamore

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Epsilla — векторная база данных с открытым исходным кодом на C++ для поиска похожих эмбеддингов, с фильтрацией метаданных, гибридным поиском и интеграциями для LLM-поиска.

875+1 за неделю46C++Apache-2.0Обновлён в прошлом месяце