Система на Python для запуска LLM-пайплайнов map-reduce и ETL над большими объёмами структурированных и неструктурированных данных по описанию на естественном языке.
aryn-ai/sycamore
Python-фреймворк для ETL, RAG и аналитики неструктурированных документов: AI-разбиение на части, чанкинг и загрузка в векторные и гибридные поисковые базы данных.
- Звёзды
- 605
- Форки
- 71
- Открытые issues
- 56
- Последний коммит
- 3 месяца назад
Что это?
Sycamore — движок обработки документов, который преобразует неструктурированные файлы, например PDF, отчёты, презентации, расшифровки и руководства, в чистые данные, разбитые на чанки. Он обрабатывает сложные макеты со встроенными таблицами, иллюстрациями и инфографикой, а также может обогащать, преобразовывать и очищать данные с помощью LLM перед сохранением.
Обработка строится вокруг абстракции DocSet — функционального конвейера на Python, который работает на масштабируемом бэкенде Ray. Для разбиения документов на части можно использовать хостинговый сервис Aryn DocParse или локально запущенный инструмент разбиения; пользователи сами выбирают LLM для преобразований.
Проект предоставляет коннекторы для загрузки результатов в векторные и гибридные поисковые хранилища, например OpenSearch, Elasticsearch, Pinecone, DuckDB, Qdrant и Weaviate. Их можно установить как pip extras. Поддерживаются Linux и macOS.
Ключевые возможности
- 01Разбивает PDF-файлы и изображения с таблицами, иллюстрациями и инфографикой на части с помощью модели распознавания макета
- 02Абстракция DocSet для масштабируемых функциональных преобразований документов
- 03Пользовательские функции на базе LLM для извлечения данных, обогащения и очистки
- 04Загружает чанки в OpenSearch, Elasticsearch, Pinecone, DuckDB, Qdrant и Weaviate
- 05Масштабирует обработку на бэкенде Ray
Сценарии использования
- Подготовка PDF-отчётов и руководств для RAG-приложения
- Создание индекса гибридного поиска по корпоративным документам в OpenSearch
- Извлечение структурированных полей из расшифровок или презентаций с помощью LLM
- Запуск задач ETL для документов в Jupyter Notebook перед загрузкой в векторную базу данных
Быстрый старт
- 1
Установите основной пакет с помощью pip
pip install sycamore-ai - 2
При необходимости установите коннектор к векторной базе данных, например DuckDB
pip install sycamore-ai[duckdb] - 3
Зарегистрируйтесь, чтобы получить бесплатную учетную запись Aryn DocParse, и получите ключ API
Что важно знать
- Согласно README, работает в Linux и Mac OS.
- Для использования сервиса Aryn DocParse необходимо зарегистрироваться и получить ключ API.
Темы
Частые вопросы
- Что такое sycamore?
- Python-фреймворк для ETL, RAG и аналитики неструктурированных документов: AI-разбиение на части, чанкинг и загрузка в векторные и гибридные поисковые базы данных. Sycamore — движок обработки документов, который преобразует неструктурированные файлы, например PDF, отчёты, презентации, расшифровки и руководства, в чистые данные, разбитые на чанки. Он обрабатывает сложные макеты со встроенными таблицами, иллюстрациями и инфографикой, а также может обогащать, преобразовывать и очищать данные с помощью LLM перед сохранением.
- sycamore можно использовать бесплатно? Какая у него лицензия?
- sycamore распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- sycamore всё ещё поддерживается?
- Обновлялся за последние 6 месяцев. Последний коммит в sycamore — 1 авг. 2026 г..
- Для чего можно использовать sycamore?
- Подготовка PDF-отчётов и руководств для RAG-приложения Создание индекса гибридного поиска по корпоративным документам в OpenSearch Извлечение структурированных полей из расшифровок или презентаций с помощью LLM Запуск задач ETL для документов в Jupyter Notebook перед загрузкой в векторную базу данных
- Как установить sycamore?
- Установите основной пакет с помощью pip: pip install sycamore-ai При необходимости установите коннектор к векторной базе данных, например DuckDB: pip install sycamore-ai[duckdb] Зарегистрируйтесь, чтобы получить бесплатную учетную запись Aryn DocParse, и получите ключ API
- Где скачать sycamore?
- Исходный код и инструкции по установке — на GitHub: https://github.com/aryn-ai/sycamore
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Локальная AI-система памяти: хранит историю диалогов без изменений и находит нужное с помощью семантического поиска; доступна как MCP-сервер и CLI.
Открытая векторная база данных для AI-приложений: хранит документы и векторы для семантического, гибридного и полнотекстового поиска.
Бэкенд на FastAPI для разговорного RAG-агента: загружает документы в Qdrant, выполняет семантический и гибридный поиск и отвечает на вопросы с помощью LLM.
Набор инструментов для поиска от BAAI: модели эмбеддингов и реранкеров BGE, а также средства обучения, оценки и руководства для поиска и RAG.
Epsilla — векторная база данных с открытым исходным кодом на C++ для поиска похожих эмбеддингов, с фильтрацией метаданных, гибридным поиском и интеграциями для LLM-поиска.