Sistema em Python para executar pipelines de map-reduce e ETL com LLMs sobre grandes volumes de dados estruturados e não estruturados, descritos em linguagem natural.
4,2 mil+42 esta semana465PythonMITAtualizado há 8 dias
aryn-ai/sycamore
Framework Python para ETL, RAG e análise de documentos não estruturados, com particionamento, divisão em chunks e carregamento em bancos de busca vetorial e híbrida com IA.
- Estrelas
- 605
- Forks
- 71
- Issues abertas
- 56
- Último commit
- há 3 meses
O que é?
Sycamore é um mecanismo de processamento de documentos que transforma arquivos não estruturados, como PDFs, relatórios, apresentações, transcrições e manuais, em dados limpos e divididos em chunks. Ele lida com layouts complexos, incluindo tabelas, figuras e infográficos incorporados, e pode aplicar enriquecimento, transformações e limpeza com LLMs antes de armazenar os dados.
O processamento é organizado em torno da abstração DocSet, um pipeline funcional baseado em Python que roda em um backend escalável do Ray. O particionamento de documentos pode usar o serviço hospedado Aryn DocParse ou um particionador executado localmente, e os usuários escolhem quais LLMs serão usados nas transformações.
O projeto oferece conectores para carregar os resultados em bancos de busca vetorial e híbrida, como OpenSearch, Elasticsearch, Pinecone, DuckDB, Qdrant e Weaviate, instaláveis como extras do pip. É compatível com Linux e macOS.
Recursos principais
- 01Particiona PDFs e imagens com tabelas, figuras e infográficos usando um modelo de detecção de layout
- 02Abstração DocSet para transformações funcionais e escaláveis de documentos
- 03Funções definidas pelo usuário com LLMs para extração, enriquecimento e limpeza
- 04Carrega chunks no OpenSearch, Elasticsearch, Pinecone, DuckDB, Qdrant e Weaviate
- 05Escala o processamento usando um backend do Ray
Casos de uso
- Preparar relatórios e manuais em PDF para uma aplicação RAG
- Criar um índice de busca híbrida para documentos corporativos no OpenSearch
- Extrair campos estruturados de transcrições ou apresentações com LLMs
- Executar tarefas de ETL de documentos em um notebook Jupyter antes de carregar os dados em um banco vetorial
Início rápido
- 1
Instale o pacote principal com pip
pip install sycamore-ai - 2
Opcionalmente, instale um conector de banco de dados vetorial, como o DuckDB
pip install sycamore-ai[duckdb] - 3
Inscreva-se para criar uma conta gratuita no Aryn DocParse e obtenha uma chave de API
Antes de usar
- De acordo com o README, funciona no Linux e no Mac OS.
- Para usar o serviço Aryn DocParse, é necessário se inscrever e obter uma chave de API.
Tópicos
Perguntas frequentes
- O que é sycamore?
- Framework Python para ETL, RAG e análise de documentos não estruturados, com particionamento, divisão em chunks e carregamento em bancos de busca vetorial e híbrida com IA. Sycamore é um mecanismo de processamento de documentos que transforma arquivos não estruturados, como PDFs, relatórios, apresentações, transcrições e manuais, em dados limpos e divididos em chunks. Ele lida com layouts complexos, incluindo tabelas, figuras e infográficos incorporados, e pode aplicar enriquecimento, transformações e limpeza com LLMs antes de armazenar os dados.
- sycamore é gratuito? Qual é a licença?
- sycamore é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- sycamore ainda é mantido?
- Atualizado nos últimos 6 meses. O último commit de sycamore foi em 1 de ago. de 2026.
- Para que posso usar sycamore?
- Preparar relatórios e manuais em PDF para uma aplicação RAG Criar um índice de busca híbrida para documentos corporativos no OpenSearch Extrair campos estruturados de transcrições ou apresentações com LLMs Executar tarefas de ETL de documentos em um notebook Jupyter antes de carregar os dados em um banco vetorial
- Como instalar sycamore?
- Instale o pacote principal com pip: pip install sycamore-ai Opcionalmente, instale um conector de banco de dados vetorial, como o DuckDB: pip install sycamore-ai[duckdb] Inscreva-se para criar uma conta gratuita no Aryn DocParse e obtenha uma chave de API
- Onde consigo sycamore?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/aryn-ai/sycamore
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Sistema de memória de IA local-first que armazena o histórico de conversas na íntegra e o recupera por busca semântica, com acesso via servidor MCP e CLI.
60,5 mil+262 esta semana7,7 milPythonMITAtualizado há 17 horas
Banco de dados open source de embeddings para apps de IA, que armazena documentos e vetores para buscas semânticas, híbridas e de texto completo.
29,7 mil+36 esta semana2,6 milRustApache-2.0Atualizado há 18 horas
Camada de memória em um único arquivo para agentes de IA, que armazena embeddings, índices de busca e metadados em um arquivo .mv2, sem precisar de um pipeline RAG baseado em servidor.
17,4 mil1,5 milRustApache-2.0Atualizado há 4 meses
Backend FastAPI para um agente conversacional de RAG que incorpora documentos no Qdrant, faz buscas semânticas e híbridas e responde a perguntas com LLMs.
25744PythonMITBem mantidoAtualizado há 8 dias
Toolkit de recuperação de informações da BAAI com modelos BGE de embeddings e reranking, além de recursos para treinamento, avaliação e tutoriais de busca e RAG.
12,3 mil+13 esta semana947PythonMITAtualizado há 12 dias