Un motor RAG sin vectores que crea un índice jerárquico en forma de árbol para documentos extensos y permite que un LLM lo recorra para encontrar respuestas.
PageIndex es un framework de recuperación para documentos extensos y complejos, como informes financieros, documentos judiciales, manuales técnicos y libros de texto. En lugar de dividir el texto en fragmentos y guardar embeddings en una base de datos vectorial, genera un índice jerárquico en forma de árbol para cada documento y hace que un LLM busque en él las secciones relevantes, de forma similar a como una persona consultaría un índice.
El proyecto ofrece un SDK de Python (pip install pageindex) con un modo local que crea y guarda índices en tu máquina usando tu propia clave de API de LLM, y un modo en la nube donde PageIndex Cloud se encarga de la indexación, el OCR, la comprensión de imágenes y el almacenamiento. El modo local está pensado para archivos PDF basados en texto, mientras que el modo en la nube también admite documentos escaneados y con muchas imágenes. Las respuestas incluyen referencias a la fuente: a nivel de página en el modo local y a nivel de bloque en la nube.
El README informa de resultados de benchmarks en FinanceBench y de una comparación de costos con el envío de archivos PDF completos a un modelo, pero estas mediciones son de los propios autores.
Instala el paquete PageIndex
pip install -U pageindexConfigura tu clave de API de OpenAI, crea un índice de árbol a partir de un PDF y luego haz una pregunta
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
CLI y espacio de trabajo web que convierte documentos sin procesar en una wiki Markdown interconectada y mantenida por un LLM, con recuperación en árbol de PageIndex para archivos extensos.
Aplicación de escritorio de código abierto y aislada de la red: un agente de IA al estilo NotebookLM que investiga, transforma y edita tus documentos locales.
Plataforma autoalojada para crear agentes y asistentes de IA que responden preguntas sobre tus documentos, con citas y cualquier modelo.
Implementación en Python de Tree of Thoughts, que permite a los LLM resolver problemas buscando entre pasos de razonamiento candidatos en lugar de responder en una sola pasada.
Una biblioteca de Python al estilo de PyTorch para crear flujos de trabajo con LLM, como chatbots, RAG y agentes, y optimizar prompts automáticamente.
Entorno de ejecución de memoria local y basada en evidencias para agentes de IA que filtra las escrituras, registra cambios en los hechos a lo largo del tiempo y explica cada resultado recuperado.