feyninc/chonkie

Что это?

Ключевые возможности

• 01Несколько стратегий разбиения на чанки: по токенам, предложениям, рекурсивная, семантическая, ориентированная на код и основанная на LLM.
• 02Refineries добавляют чанкам перекрывающийся контекст или эмбеддинги.
• 03Porters экспортируют чанки в JSON или наборы данных Hugging Face.
• 04Handshakes записывают чанки в векторные базы данных, например Qdrant, Pinecone и pgvector.
• 05Pipeline API позволяет объединять шаги в цепочку и выполнять их синхронно или асинхронно.
• 06Собственный REST API через CLI или Docker.

Сценарии использования

• Подготовка документов для RAG-пайплайна перед созданием эмбеддингов и сохранением в векторной базе данных.
• Сравнение разных стратегий разбиения на чанки на одном корпусе через единый интерфейс.
• Разбиение исходного кода или таблиц в Markdown на чанки с помощью стратегий, учитывающих структуру.
• Запуск общей службы разбиения на чанки для нескольких приложений через REST API.

Быстрый старт

1. 1

   Установите Chonkie с помощью pip

   pip install chonkie
2. 2

   Импортируйте chunker, создайте его и вызовите для своего текста

Что важно знать

• !Для дополнительных интеграций и chunker’ов нужны отдельные установки, например chonkie[semantic] или chonkie[tiktoken].
• !Установка all-in-one помечена как не рекомендованная для production-сред.

В подборках

Темы

Частые вопросы

Что такое chonkie?

Лёгкая библиотека для Python, которая разбивает текст на чанки для RAG-пайплайнов и предлагает разные стратегии разбиения, обработчики и интеграции с векторными базами данных. Chonkie — библиотека для Python, которая разбивает текст на чанки. Это этап предварительной обработки, необходимый RAG-пайплайнам перед созданием эмбеддингов документов. В библиотеке есть разные стратегии: разбиение на фрагменты фиксированного размера в токенах или по предложениям, а также рекурсивное, семантическое, ориентированное на код и управляемое LLM разбиение. Все они вызываются через простой интерфейс.

chonkie можно использовать бесплатно? Какая у него лицензия?

chonkie распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

chonkie всё ещё поддерживается?

Активно поддерживается. Последний коммит в chonkie — 20 окт. 2026 г..

Для чего можно использовать chonkie?

Подготовка документов для RAG-пайплайна перед созданием эмбеддингов и сохранением в векторной базе данных. Сравнение разных стратегий разбиения на чанки на одном корпусе через единый интерфейс. Разбиение исходного кода или таблиц в Markdown на чанки с помощью стратегий, учитывающих структуру. Запуск общей службы разбиения на чанки для нескольких приложений через REST API.

Как установить chonkie?

Установите Chonkie с помощью pip: pip install chonkie Импортируйте chunker, создайте его и вызовите для своего текста

Где скачать chonkie?

Исходный код и инструкции по установке — на GitHub: https://github.com/feyninc/chonkie