Мощная NLP-библиотека для Python и Cython: токенизация, предобученные пайплайны и модели для разметки, синтаксического анализа и распознавания сущностей.
codelion/adaptive-classifier
Python-библиотека для классификации текстов, которая на лету обучается на новых примерах и классах, калибрует уверенность и выявляет выход за пределы распределения.
- Звёзды
- 577
- Форки
- 43
- Открытые issues
- 2
- Последний коммит
- 5 дней назад
Что это?
Adaptive Classifier — Python-библиотека для классификации текстов на базе PyTorch и энкодеров-трансформеров HuggingFace. Каждый класс представлен эмбеддингами прототипов, хранящимися в FAISS; небольшой обучаемый нейросетевой блок объединяется со сходством прототипов для получения предсказаний. Новые примеры и классы можно добавлять на лету без переобучения всей модели, а примеры или классы — удалять.
Библиотека охватывает и практическую эксплуатацию классификатора: калибровку оценок уверенности на отложенных данных, выдачу наборов предсказаний с заданным уровнем покрытия, отказ от предсказаний для входных данных с низкой уверенностью или выходящих за пределы распределения, подбор неразмеченных текстов для аннотации и обнаружение дрейфа во входящем трафике. Модели можно сохранять локально или публиковать в HuggingFace Hub; для более быстрого CPU-инференса предусмотрен экспорт в ONNX.
В библиотеке есть классификатор с поддержкой нескольких меток, оценщик, совместимый со scikit-learn, и модуль HTTP-сервера. Также проект включает экспериментальный режим стратегической классификации, который объединяет предсказания с моделью манипуляций со стороны противника, учитывающей затраты.
Ключевые возможности
- 01Добавляет новые классы и примеры на лету без переобучения всей модели
- 02Удаляет ошибочные примеры или целые классы после обучения
- 03Калибрует уверенность и возвращает наборы предсказаний с заданным уровнем покрытия
- 04Выявляет входные данные, выходящие за пределы распределения, и может отказаться от предсказания
- 05Подбирает неразмеченные тексты для разметки и сообщает о дрейфе данных
- 06Экспортирует модели в ONNX для более быстрого CPU-инференса и предоставляет HTTP-сервер
Сценарии использования
- Распределение обращений в поддержку или писем по категориям, которые со временем меняются
- Классификация контента, где часто появляются новые метки, а переобучение обходится дорого
- Создание классификатора текстов с использованием scikit-learn Pipeline и кросс-валидации
- Маршрутизация запросов к LLM на модели разных уровней в зависимости от предсказанной сложности
Быстрый старт
- 1
Установите библиотеку из PyPI
pip install adaptive-classifier - 2
Импортируйте классификатор и инициализируйте его с моделью HuggingFace
- 3
Добавьте обучающие примеры с соответствующими метками
- 4
Вызовите predict для нового текста, чтобы получить оценки уверенности для каждого класса
Что важно знать
- Предсказания зависят от выбранного энкодера HuggingFace, а примеры в README скачивают большие модели Transformer.
В подборках
Темы
Частые вопросы
- Что такое adaptive-classifier?
- Python-библиотека для классификации текстов, которая на лету обучается на новых примерах и классах, калибрует уверенность и выявляет выход за пределы распределения. Adaptive Classifier — Python-библиотека для классификации текстов на базе PyTorch и энкодеров-трансформеров HuggingFace. Каждый класс представлен эмбеддингами прототипов, хранящимися в FAISS; небольшой обучаемый нейросетевой блок объединяется со сходством прототипов для получения предсказаний. Новые примеры и классы можно добавлять на лету без переобучения всей модели, а примеры или классы — удалять.
- adaptive-classifier можно использовать бесплатно? Какая у него лицензия?
- adaptive-classifier распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- adaptive-classifier всё ещё поддерживается?
- Активно поддерживается. Последний коммит в adaptive-classifier — 2 нояб. 2026 г..
- Для чего можно использовать adaptive-classifier?
- Распределение обращений в поддержку или писем по категориям, которые со временем меняются Классификация контента, где часто появляются новые метки, а переобучение обходится дорого Создание классификатора текстов с использованием scikit-learn Pipeline и кросс-валидации Маршрутизация запросов к LLM на модели разных уровней в зависимости от предсказанной сложности
- Как установить adaptive-classifier?
- Установите библиотеку из PyPI: pip install adaptive-classifier Импортируйте классификатор и инициализируйте его с моделью HuggingFace Добавьте обучающие примеры с соответствующими метками Вызовите predict для нового текста, чтобы получить оценки уверенности для каждого класса
- Где скачать adaptive-classifier?
- Исходный код и инструкции по установке — на GitHub: https://github.com/codelion/adaptive-classifier
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Запускайте модели Hugging Face Transformers прямо в браузере или JavaScript-среде без сервера — с помощью ONNX Runtime.
Набор инструментов Hugging Face для экспорта и запуска моделей Transformers, Diffusers, TIMM и Sentence-Transformers на целевом оборудовании с оптимизированными инференсом и обучением.
Компоненты и архитектуры spaCy для интеграции в пайплайны spaCy моделей-трансформеров Hugging Face, таких как BERT, RoBERTa и XLNet.
Модульная кодовая база на PyTorch и Hugging Face для создания, обучения и оценки компактных больших мультимодальных моделей (vision-language).
Инструментарий на Python для разбиения текста на предложения и другие смысловые фрагменты с предобученными моделями SaT и WtP для 85 языков.