Repolode
codelion

codelion/adaptive-classifier

Python-библиотека для классификации текстов, которая на лету обучается на новых примерах и классах, калибрует уверенность и выявляет выход за пределы распределения.

Звёзды
577
Форки
43
Открытые issues
2
Последний коммит
5 дней назад

Что это?

Adaptive Classifier — Python-библиотека для классификации текстов на базе PyTorch и энкодеров-трансформеров HuggingFace. Каждый класс представлен эмбеддингами прототипов, хранящимися в FAISS; небольшой обучаемый нейросетевой блок объединяется со сходством прототипов для получения предсказаний. Новые примеры и классы можно добавлять на лету без переобучения всей модели, а примеры или классы — удалять.

Библиотека охватывает и практическую эксплуатацию классификатора: калибровку оценок уверенности на отложенных данных, выдачу наборов предсказаний с заданным уровнем покрытия, отказ от предсказаний для входных данных с низкой уверенностью или выходящих за пределы распределения, подбор неразмеченных текстов для аннотации и обнаружение дрейфа во входящем трафике. Модели можно сохранять локально или публиковать в HuggingFace Hub; для более быстрого CPU-инференса предусмотрен экспорт в ONNX.

В библиотеке есть классификатор с поддержкой нескольких меток, оценщик, совместимый со scikit-learn, и модуль HTTP-сервера. Также проект включает экспериментальный режим стратегической классификации, который объединяет предсказания с моделью манипуляций со стороны противника, учитывающей затраты.

Ключевые возможности

  • 01Добавляет новые классы и примеры на лету без переобучения всей модели
  • 02Удаляет ошибочные примеры или целые классы после обучения
  • 03Калибрует уверенность и возвращает наборы предсказаний с заданным уровнем покрытия
  • 04Выявляет входные данные, выходящие за пределы распределения, и может отказаться от предсказания
  • 05Подбирает неразмеченные тексты для разметки и сообщает о дрейфе данных
  • 06Экспортирует модели в ONNX для более быстрого CPU-инференса и предоставляет HTTP-сервер

Сценарии использования

  • Распределение обращений в поддержку или писем по категориям, которые со временем меняются
  • Классификация контента, где часто появляются новые метки, а переобучение обходится дорого
  • Создание классификатора текстов с использованием scikit-learn Pipeline и кросс-валидации
  • Маршрутизация запросов к LLM на модели разных уровней в зависимости от предсказанной сложности

Быстрый старт

  1. 1

    Установите библиотеку из PyPI

    pip install adaptive-classifier
  2. 2

    Импортируйте классификатор и инициализируйте его с моделью HuggingFace

  3. 3

    Добавьте обучающие примеры с соответствующими метками

  4. 4

    Вызовите predict для нового текста, чтобы получить оценки уверенности для каждого класса

Что важно знать

  • Предсказания зависят от выбранного энкодера HuggingFace, а примеры в README скачивают большие модели Transformer.

В подборках

Темы

#text-classification#continuous-learning#transformers#pytorch#faiss#onnx#online-learning#nlp#adaptive-learning#adaptive-neural-network

Частые вопросы

Что такое adaptive-classifier?
Python-библиотека для классификации текстов, которая на лету обучается на новых примерах и классах, калибрует уверенность и выявляет выход за пределы распределения. Adaptive Classifier — Python-библиотека для классификации текстов на базе PyTorch и энкодеров-трансформеров HuggingFace. Каждый класс представлен эмбеддингами прототипов, хранящимися в FAISS; небольшой обучаемый нейросетевой блок объединяется со сходством прототипов для получения предсказаний. Новые примеры и классы можно добавлять на лету без переобучения всей модели, а примеры или классы — удалять.
adaptive-classifier можно использовать бесплатно? Какая у него лицензия?
adaptive-classifier распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
adaptive-classifier всё ещё поддерживается?
Активно поддерживается. Последний коммит в adaptive-classifier — 2 нояб. 2026 г..
Для чего можно использовать adaptive-classifier?
Распределение обращений в поддержку или писем по категориям, которые со временем меняются Классификация контента, где часто появляются новые метки, а переобучение обходится дорого Создание классификатора текстов с использованием scikit-learn Pipeline и кросс-валидации Маршрутизация запросов к LLM на модели разных уровней в зависимости от предсказанной сложности
Как установить adaptive-classifier?
Установите библиотеку из PyPI: pip install adaptive-classifier Импортируйте классификатор и инициализируйте его с моделью HuggingFace Добавьте обучающие примеры с соответствующими метками Вызовите predict для нового текста, чтобы получить оценки уверенности для каждого класса
Где скачать adaptive-classifier?
Исходный код и инструкции по установке — на GitHub: https://github.com/codelion/adaptive-classifier

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Мощная NLP-библиотека для Python и Cython: токенизация, предобученные пайплайны и модели для разметки, синтаксического анализа и распознавания сущностей.

34 тыс.+31 за неделю4,7 тыс.PythonMITОбновлён 11 дней назад

Набор инструментов Hugging Face для экспорта и запуска моделей Transformers, Diffusers, TIMM и Sentence-Transformers на целевом оборудовании с оптимизированными инференсом и обучением.

3,5 тыс.+3 за неделю719PythonApache-2.0Обновлён 5 дней назад