Python-фреймворк для сжатия нейросетей с помощью квантования, прореживания и разреживания, ускоряющий инференс в OpenVINO, PyTorch и ONNX.
datawhalechina/torch-rechub
Фреймворк на PyTorch для создания рекомендательных моделей: более 30 встроенных моделей ранжирования, матчинга, многозадачных и генеративных моделей, а также экспорт в ONNX.
- Звёзды
- 1,233
- Форки
- 158
- Открытые issues
- 4
- Последний коммит
- 4 часа назад
Что это?
Torch-RecHub — фреймворк на базе PyTorch для создания рекомендательных систем. В него входит библиотека классических и современных рекомендательных моделей: модели ранжирования CTR, такие как DeepFM и DCN, двухбашенные и последовательностные модели матчинга, такие как DSSM и SASRec, многозадачные модели, такие как MMoE и PLE, а также генеративные рекомендательные модели, такие как HSTU и TIGER. Для обучения каждой модели используются общие тренеры для задач CTR, матчинга и многозадачного обучения, а также унифицированные процессы загрузки данных и оценки качества.
Фреймворк построен по модульному принципу: новые модели, наборы данных и метрики можно добавлять, не переписывая весь конвейер. Обученные модели можно экспортировать в ONNX для развёртывания. Фреймворк работает на CPU, NVIDIA CUDA, AMD ROCm и Huawei Ascend NPU. Дополнительно доступны интеграции с Annoy, FAISS и Milvus для векторного поиска, обработка данных, совместимая с PySpark, через PyArrow, а также отслеживание экспериментов с помощью WandB, SwanLab или TensorBoardX.
Ключевые возможности
- 01Реализует более 30 моделей ранжирования, матчинга, многозадачных и генеративных рекомендательных моделей.
- 02Предоставляет унифицированные тренеры и загрузчики данных для обучения моделей CTR, матчинга и многозадачных моделей.
- 03Экспортирует обученные модели в ONNX для развёртывания в production.
- 04Работает на CPU, GPU NVIDIA, AMD ROCm и Huawei Ascend NPU.
- 05Интегрируется с WandB, SwanLab и TensorBoardX для отслеживания экспериментов.
- 06Предлагает опциональную поддержку FAISS, Annoy и Milvus для векторного поиска.
Сценарии использования
- Создание прототипов моделей прогнозирования CTR на таких наборах данных, как Criteo или Avazu.
- Создание двухбашенных моделей поиска с возможностью раздельно экспортировать башни пользователей и объектов.
- Обучение многозадачных моделей ранжирования для совместной оптимизации таких целей, как клики и конверсии.
- Эксперименты с генеративными методами рекомендаций и методами на основе LLM, такими как HSTU и HLLM.
Быстрый старт
- 1
Установите PyTorch и пакет с помощью pip
pip install torch && pip install torch-rechub - 2
Клонируйте репозиторий
git clone https://github.com/datawhalechina/torch-rechub.git - 3
Установите зависимости с помощью uv
uv sync - 4
Запустите пример сопоставления DSSM из соответствующей папки
cd examples/matching && python run_ml_dssm.py
Что важно знать
- Требуется сборка PyTorch, совместимая с вашим оборудованием, драйвером и средой выполнения; её настройка может потребовать времени.
- Для некоторых функций, таких как экспорт в ONNX, визуализация и отслеживание, нужно отдельно установить дополнительные компоненты.
Темы
Частые вопросы
- Что такое torch-rechub?
- Фреймворк на PyTorch для создания рекомендательных моделей: более 30 встроенных моделей ранжирования, матчинга, многозадачных и генеративных моделей, а также экспорт в ONNX. Torch-RecHub — фреймворк на базе PyTorch для создания рекомендательных систем. В него входит библиотека классических и современных рекомендательных моделей: модели ранжирования CTR, такие как DeepFM и DCN, двухбашенные и последовательностные модели матчинга, такие как DSSM и SASRec, многозадачные модели, такие как MMoE и PLE, а также генеративные рекомендательные модели, такие как HSTU и TIGER. Для обучения каждой модели используются общие тренеры для задач CTR, матчинга и многозадачного обучения, а также унифицированные процессы загрузки данных и оценки качества.
- torch-rechub можно использовать бесплатно? Какая у него лицензия?
- torch-rechub распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- torch-rechub всё ещё поддерживается?
- Активно поддерживается. Последний коммит в torch-rechub — 22 окт. 2026 г..
- Для чего можно использовать torch-rechub?
- Создание прототипов моделей прогнозирования CTR на таких наборах данных, как Criteo или Avazu. Создание двухбашенных моделей поиска с возможностью раздельно экспортировать башни пользователей и объектов. Обучение многозадачных моделей ранжирования для совместной оптимизации таких целей, как клики и конверсии. Эксперименты с генеративными методами рекомендаций и методами на основе LLM, такими как HSTU и HLLM.
- Как установить torch-rechub?
- Установите PyTorch и пакет с помощью pip: pip install torch && pip install torch-rechub Клонируйте репозиторий: git clone https://github.com/datawhalechina/torch-rechub.git Установите зависимости с помощью uv: uv sync Запустите пример сопоставления DSSM из соответствующей папки: cd examples/matching && python run_ml_dssm.py
- Где скачать torch-rechub?
- Исходный код и инструкции по установке — на GitHub: https://github.com/datawhalechina/torch-rechub
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Бесплатная книга на китайском языке и примеры кода для изучения PyTorch: от основ до CV, NLP, приложений на базе LLM и развёртывания.
Ultralytics YOLOv5 — библиотека компьютерного зрения на базе PyTorch для детекции объектов, сегментации экземпляров и классификации изображений, с обучением и экспортом моделей.
Просмотрщик моделей нейросетей, глубокого и машинного обучения с поддержкой ONNX, TensorFlow, PyTorch, Core ML и многих других форматов.
Высокопроизводительный фреймворк на C++ для инференса моделей глубокого обучения на мобильных, встраиваемых и настольных устройствах.
Кроссплатформенный ускоритель для запуска ML-моделей, экспортированных в формат ONNX, с поддержкой обучения с помощью PyTorch-скриптов.