Repolode
Предложить
huggingface

huggingface/smol-course

Практический курс Hugging Face по выравниванию небольших языковых и визуально-языковых моделей, рассчитанный на обычное локальное оборудование.

Открыть на GitHub
Звёзды
6,784
Форки
2,276
Открытые issues
99
Последний коммит
16 дней назад

Что это?

smol course — практический курс по выравниванию языковых моделей для конкретных задач. Он построен на моделях SmolLM3 и SmolVLM2 и рассчитан на работу на большинстве локальных компьютеров с минимальными требованиями к GPU и без платных сервисов.

В курсе рассматриваются дообучение на инструкциях с использованием chat templates, оценка на бенчмарках и в пользовательских предметных областях, выравнивание по предпочтениям с помощью таких методов, как DPO, и адаптация визуально-языковых моделей. Обучение с подкреплением, генерация синтетических данных и таблица лидеров сообщества заявлены как будущие модули.

Материалы открыты и проходят рецензирование сообществом. Участники могут отправлять упражнения, примеры и модели через pull request. Первая версия курса, основанная на Markdown и Jupyter notebooks, хранится в каталоге v1.

Ключевые возможности

  • 01Дообучение на инструкциях с chat templates и supervised fine-tuning
  • 02Оценка моделей на стандартных бенчмарках и в пользовательских предметных областях
  • 03Выравнивание по предпочтениям с помощью алгоритмов, таких как DPO
  • 04Адаптация визуально-языковых моделей для мультимодальных задач
  • 05Работа на большинстве локальных компьютеров с минимальными требованиями к GPU

Сценарии использования

  • Изучение тонкой настройки небольших LLM для конкретной предметной области
  • Настройка компактной модели для выполнения инструкций или учета человеческих предпочтений на ноутбуке
  • Создание собственных наборов для оценки узкоспециализированного приложения
  • Знакомство с адаптацией визуально-языковых моделей

Что важно знать

  • В README предполагается, что читатель уже знаком с Python, PyTorch и библиотекой transformers.
  • Некоторые разделы курса (обучение с подкреплением и синтетические данные) отмечены как ещё не опубликованные.

В подборках

Открытые инструменты для обучения и образования

Темы

#llm#fine-tuning#alignment#vision-language-model#jupyter#education#hugging-face

Частые вопросы

Что такое smol-course?
Практический курс Hugging Face по выравниванию небольших языковых и визуально-языковых моделей, рассчитанный на обычное локальное оборудование. smol course — практический курс по выравниванию языковых моделей для конкретных задач. Он построен на моделях SmolLM3 и SmolVLM2 и рассчитан на работу на большинстве локальных компьютеров с минимальными требованиями к GPU и без платных сервисов.
smol-course можно использовать бесплатно? Какая у него лицензия?
smol-course распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
smol-course всё ещё поддерживается?
Активно поддерживается. Последний коммит в smol-course — 6 окт. 2026 г..
Для чего можно использовать smol-course?
Изучение тонкой настройки небольших LLM для конкретной предметной области Настройка компактной модели для выполнения инструкций или учета человеческих предпочтений на ноутбуке Создание собственных наборов для оценки узкоспециализированного приложения Знакомство с адаптацией визуально-языковых моделей
Где скачать smol-course?
Исходный код и инструкции по установке — на GitHub: https://github.com/huggingface/smol-course

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты