Repolode
Предложить
afshinea

afshinea/stanford-cme-295-transformers-large-language-models

Шпаргалка и учебное пособие по курсу Stanford CME 295, кратко охватывающие Transformers и большие языковые модели.

Открыть на GitHub
Звёзды
4,967
Форки
722
Открытые issues
8
Последний коммит
в прошлом месяце

Что это?

В этом репозитории собраны ключевые понятия курса Stanford CME 295 по Transformers и большим языковым моделям в виде одной шпаргалки. Здесь рассматриваются основы Transformers, включая self-attention и варианты архитектуры, а затем темы, связанные с LLM: промптинг, методы дообучения, такие как SFT и LoRA, и настройка предпочтений с помощью RLHF и DPO.

Также в материалах рассматриваются обучение, ориентированное на решение задач, включая RLVR и OPD, оптимизации вроде распределённого обучения, KV-кэширования и speculative decoding, а также такие области применения, как AI-агенты, оценка моделей и diffusion LLM. Материалы представлены в виде PDF-шпаргалки, доступной на многих языках, и кратко излагают содержание более подробной сопутствующей книги с несколькими сотнями иллюстраций.

Ключевые возможности

  • 01Разбирает основы Transformers, включая self-attention и варианты архитектуры
  • 02Объясняет дообучение LLM с помощью SFT и LoRA, а также настройку предпочтений с RLHF и DPO
  • 03Кратко описывает методы обучения рассуждению, такие как RLVR и OPD
  • 04Перечисляет оптимизации инференса, включая KV-кэширование и speculative decoding
  • 05Доступна для скачивания в формате PDF на многих языках

Сценарии использования

  • Повторить основные понятия LLM и Transformers перед собеседованием или экзаменом
  • Быстро ознакомиться с современными конвейерами обучения LLM
  • Использовать для занятий по курсу CME 295 или как дополнение к нему

Темы

#transformers#llm#deep-learning#fine-tuning#study-guide#cheatsheet#attention-mechanism

Частые вопросы

Что такое stanford-cme-295-transformers-large-language-models?
Шпаргалка и учебное пособие по курсу Stanford CME 295, кратко охватывающие Transformers и большие языковые модели. В этом репозитории собраны ключевые понятия курса Stanford CME 295 по Transformers и большим языковым моделям в виде одной шпаргалки. Здесь рассматриваются основы Transformers, включая self-attention и варианты архитектуры, а затем темы, связанные с LLM: промптинг, методы дообучения, такие как SFT и LoRA, и настройка предпочтений с помощью RLHF и DPO.
stanford-cme-295-transformers-large-language-models можно использовать бесплатно? Какая у него лицензия?
stanford-cme-295-transformers-large-language-models распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
stanford-cme-295-transformers-large-language-models всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в stanford-cme-295-transformers-large-language-models — 13 сент. 2026 г..
Для чего можно использовать stanford-cme-295-transformers-large-language-models?
Повторить основные понятия LLM и Transformers перед собеседованием или экзаменом Быстро ознакомиться с современными конвейерами обучения LLM Использовать для занятий по курсу CME 295 или как дополнение к нему
Где скачать stanford-cme-295-transformers-large-language-models?
Исходный код и инструкции по установке — на GitHub: https://github.com/afshinea/stanford-cme-295-transformers-large-language-models

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты