Repolode
Предложить
no-magic-ai

no-magic-ai/no-magic

Подборка из 54 автономных Python-скриптов без зависимостей, в которых современные AI-алгоритмы реализованы с нуля, чтобы можно было разобраться в их устройстве.

Открыть на GitHubСайт
Звёзды
1,433
Форки
105
Открытые issues
3
Последний коммит
5 дней назад

Что это?

no-magic — тщательно подобранная коллекция автономных Python-программ, каждая из которых реализует один AI-алгоритм, используя только стандартную библиотеку. Темы охватывают основы — токенизаторы, GPT, RNN/LSTM, BERT, CNN, ViT, GAN, VAE и diffusion; методы обучения и выравнивания — LoRA, QLoRA, DPO, PPO, GRPO, дистилляцию и mixture of experts; системные методы и методы инференса — Flash Attention, KV-cache, PagedAttention, квантование, speculative decoding и state space models; а также базовые методы для агентов — MCTS, ReAct и бандитские алгоритмы.

Скрипты задуманы как пошаговые разборы, а не как код для продакшена. Большинство обучает небольшую модель на CPU, а затем запускает инференс; некоторые сравнивают разные варианты бок о бок или демонстрируют необученные прямые проходы либо алгоритмы без обучения. Тип каждого скрипта указан в каталоге репозитория. Многие скрипты при первом запуске скачивают датасет имён, остальные генерируют данные самостоятельно.

Проект рассчитан на ML-инженеров, которые хотят разобраться во внутреннем устройстве используемых ими фреймворков, студентов, переходящих от теории к коду, и исследователей, которым нужны минимальные эталонные реализации. Также в проект входят анимированные визуализации, задания, флеш-карточки и офлайн-книга в формате EPUB.

Ключевые возможности

  • 01Каждый алгоритм реализован в отдельном автономном Python-файле без сторонних зависимостей.
  • 0254 алгоритма из областей основ, выравнивания, систем и агентных методов.
  • 03Большинство скриптов обучает небольшую модель на CPU, а затем запускает инференс.
  • 04Включены программы для сравнения вариантов бок о бок, например RNN и GRU, Adam и SGD.
  • 05Для каждого алгоритма доступны анимированные визуализации и колоды флеш-карточек Anki.

Сценарии использования

  • Разобраться, как работают GPT, attention или LoRA, читая и запуская минимальный код.
  • Подготовиться к собеседованиям по ML, изучая реализации основных алгоритмов.
  • Преподавать устройство нейросетей, используя запускаемый эталонный код.
  • Быстро проверить идею из статьи, не подключая тяжёлый фреймворк.

Быстрый старт

  1. 1

    Клонируйте репозиторий

  2. 2

    Запустите скрипт с Python 3.10 или новее

Что важно знать

  • Скрипты представляют собой учебные повторные реализации, а не инструменты для промышленного использования и не замену PyTorch или TensorFlow.
  • Требуется Python 3.10 или новее.

Темы

#machine-learning#deep-learning#transformers#education#pure-python#algorithms#llm#ai-algorithms#no-dependencies#open-soruce

Частые вопросы

Что такое no-magic?
Подборка из 54 автономных Python-скриптов без зависимостей, в которых современные AI-алгоритмы реализованы с нуля, чтобы можно было разобраться в их устройстве. no-magic — тщательно подобранная коллекция автономных Python-программ, каждая из которых реализует один AI-алгоритм, используя только стандартную библиотеку. Темы охватывают основы — токенизаторы, GPT, RNN/LSTM, BERT, CNN, ViT, GAN, VAE и diffusion; методы обучения и выравнивания — LoRA, QLoRA, DPO, PPO, GRPO, дистилляцию и mixture of experts; системные методы и методы инференса — Flash Attention, KV-cache, PagedAttention, квантование, speculative decoding и state space models; а также базовые методы для агентов — MCTS, ReAct и бандитские алгоритмы.
no-magic можно использовать бесплатно? Какая у него лицензия?
no-magic распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
no-magic всё ещё поддерживается?
Активно поддерживается. Последний коммит в no-magic — 15 окт. 2026 г..
Для чего можно использовать no-magic?
Разобраться, как работают GPT, attention или LoRA, читая и запуская минимальный код. Подготовиться к собеседованиям по ML, изучая реализации основных алгоритмов. Преподавать устройство нейросетей, используя запускаемый эталонный код. Быстро проверить идею из статьи, не подключая тяжёлый фреймворк.
Как установить no-magic?
Клонируйте репозиторий Запустите скрипт с Python 3.10 или новее
Где скачать no-magic?
Исходный код и инструкции по установке — на GitHub: https://github.com/no-magic-ai/no-magic

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты