Repolode
提交项目
no-magic-ai

no-magic-ai/no-magic

54 个无依赖、单文件的 Python 脚本，从零实现现代 AI 核心算法，便于读懂其底层原理。

在 GitHub 查看官网
Star
1,433
Fork
105
未关闭 Issue
3
最近提交
5天前

这是什么？

no-magic 是一组精选的单文件 Python 程序，每个脚本仅使用标准库实现一种 AI 算法。内容涵盖基础部分的分词器、GPT、RNN/LSTM、BERT、CNN、ViT、GAN、VAE 和扩散模型；对齐与训练部分的 LoRA、QLoRA、DPO、PPO、GRPO、知识蒸馏和混合专家模型；系统与推理部分的 Flash Attention、KV-cache、PagedAttention、量化、投机解码和状态空间模型；以及 MCTS、ReAct、多臂老虎机等智能体基础方法。

脚本以可逐步阅读的教学方式编写，而非生产代码。多数脚本在 CPU 上训练一个小模型并完成推理，部分脚本则并列对比多种变体，或演示未训练的前向计算与非学习类算法。每个脚本的类型都记录在仓库目录中。许多脚本首次运行时会下载姓名数据集，其余脚本自行生成数据。

该项目适合希望理解所用框架底层原理的机器学习工程师、从理论转向实践的学生，以及需要极简参考实现的研究人员。仓库还提供动画可视化、练习题、记忆卡片和离线 EPUB 电子书。

核心功能

  • 01每种算法都封装在一个独立的 Python 文件中，无第三方依赖。
  • 02覆盖基础、对齐、系统与智能体四个层次共 54 种算法。
  • 03多数脚本在 CPU 上训练小模型并完成推理。
  • 04提供并列对比程序，例如 RNN 与 GRU、Adam 与 SGD。
  • 05为每种算法提供动画可视化，并附带 Anki 记忆卡片。

适用场景

  • 通过阅读和运行极简代码，理解 GPT、注意力机制或 LoRA 的工作方式。
  • 通过逐一梳理核心算法实现，准备机器学习面试。
  • 用可运行的参考代码讲授神经网络底层原理课程。
  • 在不引入大型框架的前提下，快速验证论文中的想法。

快速上手

  1. 1

    克隆仓库

  2. 2

    使用 Python 3.10+ 运行脚本

使用前须知

  • 脚本是用于教学的重新实现，并非生产工具，也不能替代 PyTorch 或 TensorFlow。
  • 需要 Python 3.10 或更高版本。

标签

#machine-learning#deep-learning#transformers#education#pure-python#algorithms#llm#ai-algorithms#no-dependencies#open-soruce

常见问题

no-magic 是什么？
54 个无依赖、单文件的 Python 脚本，从零实现现代 AI 核心算法，便于读懂其底层原理。 no-magic 是一组精选的单文件 Python 程序，每个脚本仅使用标准库实现一种 AI 算法。内容涵盖基础部分的分词器、GPT、RNN/LSTM、BERT、CNN、ViT、GAN、VAE 和扩散模型；对齐与训练部分的 LoRA、QLoRA、DPO、PPO、GRPO、知识蒸馏和混合专家模型；系统与推理部分的 Flash Attention、KV-cache、PagedAttention、量化、投机解码和状态空间模型；以及 MCTS、ReAct、多臂老虎机等智能体基础方法。
no-magic 可以免费使用吗？用的什么许可证？
no-magic 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
no-magic 还在维护吗？
活跃维护中。no-magic 最近一次提交是在 2026年10月15日。
no-magic 适合用来做什么？
通过阅读和运行极简代码，理解 GPT、注意力机制或 LoRA 的工作方式。 通过逐一梳理核心算法实现，准备机器学习面试。 用可运行的参考代码讲授神经网络底层原理课程。 在不引入大型框架的前提下，快速验证论文中的想法。
no-magic 怎么安装和运行？
克隆仓库 使用 Python 3.10+ 运行脚本
在哪里获取 no-magic？
源代码和安装说明在 GitHub 上：https://github.com/no-magic-ai/no-magic

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目