Repolode
投稿する
no-magic-ai

no-magic-ai/no-magic

内部の仕組みを読み解けるよう、最新のAIアルゴリズムを一から実装した、依存関係のないPythonスクリプト54本のコレクション。

GitHub で見る公式サイト
スター
1,433
フォーク
105
未解決の Issue
3
最終コミット
5 日前

これは何？

no-magicは、標準ライブラリだけを使い、それぞれ1つのAIアルゴリズムを実装した単一ファイルのPythonプログラムを厳選したコレクションです。トークナイザー、GPT、RNN/LSTM、BERT、CNN、ViT、GAN、VAE、拡散モデルといった基礎から、LoRA、QLoRA、DPO、PPO、GRPO、蒸留、Mixture of Expertsなどのアライメントおよび学習手法、Flash Attention、KV-cache、PagedAttention、量子化、投機的デコーディング、状態空間モデルなどのシステムおよび推論技術、MCTS、ReAct、バンディットなどの基本的なエージェント手法まで幅広く扱います。

各スクリプトは本番用コードではなく、手順を追いながら学べる教材として書かれています。多くはCPUで小さなモデルを学習させてから推論を実行しますが、複数のバリエーションを並べて比較するものや、未学習モデルの順伝播、学習を伴わないアルゴリズムを紹介するものもあります。各スクリプトの種類はリポジトリのカタログに記載されています。初回実行時に名前のデータセットをダウンロードするスクリプトも多く、残りは独自にデータを生成します。

このプロジェクトは、利用しているフレームワークの内部を理解したいMLエンジニア、理論からコードへ進みたい学生、最小限の参照実装を必要とする研究者を対象としています。アニメーションによる可視化、課題、フラッシュカード、オフラインで読めるEPUB書籍も含まれています。

主な機能

  • 01各アルゴリズムは、サードパーティ製の依存関係がない自己完結型のPython単一ファイルに収められています。
  • 02基礎、アライメント、システム、エージェントにわたる54種類のアルゴリズムを扱います。
  • 03多くのスクリプトでは、CPUで小さなモデルを学習させてから推論を実行します。
  • 04RNNとGRU、AdamとSGDなどを並べて比較するプログラムが含まれています。
  • 05各アルゴリズムのアニメーションによる可視化とAnki用フラッシュカードデッキを提供します。

ユースケース

  • 最小限のコードを読んで実行し、GPT、attention、LoRAの仕組みを学ぶ。
  • 主要なアルゴリズムの実装を順に確認して、ML面接に備える。
  • 実行可能な参照コードを使って、ニューラルネットワークの内部構造を扱う講義を行う。
  • 大規模なフレームワークを導入せずに、論文のアイデアを試作する。

クイックスタート

  1. 1

    リポジトリをクローンする

  2. 2

    Python 3.10以降でスクリプトを実行する

使う前に知っておきたいこと

  • スクリプトは学習目的の再実装であり、本番環境向けツールでも、PyTorchやTensorFlowの代替でもありません。
  • Python 3.10以降が必要です。

トピック

#machine-learning#deep-learning#transformers#education#pure-python#algorithms#llm#ai-algorithms#no-dependencies#open-soruce

よくある質問

no-magic とは？
内部の仕組みを読み解けるよう、最新のAIアルゴリズムを一から実装した、依存関係のないPythonスクリプト54本のコレクション。 no-magicは、標準ライブラリだけを使い、それぞれ1つのAIアルゴリズムを実装した単一ファイルのPythonプログラムを厳選したコレクションです。トークナイザー、GPT、RNN/LSTM、BERT、CNN、ViT、GAN、VAE、拡散モデルといった基礎から、LoRA、QLoRA、DPO、PPO、GRPO、蒸留、Mixture of Expertsなどのアライメントおよび学習手法、Flash Attention、KV-cache、PagedAttention、量子化、投機的デコーディング、状態空間モデルなどのシステムおよび推論技術、MCTS、ReAct、バンディットなどの基本的なエージェント手法まで幅広く扱います。
no-magic は無料で使えますか？ライセンスは？
no-magic は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
no-magic は今もメンテナンスされていますか？
活発にメンテナンス中。no-magic の最終コミットは 2026年10月15日 です。
no-magic は何に使えますか？
最小限のコードを読んで実行し、GPT、attention、LoRAの仕組みを学ぶ。 主要なアルゴリズムの実装を順に確認して、ML面接に備える。 実行可能な参照コードを使って、ニューラルネットワークの内部構造を扱う講義を行う。 大規模なフレームワークを導入せずに、論文のアイデアを試作する。
no-magic のインストール方法は？
リポジトリをクローンする Python 3.10以降でスクリプトを実行する
no-magic はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/no-magic-ai/no-magic

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト