Repolode
huggingface

huggingface/smol-course

最小限のローカルハードウェアで小型の言語モデルや視覚言語モデルをアライメントする、Hugging Faceの実践的なコース。

スター
6,784
フォーク
2,276
未解決の Issue
99
最終コミット
16 日前

これは何?

smol courseは、特定の用途に合わせて言語モデルをアライメントするための実践的なコースです。SmolLM3とSmolVLM2を中心に構成されており、GPU要件を抑え、有料サービスを使わずに、ほとんどのローカルマシンで実行できるよう設計されています。

コースでは、チャットテンプレートを使った指示チューニング、ベンチマークやカスタムドメインでの評価、DPOなどの手法による選好アライメント、視覚言語モデルの適応を扱います。強化学習、合成データの生成、コミュニティのリーダーボードは、今後追加予定のモジュールとして挙げられています。

教材は公開され、ピアレビューを受けています。コントリビューターはプルリクエストを通じて、演習、サンプル、モデルを提出できます。MarkdownとJupyter notebookをベースにした初版のコースは、v1ディレクトリに収録されています。

主な機能

  • 01チャットテンプレートを使った指示チューニングと教師ありファインチューニング
  • 02標準ベンチマークやカスタムドメインでのモデル評価
  • 03DPOなどのアルゴリズムを使った選好アライメント
  • 04マルチモーダルタスクに向けた視覚言語モデルの適応
  • 05GPU要件を抑え、ほとんどのローカルマシンで実行可能

ユースケース

  • 特定のドメイン向けに小型LLMをファインチューニングする方法を学ぶ
  • ノートPCで指示や人間の選好に従うよう、小型モデルをアライメントする
  • ニッチな用途向けのカスタム評価セットを作成する
  • 視覚言語モデルの適応に取り組む

使う前に知っておきたいこと

  • READMEは、Python、PyTorch、transformersライブラリの知識があることを前提としています。
  • 一部のコースユニット(強化学習と合成データ)は、まだ公開されていないと記載されています。

収録されている特集

トピック

よくある質問

smol-course とは?
最小限のローカルハードウェアで小型の言語モデルや視覚言語モデルをアライメントする、Hugging Faceの実践的なコース。 smol courseは、特定の用途に合わせて言語モデルをアライメントするための実践的なコースです。SmolLM3とSmolVLM2を中心に構成されており、GPU要件を抑え、有料サービスを使わずに、ほとんどのローカルマシンで実行できるよう設計されています。
smol-course は無料で使えますか?ライセンスは?
smol-course は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
smol-course は今もメンテナンスされていますか?
活発にメンテナンス中。smol-course の最終コミットは 2026年10月6日 です。
smol-course は何に使えますか?
特定のドメイン向けに小型LLMをファインチューニングする方法を学ぶ ノートPCで指示や人間の選好に従うよう、小型モデルをアライメントする ニッチな用途向けのカスタム評価セットを作成する 視覚言語モデルの適応に取り組む
smol-course はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/huggingface/smol-course

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト