「inference」に関するオープンソースプロジェクト

82Mパラメーターのオープンウェイト音声合成モデル、Kokoro-82MのPython推論ライブラリ。

自分のハードウェアでLLMを動かすためのプラットフォーム、推論エンジン、UI、モデル、ツール、チュートリアルを集めた厳選リスト。

LLMの反復ループや生成途中の言語の逸脱などを検出し、ユーザーに見える前に問題のあるトークンを除去するPythonライブラリ。

Raspberry Piなどの低価格ボードで、約45MBのRAMを使って1BクラスのLLaMAアーキテクチャGGUFモデルを動かす、最小構成のC11製LLM推論エンジン。

ローカルで大規模言語モデルを実行するためのプラットフォーム、ツール、モデル、チュートリアルをまとめた厳選リスト。

ハードウェアに合わせてカーネルを調整し、オープンモデルを最速で実行するオープンソースの推論エンジン。

一から学ぶML講座。NumPyで深層学習フレームワークを実装するCLIと、350問以上のブラウザ演習を提供。