「local-inference」に関するオープンソースプロジェクト

一般向けのNVIDIAまたはAMD GPU搭載PCで125BパラメーターのQwen3.8-Flash-Nextを実行し、localhostでOpenAI・Anthropic互換APIを公開します。

画像・動画・音声・3Dをローカル生成するためのノードグラフGUI、API、バックエンド。

無料枠、オープンウェイトモデル、ローカル推論ツールを網羅した、無料で使えるAIモデル・API・ツールのコミュニティ管理リスト。

80Mパラメータ構成の超軽量オンデバイス音声合成モデル。32kHzのストリーミング出力に対応し、CPU、CUDA、MPSで動作。