「openai-api」に関するオープンソースプロジェクト

一般向けのNVIDIAまたはAMD GPU搭載PCで125BパラメーターのQwen3.8-Flash-Nextを実行し、localhostでOpenAI・Anthropic互換APIを公開します。

LLMの反復ループや生成途中の言語の逸脱などを検出し、ユーザーに見える前に問題のあるトークンを除去するPythonライブラリ。