“openai-api” 관련 오픈소스 프로젝트

일반 NVIDIA 또는 AMD GPU PC에서 125B 파라미터 Qwen3.8-Flash-Next를 실행하고 localhost API를 제공합니다.

반복 루프와 스트림 도중의 언어 이탈 같은 LLM 디코딩 오류를 감지해 사용자에게 표시되기 전에 잘못된 토큰을 차단하는 Python 라이브러리입니다.