“inference” 관련 오픈소스 프로젝트

파라미터 8,200만 개의 오픈 웨이트 TTS 모델 Kokoro-82M용 Python 추론 라이브러리입니다.

자체 하드웨어에서 LLM을 실행하기 위한 플랫폼, 추론 엔진, UI, 모델, 도구와 튜토리얼을 엄선한 목록입니다.

반복 루프와 스트림 도중의 언어 이탈 같은 LLM 디코딩 오류를 감지해 사용자에게 표시되기 전에 잘못된 토큰을 차단하는 Python 라이브러리입니다.

약 45MB RAM으로 Raspberry Pi 같은 저가형 보드에서 10억 개급 LLaMA 아키텍처 GGUF 모델을 실행하는 최소형 C11 LLM 추론 엔진입니다.

로컬에서 LLM을 실행하기 위한 플랫폼, 도구, 모델, 튜토리얼을 엄선해 모은 Awesome 스타일 목록입니다.

하드웨어에 맞게 커널을 튜닝해 오픈 모델을 최대한 빠르게 실행하는 오픈소스 추론 엔진입니다.

직접 만들어 배우는 ML 과정: NumPy로 구현하는 딥러닝 프레임워크 CLI와 브라우저 코딩 문제 350개 이상.