AlexsJones/llmfit

어떤 프로젝트인가요?

핵심 기능

• 01NVIDIA, Apple Silicon, AMD, Intel 환경에서 CPU, RAM, GPU, VRAM, 통합 메모리를 감지합니다.
• 02메모리 적합성, 예상 속도, 품질, 컨텍스트 길이를 기준으로 모델 순위를 매깁니다.
• 03대화형 TUI, JSON 출력을 지원하는 CLI, 웹 대시보드를 제공합니다.
• 04/api/v1/system, /api/v1/models 같은 HTTP 엔드포인트를 제공합니다.
• 05멀티 GPU 환경, MoE 모델, 여러 양자화 형식을 지원합니다.

활용 사례

• 수 GB에 달하는 모델 파일을 다운로드하기 전에 로컬에서 실행할 LLM을 선택합니다.
• 노트북이나 워크스테이션에서 모델을 적절한 속도로 실행할 수 있는지 확인합니다.
• JSON을 통해 하드웨어에 맞는 모델 추천을 스크립트나 에이전트에 전달합니다.
• 속도 추정치를 개선할 수 있도록 하드웨어 벤치마크 결과를 커뮤니티와 공유합니다.

빠른 시작

1. 1

   Homebrew로 설치(사전 빌드된 바이너리)

   brew install AlexsJones/llmfit/llmfit
2. 2

   대화형 TUI 실행

   llmfit

사용 전 알아둘 점

• !서명 작업이 실패하면 Windows 릴리스 바이너리에 서명이 없을 수 있습니다. 서명된 바이너리가 필요하다면 서명을 확인하세요.
• !속도와 적합성 수치는 직접 벤치마크를 실행하지 않는 한 사양을 바탕으로 한 추정치입니다.

토픽

자주 묻는 질문

llmfit은(는) 무엇인가요?

CPU, RAM, GPU를 감지한 뒤 내 시스템에서 실행하기 적합한 오픈 LLM을 순위로 보여주는 Rust CLI 및 TUI입니다. llmfit은 로컬에서 모델을 실행하려는 사람들이 흔히 묻는 질문에 답합니다. 내 하드웨어에 맞고 쓸 만한 속도로 실행할 수 있는 오픈소스 LLM은 무엇일까요? CPU 코어, 시스템 RAM, 외장 및 내장 GPU, VRAM과 통합 메모리를 확인하며 NVIDIA CUDA, Apple Silicon, AMD ROCm, Intel OneAPI 환경을 지원합니다.

llmfit은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

llmfit은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

llmfit은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. llmfit의 마지막 커밋은 2026년 10월 19일입니다.

llmfit은(는) 어디에 사용할 수 있나요?

수 GB에 달하는 모델 파일을 다운로드하기 전에 로컬에서 실행할 LLM을 선택합니다. 노트북이나 워크스테이션에서 모델을 적절한 속도로 실행할 수 있는지 확인합니다. JSON을 통해 하드웨어에 맞는 모델 추천을 스크립트나 에이전트에 전달합니다. 속도 추정치를 개선할 수 있도록 하드웨어 벤치마크 결과를 커뮤니티와 공유합니다.

llmfit는 어떻게 설치하나요?

Homebrew로 설치(사전 빌드된 바이너리): brew install AlexsJones/llmfit/llmfit 대화형 TUI 실행: llmfit

llmfit은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/AlexsJones/llmfit