magnitudedev/magnitude

어떤 프로젝트인가요?

핵심 기능

• 01로컬 칩에서 모델별로 커널을 튜닝해 더 빠르게 실행할 설정을 찾습니다.
• 02Apple Silicon, NVIDIA 및 AMD GPU, 또는 CPU만으로 실행할 수 있습니다.
• 03모델마다 내장 speculative decoding 드래프터를 제공합니다.
• 04양자화된 KV 캐시를 사용해 에이전트 세션별 메모리 사용량을 줄입니다.
• 05동시에 실행되는 세션 간에 prefix 캐시를 공유합니다.
• 06OpenAI 호환 API와 클릭 한 번으로 연결하는 에이전트 기능을 제공합니다.

활용 사례

• Mac이나 NVIDIA 워크스테이션에서 코딩 에이전트용 오픈 웨이트 LLM을 로컬로 실행합니다.
• Linux 또는 macOS 서버에서 로컬 모델을 호스팅해 여러 컴퓨터에서 접속할 수 있도록 합니다.
• 클라우드 추론 API를 사용하지 않아 프롬프트와 파일을 비공개로 유지합니다.

빠른 시작

1. 1

   릴리스 페이지에서 Magnitude를 다운로드해 설치하세요

2. 2

   앱을 열고 Discover에서 추천 모델을 선택한 다음 다운로드하세요

3. 3

   Connections에서 에이전트를 연결하고 사용을 시작하세요

사용 전 알아둘 점

• !모델을 다운로드할 때 커널 튜닝이 실행되며, 최대 1분 정도 걸릴 수 있습니다.
• !서버 설정 방법은 Linux와 macOS에 대해서만 문서화되어 있습니다.

토픽

자주 묻는 질문

magnitude은(는) 무엇인가요?

하드웨어에 맞게 커널을 튜닝해 Apple Silicon, NVIDIA, AMD 또는 CPU에서 오픈 모델을 더 빠르게 실행하는 오픈소스 추론 엔진입니다. Magnitude는 오픈 웨이트 모델을 로컬에서 실행하기 위한 추론 엔진입니다. 모델을 다운로드하면 실제 칩에서 연산을 분할하는 여러 방식을 시험합니다. 예를 들어 GPU 스레드가 함께 작업하는 수와 데이터를 얼마나 미리 불러올지를 조정하고, 모델의 출력이 달라지지 않는 설정 중 가장 빠른 것을 선택합니다. 프로젝트 측 설명에 따르면 Mac과 NVIDIA 하드웨어에서 널리 쓰이는 로컬 모델을 실행했을 때 평균적으로 Ollama보다 약 2배 빠릅니다.

magnitude은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

magnitude은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

magnitude은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. magnitude의 마지막 커밋은 2026년 10월 19일입니다.

magnitude은(는) 어디에 사용할 수 있나요?

Mac이나 NVIDIA 워크스테이션에서 코딩 에이전트용 오픈 웨이트 LLM을 로컬로 실행합니다. Linux 또는 macOS 서버에서 로컬 모델을 호스팅해 여러 컴퓨터에서 접속할 수 있도록 합니다. 클라우드 추론 API를 사용하지 않아 프롬프트와 파일을 비공개로 유지합니다.

magnitude는 어떻게 설치하나요?

릴리스 페이지에서 Magnitude를 다운로드해 설치하세요 앱을 열고 Discover에서 추천 모델을 선택한 다음 다운로드하세요 Connections에서 에이전트를 연결하고 사용을 시작하세요

magnitude은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/magnitudedev/magnitude