Mesh-LLM/mesh-llm

어떤 프로젝트인가요?

핵심 기능

• 01메시넷의 모든 노드에서 사용할 수 있는 단일 OpenAI 호환 /v1 API를 제공합니다.
• 02모델 이름을 기준으로 요청을 로컬 노드 또는 해당 모델을 제공하는 피어 노드에 라우팅합니다.
• 03단일 컴퓨터에서 실행하기에 너무 큰 모델을 여러 노드에 레이어 단계별로 분할합니다.
• 04QUIC으로 피어 간 트래픽을 종단 간 암호화합니다.
• 05초대 토큰을 통한 비공개 메시넷과 Nostr 검색을 통한 공개 메시넷을 지원합니다.
• 06웹 콘솔과 서버용 헤드리스 모드를 제공합니다.

활용 사례

• 여러 워크스테이션의 여유 GPU를 모아 어느 한 대에서도 실행할 수 없는 크기의 모델을 구동합니다.
• LAN에 연결된 여러 컴퓨터에서 팀이 함께 사용하는 비공개 LLM 엔드포인트를 제공합니다.
• Claude Code나 OpenCode 같은 코딩 에이전트를 자체 호스팅 모델 풀에 연결합니다.
• 개발을 위해 GGUF 모델 하나를 독립형 OpenAI 호환 서버로 실행합니다.

빠른 시작

1. 1

   사용 중인 OS의 공식 설치 스크립트를 실행하세요(README 참조).

2. 2

   또는 Apple Silicon Mac에서는 Homebrew로 설치하세요.

   brew install Mesh-LLM/tap/mesh-llm
3. 3

   설정을 완료하세요.

   mesh-llm setup
4. 4

   공개 메시(mesh)에 참여하고 포트 9337에서 서비스를 시작하세요.

   mesh-llm serve --auto

사용 전 알아둘 점

• !Windows 네이티브 설치에는 알려진 버그가 있어, 현재 README에서는 프리릴리스 빌드를 안내합니다.
• !모델 "mesh"의 fan-out(Mixture-of-Agents) 기능은 실험 단계이며 변경될 수 있습니다.
• !소스 빌드에는 just, cmake, Rust, sccache, 빠른 링커, Node.js 24를 비롯한 여러 툴체인 구성 요소가 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

mesh-llm은(는) 무엇인가요?

여러 컴퓨터의 GPU와 메모리를 하나로 묶어, 로컬·피어·분할 단계 모델로 요청을 라우팅하는 OpenAI 호환 API를 제공합니다. Mesh LLM은 여러 컴퓨터의 GPU와 메모리를 결합해 단일 OpenAI 호환 엔드포인트로 제공하며, 기본 주소는 localhost:9337/v1입니다. 한 노드에서 실행할 수 있는 모델은 로컬에서 실행하고, 그렇지 않으면 모델 필드에 따라 실행 가능한 피어로 요청을 라우팅합니다. 단일 컴퓨터에서 실행하기에 너무 큰 모델은 여러 노드에 레이어 단계별로 분할합니다.

mesh-llm은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

mesh-llm은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

mesh-llm은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. mesh-llm의 마지막 커밋은 2026년 11월 6일입니다.

mesh-llm은(는) 어디에 사용할 수 있나요?

여러 워크스테이션의 여유 GPU를 모아 어느 한 대에서도 실행할 수 없는 크기의 모델을 구동합니다. LAN에 연결된 여러 컴퓨터에서 팀이 함께 사용하는 비공개 LLM 엔드포인트를 제공합니다. Claude Code나 OpenCode 같은 코딩 에이전트를 자체 호스팅 모델 풀에 연결합니다. 개발을 위해 GGUF 모델 하나를 독립형 OpenAI 호환 서버로 실행합니다.

mesh-llm는 어떻게 설치하나요?

사용 중인 OS의 공식 설치 스크립트를 실행하세요(README 참조). 또는 Apple Silicon Mac에서는 Homebrew로 설치하세요.: brew install Mesh-LLM/tap/mesh-llm 설정을 완료하세요.: mesh-llm setup 공개 메시(mesh)에 참여하고 포트 9337에서 서비스를 시작하세요.: mesh-llm serve --auto

mesh-llm은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Mesh-LLM/mesh-llm