distributed-llama은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

distributed-llama은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

distributed-llama은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. distributed-llama의 마지막 커밋은 2026년 10월 14일입니다.

distributed-llama은(는) 어디에 사용할 수 있나요?

여러 대의 가정용 컴퓨터나 미니 PC에서 70B급 Llama 모델을 실행합니다. Raspberry Pi 클러스터에서 LLM 추론을 실험합니다. LAN에 연결된 소수의 기기에서 로컬 OpenAI 스타일 API를 제공합니다.

distributed-llama는 어떻게 설치하나요?

Python 3와 C++ 컴파일러를 설치한 다음 저장소를 클론합니다 명령 하나로 루트 노드를 설정합니다(모델과 토크나이저를 다운로드합니다): python launch.py llama3_2_1b_instruct_q40

distributed-llama은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/b4rtaz/distributed-llama

b4rtaz/distributed-llama

Ethernet으로 여러 가정용 기기에 LLM 추론을 분산해 생성 속도를 높이는 C++ 도구입니다.

GitHub에서 보기

스타: 3,115
포크: 258
열린 이슈: 48
마지막 커밋: 11일 전

어떤 프로젝트인가요?

Distributed Llama는 가정용 컴퓨터나 Raspberry Pi 보드처럼 일반적인 여러 대의 컴퓨터를 하나의 클러스터로 묶어 대규모 언어 모델을 실행합니다. 루트 노드는 모델과 가중치를 불러온 뒤 각 워커에 네트워크의 일부를 할당하고 상태를 동기화하며, 워커 노드는 각자 맡은 부분을 처리합니다. Tensor parallelism과 Ethernet을 통한 고속 동기화를 사용하므로 기기를 추가할수록 추론 속도가 빨라집니다.

Linux, macOS, Windows에서 실행되며 ARM 및 x86_64 AVX2 CPU에 최적화되어 있습니다. 지원되는 Llama, DeepSeek R1 Distill, Qwen 3 모델을 Q40 양자화 형식으로 다운로드하는 단일 명령 설정 기능을 제공하고, Hugging Face 모델 변환기도 포함합니다. 추론 벤치마크, CLI 채팅, 워커 실행, API 서버를 위한 명령을 제공합니다.

클러스터 크기는 2^n 노드로 제한되며, 최대 노드 수는 모델의 KV 헤드 수에 따라 달라집니다. 양자화는 q40 및 q80 버퍼 유형, f32 및 f32 버퍼 유형 조합만 지원합니다. 실험적인 Vulkan 및 GPU 경로는 별도로 문서화되어 있습니다.

핵심 기능

01Tensor parallelism을 사용해 여러 기기에 모델 계산을 분산합니다.
02일반 Ethernet을 통해 노드 간 동기화를 수행합니다.
03ARM 및 x86_64 AVX2 최적화를 적용했으며 Linux, macOS, Windows에서 실행됩니다.
04CLI 채팅, 추론 벤치마크, 워커 모드, API 서버를 제공합니다.
05여러 Llama, DeepSeek, Qwen 3 모델을 한 번의 명령으로 설정할 수 있습니다.

활용 사례

여러 대의 가정용 컴퓨터나 미니 PC에서 70B급 Llama 모델을 실행합니다.
Raspberry Pi 클러스터에서 LLM 추론을 실험합니다.
LAN에 연결된 소수의 기기에서 로컬 OpenAI 스타일 API를 제공합니다.

빠른 시작

1
Python 3와 C++ 컴파일러를 설치한 다음 저장소를 클론합니다
2
명령 하나로 루트 노드를 설정합니다(모델과 토크나이저를 다운로드합니다)
python launch.py llama3_2_1b_instruct_q40

사용 전 알아둘 점

노드 수는 1, 2, 4 또는 2^n이어야 하며, 최댓값은 모델의 KV 헤드 수입니다.
q80 버퍼 유형의 q40 모델과 f32 버퍼 유형의 f32 모델만 지원됩니다.
Vulkan 지원은 실험 단계입니다.

포함된 컬렉션

로컬에서 LLM 실행하기

토픽

#llm-inference #distributed-computing #tensor-parallelism #llama #cpp #edge-ai #distributed-llm #llama2 #llama3 #llm

자주 묻는 질문

distributed-llama은(는) 무엇인가요?: Ethernet으로 여러 가정용 기기에 LLM 추론을 분산해 생성 속도를 높이는 C++ 도구입니다. Distributed Llama는 가정용 컴퓨터나 Raspberry Pi 보드처럼 일반적인 여러 대의 컴퓨터를 하나의 클러스터로 묶어 대규모 언어 모델을 실행합니다. 루트 노드는 모델과 가중치를 불러온 뒤 각 워커에 네트워크의 일부를 할당하고 상태를 동기화하며, 워커 노드는 각자 맡은 부분을 처리합니다. Tensor parallelism과 Ethernet을 통한 고속 동기화를 사용하므로 기기를 추가할수록 추론 속도가 빨라집니다.
distributed-llama은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: distributed-llama은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
distributed-llama은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. distributed-llama의 마지막 커밋은 2026년 10월 14일입니다.
distributed-llama은(는) 어디에 사용할 수 있나요?: 여러 대의 가정용 컴퓨터나 미니 PC에서 70B급 Llama 모델을 실행합니다. Raspberry Pi 클러스터에서 LLM 추론을 실험합니다. LAN에 연결된 소수의 기기에서 로컬 OpenAI 스타일 API를 제공합니다.
distributed-llama는 어떻게 설치하나요?: Python 3와 C++ 컴파일러를 설치한 다음 저장소를 클론합니다 명령 하나로 루트 노드를 설정합니다(모델과 토크나이저를 다운로드합니다): python launch.py llama3_2_1b_instruct_q40
distributed-llama은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/b4rtaz/distributed-llama

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.