ktransformers은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

ktransformers은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

ktransformers은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. ktransformers의 마지막 커밋은 2026년 10월 20일입니다.

ktransformers은(는) 어디에 사용할 수 있나요?

대용량 메모리 CPU 서버와 단일 GPU를 조합해 대규모 MoE 모델 실행 CPU-GPU 하이브리드 전문가 배치를 적용해 SGLang으로 MoE 모델 서빙 LLaMA-Factory를 사용해 소수의 소비자용 GPU에서 초대형 MoE 모델 파인튜닝

ktransformers는 어떻게 설치하나요?

kt-kernel 소스 디렉터리로 이동: cd kt-kernel 소스에서 kt-kernel 설치: pip install .

ktransformers은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/kvcache-ai/ktransformers

kvcache-ai/ktransformers

제한된 GPU 메모리에서 대규모 MoE 모델을 CPU-GPU 이기종 환경으로 추론하고 LoRA/전체 파인튜닝하기 위한 연구 프레임워크입니다.

GitHub에서 보기 웹사이트

스타: 19,621
포크: 1,602
열린 이슈: 526
마지막 커밋: 그저께

어떤 프로젝트인가요?

KTransformers는 CPU와 GPU에 작업을 분산해 대규모 언어 모델을 실행하고 파인튜닝하는 연구 프로젝트입니다. 추론 기능은 INT4/INT8 양자화 가중치를 위한 CPU 최적화 커널을 제공하며, AMX와 AVX512/AVX2 가속 및 Mixture-of-Experts 모델을 위한 NUMA 인식 메모리 관리를 지원합니다. 자주 사용되는 전문가를 GPU에 배치하고 사용 빈도가 낮은 전문가는 CPU에 둘 수 있으며, 커널은 SGLang 연동을 위한 Python API를 제공합니다.

파인튜닝 기능은 LLaMA-Factory와 통합되어 제한된 GPU 메모리에서도 DeepSeek-V3/R1, Qwen3 MoE, Kimi K2 변형 모델과 같은 초대형 MoE 모델의 LoRA 및 전체 파라미터 학습을 지원합니다. 또한 BF16, FP8, INT8 구성과 리소스 계획, 문제 해결 방법을 문서화하고, 이기종 MoE 파인튜닝 방식에 관한 연구 논문을 공개합니다.

핵심 기능

01INT4/INT8 양자화 추론을 위한 Intel AMX 및 AVX512/AVX2 최적화 커널
02MoE 모델의 CPU-GPU 전문가 스케줄링: 자주 사용되는 전문가는 GPU에, 사용 빈도가 낮은 전문가는 CPU에 배치
03SGLang 연동을 위한 Python API
04LLaMA-Factory와 통합된 LoRA 및 전체 파라미터 파인튜닝
05BF16, FP8, INT8 학습 구성 지원

활용 사례

대용량 메모리 CPU 서버와 단일 GPU를 조합해 대규모 MoE 모델 실행
CPU-GPU 하이브리드 전문가 배치를 적용해 SGLang으로 MoE 모델 서빙
LLaMA-Factory를 사용해 소수의 소비자용 GPU에서 초대형 MoE 모델 파인튜닝

빠른 시작

1
kt-kernel 소스 디렉터리로 이동
cd kt-kernel
2
소스에서 kt-kernel 설치
pip install .

사용 전 알아둘 점

특수 하드웨어용으로 구축되었으며, 이기종 추론을 위해 Intel AMX 또는 AVX512/AVX2 CPU와 GPU를 사용합니다.
연구 프로젝트로 자리매김했으며, 기존 통합 프레임워크는 보관 처리되었습니다.

토픽

#llm-inference #fine-tuning #mixture-of-experts #cpu-offload #quantization #lora #sglang

자주 묻는 질문

ktransformers은(는) 무엇인가요?: 제한된 GPU 메모리에서 대규모 MoE 모델을 CPU-GPU 이기종 환경으로 추론하고 LoRA/전체 파인튜닝하기 위한 연구 프레임워크입니다. KTransformers는 CPU와 GPU에 작업을 분산해 대규모 언어 모델을 실행하고 파인튜닝하는 연구 프로젝트입니다. 추론 기능은 INT4/INT8 양자화 가중치를 위한 CPU 최적화 커널을 제공하며, AMX와 AVX512/AVX2 가속 및 Mixture-of-Experts 모델을 위한 NUMA 인식 메모리 관리를 지원합니다. 자주 사용되는 전문가를 GPU에 배치하고 사용 빈도가 낮은 전문가는 CPU에 둘 수 있으며, 커널은 SGLang 연동을 위한 Python API를 제공합니다.
ktransformers은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: ktransformers은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
ktransformers은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. ktransformers의 마지막 커밋은 2026년 10월 20일입니다.
ktransformers은(는) 어디에 사용할 수 있나요?: 대용량 메모리 CPU 서버와 단일 GPU를 조합해 대규모 MoE 모델 실행 CPU-GPU 하이브리드 전문가 배치를 적용해 SGLang으로 MoE 모델 서빙 LLaMA-Factory를 사용해 소수의 소비자용 GPU에서 초대형 MoE 모델 파인튜닝
ktransformers는 어떻게 설치하나요?: kt-kernel 소스 디렉터리로 이동: cd kt-kernel 소스에서 kt-kernel 설치: pip install .
ktransformers은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/kvcache-ai/ktransformers

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.