CTranslate2은(는) 무엇인가요?

양자화와 최적화된 커널을 활용해 Whisper, Llama, NLLB 같은 Transformer 모델을 더 빠르고 적은 메모리로 실행하는 C++ 및 Python 라이브러리입니다. CTranslate2는 Transformer 모델의 추론을 실행하는 C++ 및 Python 라이브러리입니다. 가중치 양자화, 레이어 융합, 배치 재정렬 등의 최적화를 적용하는 자체 런타임을 사용해 CPU와 GPU 모두에서 지연 시간과 메모리 사용량을 줄입니다.

CTranslate2은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

CTranslate2은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

CTranslate2은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. CTranslate2의 마지막 커밋은 2026년 10월 21일입니다.

CTranslate2은(는) 어디에 사용할 수 있나요?

범용 프레임워크보다 지연 시간과 메모리 사용량을 줄여 기계 번역 모델을 서빙합니다. CPU 또는 GPU 서버에서 Whisper 음성 인식이나 Llama 계열 LLM을 실행합니다. ARM 또는 Apple 하드웨어에 양자화된 Transformer 모델을 배포합니다. OpenAI 호환 웹 서버와 연동해 익숙한 API로 CTranslate2 모델을 제공합니다.

CTranslate2는 어떻게 설치하나요?

pip으로 Python 패키지를 설치합니다: pip install ctranslate2 변환된 모델을 불러와 Python에서 번역 또는 생성을 실행합니다

CTranslate2은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/OpenNMT/CTranslate2

OpenNMT/CTranslate2

양자화와 최적화된 커널을 활용해 Whisper, Llama, NLLB 같은 Transformer 모델을 더 빠르고 적은 메모리로 실행하는 C++ 및 Python 라이브러리입니다.

GitHub에서 보기 웹사이트

스타: 4,716
포크: 547
열린 이슈: 281
마지막 커밋: 어제

어떤 프로젝트인가요?

CTranslate2는 Transformer 모델의 추론을 실행하는 C++ 및 Python 라이브러리입니다. 가중치 양자화, 레이어 융합, 배치 재정렬 등의 최적화를 적용하는 자체 런타임을 사용해 CPU와 GPU 모두에서 지연 시간과 메모리 사용량을 줄입니다.

인코더-디코더 모델(NLLB, M2M-100, T5, Whisper 등), 디코더 전용 모델(GPT-2, GPT-J, Llama, Mistral, Gemma, Qwen2 등), 인코더 전용 모델(BERT, DistilBERT, XLM-RoBERTa)을 지원합니다. 모델은 먼저 CTranslate2의 최적화된 형식으로 변환해야 하며, OpenNMT-py, OpenNMT-tf, Fairseq, Marian, OPUS-MT, Hugging Face Transformers용 변환기도 제공됩니다.

Intel MKL, oneDNN, OpenBLAS, Ruy, Apple Accelerate 등의 백엔드를 사용해 x86-64 및 ARM64 프로세서를 지원하며, 의존성이 적은 Python 및 C++ API를 제공합니다.

핵심 기능

01가중치를 FP16, BF16, INT8, INT16 및 AWQ INT4로 양자화할 수 있습니다.
02여러 GPU 또는 코어에서 병렬 및 비동기 배치 처리를 포함해 CPU와 GPU에서 실행할 수 있습니다.
03런타임에 AVX, AVX2 등의 CPU 명령어 집합을 자동으로 선택합니다.
04텐서 병렬 처리를 지원해 대규모 모델을 여러 GPU에 분산할 수 있습니다.
05프리픽스 완성 및 대체 출력 등 고급 디코딩 기능을 갖춘 Python 및 C++ API를 제공합니다.

활용 사례

범용 프레임워크보다 지연 시간과 메모리 사용량을 줄여 기계 번역 모델을 서빙합니다.
CPU 또는 GPU 서버에서 Whisper 음성 인식이나 Llama 계열 LLM을 실행합니다.
ARM 또는 Apple 하드웨어에 양자화된 Transformer 모델을 배포합니다.
OpenAI 호환 웹 서버와 연동해 익숙한 API로 CTranslate2 모델을 제공합니다.

빠른 시작

1
pip으로 Python 패키지를 설치합니다
pip install ctranslate2
2
변환된 모델을 불러와 Python에서 번역 또는 생성을 실행합니다

사용 전 알아둘 점

사용하기 전에 지원되는 프레임워크의 모델을 CTranslate2 형식으로 변환해야 합니다.
AMD ROCm GPU를 지원하려면 릴리스 페이지의 특정 wheel이 필요합니다.

토픽

#inference #transformer-models #quantization #machine-translation #deep-learning #cuda #cpu-inference #llm #avx #avx2

자주 묻는 질문

CTranslate2은(는) 무엇인가요?: 양자화와 최적화된 커널을 활용해 Whisper, Llama, NLLB 같은 Transformer 모델을 더 빠르고 적은 메모리로 실행하는 C++ 및 Python 라이브러리입니다. CTranslate2는 Transformer 모델의 추론을 실행하는 C++ 및 Python 라이브러리입니다. 가중치 양자화, 레이어 융합, 배치 재정렬 등의 최적화를 적용하는 자체 런타임을 사용해 CPU와 GPU 모두에서 지연 시간과 메모리 사용량을 줄입니다.
CTranslate2은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: CTranslate2은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
CTranslate2은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. CTranslate2의 마지막 커밋은 2026년 10월 21일입니다.
CTranslate2은(는) 어디에 사용할 수 있나요?: 범용 프레임워크보다 지연 시간과 메모리 사용량을 줄여 기계 번역 모델을 서빙합니다. CPU 또는 GPU 서버에서 Whisper 음성 인식이나 Llama 계열 LLM을 실행합니다. ARM 또는 Apple 하드웨어에 양자화된 Transformer 모델을 배포합니다. OpenAI 호환 웹 서버와 연동해 익숙한 API로 CTranslate2 모델을 제공합니다.
CTranslate2는 어떻게 설치하나요?: pip으로 Python 패키지를 설치합니다: pip install ctranslate2 변환된 모델을 불러와 Python에서 번역 또는 생성을 실행합니다
CTranslate2은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/OpenNMT/CTranslate2

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.