GPU로 AI를 학습하고 실행하는 도구: 2026년 추천

Python 및 C++ API를 제공하는, 머신러닝 모델을 구축하고 배포하기 위한 엔드투엔드 오픈소스 플랫폼입니다.

이미지·비디오·오디오·3D 콘텐츠 생성을 위해 로컬에서 diffusion 모델을 실행하는 노드 그래프 GUI, API 및 백엔드입니다.

다양한 하드웨어 백엔드에서 대규모 언어·비전 언어 모델을 로컬이나 클라우드에서 실행하는 순수 C/C++ LLM 추론 엔진입니다.

OpenAI 호환 API로 대규모 언어 모델을 빠르고 메모리 효율적으로 실행하고 서빙하는 라이브러리 및 서버입니다.

tmux 같은 도구로 탭과 분할 화면을 관리하는 크로스 플랫폼 GPU 가속 OpenGL 터미널 에뮬레이터입니다.

대규모 모델의 분산 학습과 추론을 더 쉽고 효율적으로 지원하는 딥러닝 최적화 라이브러리입니다.

GPU 가속 옵션을 제공하는 C++ 라이브러리로, Python 바인딩을 통해 dense vector의 유사도 검색과 클러스터링을 효율적으로 수행합니다.

대형 언어 모델을 레이어별로 실행해 양자화 없이도 70B급 모델을 단일 4GB GPU에서 추론할 수 있는 Python 라이브러리입니다.

SGLang은 다양한 GPU, TPU, CPU 플랫폼에서 대규모 언어·비전 언어·디퓨전 모델을 서빙하는 오픈소스 추론 프레임워크입니다.

PyTorch와 유사한 텐서 API, autograd, 컴파일러와 다양한 가속기 백엔드를 지원하는 경량 딥러닝 프레임워크입니다.

다중 물리 엔진, 실사형 렌더러, 크로스 플랫폼 컴파일러를 Python 인터페이스로 제공하는 로보틱스 및 체화형 AI 시뮬레이션 플랫폼입니다.

Windows 또는 Linux에서 일반 NVIDIA·AMD GPU로 대형 Qwen3.8-Flash-Next 모델을 실행하는 로컬 추론 엔진

Transformer 모델의 GPU 학습과 추론을 위한 메모리 효율적인 exact attention 커널 FlashAttention의 공식 구현입니다.

다차원 병렬 처리로 대규모 Transformer 모델을 학습하기 위한 GPU 최적화 라이브러리와 학습 레퍼런스 스크립트입니다.

GPU.js는 간단한 JavaScript 함수를 GPU 셰이더 코드로 변환해 브라우저와 Node.js에서 GPU로 실행하고, GPU가 없으면 일반 JavaScript로 대체 실행합니다.

소비자용 GPU와 CPU에서 DeepSeek-V4, Qwen3.6 같은 대형 오픈 웨이트 모델을 실행하는 엣지 네이티브 MoE 서빙 엔진입니다.

서빙 엔진 간에 LLM 어텐션 캐시를 저장하고 공유·재사용해 첫 토큰 생성 시간(TTFT)을 줄이는 KV 캐시 관리 계층입니다.

HGEMM, FP8/FP4 GEMM, Flash-Attention을 다루는 200개 이상의 커널이 포함된 최신 CUDA 학습 노트 오픈소스 책 및 코드 모음입니다.

하나의 인터페이스로 Kubernetes, Slurm, 20개 이상의 클라우드 및 GPU 제공업체에서 AI 워크로드를 실행·관리·확장하는 오픈소스 시스템입니다.

NVIDIA GPU에서 고성능 GEMM 및 관련 선형대수 커널을 작성하기 위한 CUDA C++ 템플릿 라이브러리이자 Python DSL입니다.

학습과 추론을 위해 FP8 디스패치 및 NVLink/RDMA를 지원하는 expert-parallel MoE 디스패치·결합용 GPU 통신 라이브러리입니다.

카메라와 외부 센서가 기록한 자이로 데이터를 사용해 영상을 안정화하는 데스크톱 앱입니다.

DeepSeek의 오픈소스 오프라인 추론 프레임워크로, NVIDIA SM100 및 Huawei Ascend 950 하드웨어에서 DeepSeek-V4.1-Flash를 실행합니다.

NVIDIA 제어판에 표시되지 않는 숨겨진 옵션을 포함해 NVIDIA 드라이버 프로필 설정을 조회하고 편집하는 Windows 도구입니다.

GPU 및 프로세스별 상태를 보여주고 CLI 장치 선택기와 Python API를 제공하는 NVIDIA GPU용 대화형 터미널 모니터

GPU, CPU, RAM을 감지하고 매개변수 수가 아닌 벤치마크를 기준으로 실제 하드웨어에서 실행 가능한 HuggingFace 로컬 LLM의 순위를 매기는 CLI입니다.

내보낸 모델을 휴대폰, 노트북, 브라우저, 마이크로컨트롤러에서 실행하는 PyTorch의 온디바이스 추론 스택입니다.

브라우저, Moonlight, Steam Link로 게임을 스트리밍할 수 있는 헤드리스 Steam 클라이언트 Docker 이미지

Stable Diffusion, Flux, Wan 등으로 이미지·영상·오디오를 생성하는 모듈형 웹 UI로, ComfyUI 워크플로 탭을 제공합니다.

OpenGL/ES에서 작동하며 뷰티 및 얼굴 기반 효과를 제공하는 크로스 플랫폼 C++ 이미지·동영상 필터 라이브러리입니다.

네트워크를 통해 CPU 전용 머신에서 원격 서버의 CUDA GPU를 사용할 수 있게 해주는 GPU-over-IP 브리지입니다.

GPU 클라우드, Kubernetes, VM, 온프레미스 클러스터 전반에서 학습 및 추론용 GPU 컴퓨팅을 프로비저닝하고 오케스트레이션하는 오픈소스 컨트롤 플레인입니다.

서버리스 AI 워크로드를 위한 오픈소스 Go 및 Python 런타임으로, GPU 추론 엔드포인트, 샌드박스, 백그라운드 작업을 지원합니다.

창을 닫아도 셸과 패널이 유지되고 에이전트 세션과 SSH 원격 작업을 지원하는 Rust 기반 GPU 렌더링 터미널 에뮬레이터

GPU 패스스루나 공유 파일 시스템 없이, 클라이언트에서 TCP 포트 하나만으로 원격 GPU 머신의 ffmpeg를 실행하세요.

FastRTC, Superlinked, Twilio, Opik, Runpod으로 AI 음성 콜센터를 만드는 주차별 강의입니다.

Megatron-LM 및 torch 네이티브 백엔드를 기반으로 NVIDIA GPU와 Kunlun XPU에서 LLM, VLM, diffusion 및 embodied 모델을 학습하는 프레임워크입니다.

12GB RTX 4070에서 Mirai S 27B(Qwen3.8-27B GGUF)를 262k 토큰 전체 컨텍스트와 q8_0 K/V 캐시로 서빙하는 설정입니다.

텍스트 프롬프트를 입력하면 fal 비디오 모델, GVHMR 포즈 복원, Mixamo 리타게팅을 거쳐 해당 동작을 수행하는 리깅된 3D 캐릭터를 얻을 수 있습니다.