mudler/LocalAI

어떤 프로젝트인가요?

핵심 기능

• 01백엔드 전반에서 OpenAI, Anthropic, ElevenLabs 호환 API 엔드포인트 제공
• 02하나의 API로 LLM, 비전, 음성, 이미지, 동영상 모델 실행
• 03필요한 모델의 엔진만 가져오도록 백엔드를 필요할 때 설치
• 04NVIDIA, AMD, Intel, Apple Silicon, Vulkan 및 CPU 전용 하드웨어 지원
• 05도구 사용, RAG, MCP를 지원하는 내장 에이전트
• 06다중 사용자 환경을 위한 API 키 인증, 사용자별 할당량, 역할 기반 접근 제어

활용 사례

• 호스팅 OpenAI 스타일 API를 대체하는 비공개 자체 호스팅 서비스 운영
• 전용 GPU 없이 워크스테이션이나 서버에서 오픈 모델 제공
• 음성-텍스트 변환, LLM, 텍스트-음성 변환을 로컬에서 결합한 음성 비서 구축
• 사용자별 할당량과 API 키를 적용해 팀 공용 모델 서비스 운영

빠른 시작

1. 1

   CPU 전용 컨테이너 실행

   docker run -ti --name local-ai -p 8080:8080 localai/localai:latest
2. 2

   갤러리에서 모델 불러오기

   local-ai run llama-3.2-1b-instruct:q4_k_m

사용 전 알아둘 점

• !macOS용 DMG는 Apple의 서명이 없으므로 설치 후 격리 속성을 수동으로 제거해야 합니다.
• !GPU 가속을 사용하려면 CUDA, ROCm, Intel oneAPI 또는 Vulkan과 같은 GPU별 컨테이너 이미지와 드라이버가 필요합니다.

토픽

자주 묻는 질문

LocalAI은(는) 무엇인가요?

CPU 전용 머신을 포함한 다양한 하드웨어에서 LLM, 비전, 음성, 이미지, 동영상 모델을 실행하는 자체 호스팅 OpenAI 호환 AI 엔진입니다. LocalAI는 자체 인프라에서 AI 모델을 제공하는 오픈소스 엔진입니다. OpenAI, Anthropic, ElevenLabs 호환 API를 제공하므로 기존 클라이언트 코드를 호스팅 서비스 대신 로컬 서버에 연결할 수 있습니다. 하나의 API로 텍스트 생성, 비전, 음성-텍스트 변환과 텍스트-음성 변환, 이미지 및 동영상 생성, 임베딩, 리랭킹, 객체 감지를 지원합니다.

LocalAI은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

LocalAI은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

LocalAI은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. LocalAI의 마지막 커밋은 2026년 10월 19일입니다.

LocalAI은(는) 어디에 사용할 수 있나요?

호스팅 OpenAI 스타일 API를 대체하는 비공개 자체 호스팅 서비스 운영 전용 GPU 없이 워크스테이션이나 서버에서 오픈 모델 제공 음성-텍스트 변환, LLM, 텍스트-음성 변환을 로컬에서 결합한 음성 비서 구축 사용자별 할당량과 API 키를 적용해 팀 공용 모델 서비스 운영

LocalAI는 어떻게 설치하나요?

CPU 전용 컨테이너 실행: docker run -ti --name local-ai -p 8080:8080 localai/localai:latest 갤러리에서 모델 불러오기: local-ai run llama-3.2-1b-instruct:q4_k_m

LocalAI은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/mudler/LocalAI