jasonacox/TinyLLM

어떤 프로젝트인가요?

핵심 기능

• 01Ollama, vLLM 또는 llama-cpp-python을 통해 OpenAI 호환 API로 로컬 LLM을 실행합니다.
• 02여러 세션과 대화 기록을 지원하는 ChatGPT 스타일 웹 챗봇을 제공합니다.
• 03채팅에 붙여 넣은 웹 페이지와 PDF를 요약합니다.
• 04채팅 명령으로 뉴스 헤드라인, 주가, 날씨를 가져옵니다.
• 05벡터 데이터베이스를 대상으로 검색 증강 질의를 지원합니다.
• 06모델을 메모리에 계속 로드해 두는 Ollama 설정을 포함합니다.

활용 사례

• 클라우드 API에 데이터를 보내지 않고 가정용 GPU나 Apple Silicon Mac에서 비공개 챗봇을 실행합니다.
• VRAM이 제한된 하드웨어에서 양자화된 오픈 모델을 실험합니다.
• 벡터 데이터베이스를 통해 로컬 채팅 인터페이스에서 자체 문서를 검색할 수 있도록 합니다.

빠른 시작

1. 1

   프로젝트 저장소를 클론합니다

   git clone https://github.com/jasonacox/TinyLLM.git
2. 2

   README의 docker run 명령을 사용해 Ollama 서버 컨테이너를 시작합니다

3. 3

   컨테이너 내부에서 llama3 모델을 다운로드하고 테스트 실행합니다

   docker exec -it ollama ollama run llama3

사용 전 알아둘 점

• !하드웨어 요구 사항상 Ubuntu Linux 또는 macOS만 지원합니다.
• !Ollama 서버는 한 번에 하나의 세션 또는 프롬프트만 처리합니다.
• !Ollama 빠른 설정은 Docker와 NVIDIA GPU를 전제로 하며, vLLM에는 VRAM이 더 많은 GPU가 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

TinyLLM은(는) 무엇인가요?

Ollama, vLLM 또는 llama-cpp-python을 통해 소비자용 하드웨어에서 OpenAI 호환 API를 제공하는 소규모 로컬 LLM 실행 가이드 겸 챗봇 웹 앱입니다. TinyLLM은 소형 로컬 머신에서 대규모 언어 모델을 실행하기 위한 설정 가이드이자 웹 챗봇입니다. Ollama, vLLM 또는 llama-cpp-python으로 추론 서버를 구축하는 과정을 안내합니다. 각 서버는 OpenAI 호환 API를 제공하며, 이후 ChatGPT 스타일 챗봇을 해당 엔드포인트에 연결합니다.

TinyLLM은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

TinyLLM은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

TinyLLM은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. TinyLLM의 마지막 커밋은 2026년 10월 25일입니다.

TinyLLM은(는) 어디에 사용할 수 있나요?

클라우드 API에 데이터를 보내지 않고 가정용 GPU나 Apple Silicon Mac에서 비공개 챗봇을 실행합니다. VRAM이 제한된 하드웨어에서 양자화된 오픈 모델을 실험합니다. 벡터 데이터베이스를 통해 로컬 채팅 인터페이스에서 자체 문서를 검색할 수 있도록 합니다.

TinyLLM는 어떻게 설치하나요?

프로젝트 저장소를 클론합니다: git clone https://github.com/jasonacox/TinyLLM.git README의 docker run 명령을 사용해 Ollama 서버 컨테이너를 시작합니다 컨테이너 내부에서 llama3 모델을 다운로드하고 테스트 실행합니다: docker exec -it ollama ollama run llama3

TinyLLM은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/jasonacox/TinyLLM