addyosmani/chatty

어떤 프로젝트인가요?

핵심 기능

• 01WebGPU를 통해 브라우저에서 LLM을 로컬 실행하며, 서버 측 추론은 수행하지 않습니다.
• 02모델을 한 번 다운로드하면 오프라인에서도 사용할 수 있습니다.
• 03PDF와 텍스트 기반 파일을 불러와 로컬에서 질문할 수 있습니다.
• 04대화 기록을 저장하고 대화를 JSON 또는 Markdown으로 내보냅니다.
• 05사용자 지정 지침, 음성 입력, 응답 다시 생성을 지원합니다.

활용 사례

• 프롬프트가 기기 밖으로 나가면 안 되는 상황에서 오픈소스 모델과 대화하기.
• 비공개 문서를 클라우드 서비스에 업로드하지 않고 질문하기.
• 인터넷에 연결되지 않은 노트북에서 LLM 채팅 인터페이스 사용하기.
• Next.js 앱에서 브라우저 내 WebGPU 추론과 파일 임베딩이 작동하는 방식 살펴보기.

빠른 시작

1. 1

   저장소를 클론합니다

   git clone https://github.com/addyosmani/chatty
2. 2

   프로젝트 폴더를 엽니다

   cd chatty
3. 3

   종속성을 설치합니다

   npm install
4. 4

   개발 서버를 시작하고 localhost:3000을 엽니다

   npm run dev

사용 전 알아둘 점

• !메모리가 충분한 GPU가 필요합니다. 7B 모델에는 약 6GB가 필요합니다.
• !Chrome 또는 Edge처럼 WebGPU를 지원하는 브라우저가 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

chatty은(는) 무엇인가요?

WebGPU로 오픈소스 LLM을 GPU에서 로컬 실행해 대화 내용을 기기에 보관하는 브라우저 기반 채팅 앱입니다. Chatty는 브라우저 안에서 대형 언어 모델을 완전히 로컬로 실행해 대화할 수 있는 Next.js 웹 앱입니다. WebGPU를 사용해 Gemma, Llama, Mistral 같은 모델을 사용자 하드웨어에서 실행하므로 프롬프트와 응답이 서버가 아닌 로컬에서 처리됩니다. 모델은 한 번 다운로드하면 인터넷에 연결하지 않고도 사용할 수 있습니다.

chatty은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

chatty은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

chatty은(는) 아직 유지보수되고 있나요?

6개월 이내 업데이트. chatty의 마지막 커밋은 2026년 8월 9일입니다.

chatty은(는) 어디에 사용할 수 있나요?

프롬프트가 기기 밖으로 나가면 안 되는 상황에서 오픈소스 모델과 대화하기. 비공개 문서를 클라우드 서비스에 업로드하지 않고 질문하기. 인터넷에 연결되지 않은 노트북에서 LLM 채팅 인터페이스 사용하기. Next.js 앱에서 브라우저 내 WebGPU 추론과 파일 임베딩이 작동하는 방식 살펴보기.

chatty는 어떻게 설치하나요?

저장소를 클론합니다: git clone https://github.com/addyosmani/chatty 프로젝트 폴더를 엽니다: cd chatty 종속성을 설치합니다: npm install 개발 서버를 시작하고 localhost:3000을 엽니다: npm run dev

chatty은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/addyosmani/chatty