로컬 및 온디바이스 하드웨어에서 이미지, 동영상, 문서, 음성을 이해하는 오픈소스 멀티모달 모델(MiniCPM-V 4.7 및 MiniCPM-o 4.5).
- 스타
- 3,076
- 포크
- 540
- 열린 이슈
- 3
- 마지막 커밋
- 지난달
어떤 프로젝트인가요?
ZDTaichu5.0-9B는 텍스트와 하나 이상의 이미지, 동영상을 입력으로 받으며, 모든 해상도의 시각 입력을 지원하는 멀티모달 파운데이션 모델입니다. Qwen3.5-9B 언어 모델 백본과 C-RADIOv4-H 비전 인코더를 결합합니다. 일반 이미지와 문서, 차트, 다이어그램, OCR 이해는 물론 시각적 수학, 다중 시점 공간 추론, 여러 단계의 도구 사용, VLA 및 embodied AI 연구를 위한 공간 지각을 목표로 합니다.
이 프로젝트는 Hugging Face와 ModelScope에서 FP8, NVFP4, DSpark 버전을 비롯한 여러 변형 모델을 공개합니다. 가중치를 내려받을 수 있으며, trust_remote_code를 통해 Hugging Face Transformers로 실행하거나 이미지와 동영상 입력을 지원하는 OpenAI 호환 chat completions 엔드포인트를 제공하는 vLLM 포크로 서빙할 수 있습니다. 선택적 플래그를 사용하면 추론 결과 출력과 도구 호출 파싱을 활성화할 수 있습니다.
저장소에서는 엔트로피 게이팅 적응형 순환 추론 메커니즘도 설명합니다. 이 메커니즘은 더 어려운 토큰에 잠재 공간의 추가 정제 단계를 할당합니다. 모델 가중치는 NVIDIA Open Model License로 배포되며, Qwen3.5의 Apache-2.0 라이선스와 기타 업스트림 고지도 유지됩니다.
핵심 기능
- 01텍스트, 여러 이미지, 동영상을 입력으로 받으며 모든 해상도의 시각 입력을 지원합니다.
- 02시각적 수학과 함께 문서, 차트, 다이어그램 이해 및 OCR을 지원합니다.
- 03다중 시점 대응 관계 파악과 3D 장면 이해 같은 공간 추론 작업을 목표로 합니다.
- 04여러 단계에 걸친 도구 사용과 여러 차례의 도구 호출을 지원합니다.
- 05Hugging Face와 ModelScope에서 FP8, NVFP4, DSpark 버전을 제공합니다.
- 06Docker 이미지를 포함한 vLLM 포크를 통해 OpenAI 호환 서빙 방식을 제공합니다.
활용 사례
- 비전-언어 모델로 문서, 차트, 다이어그램에서 정보를 추출합니다.
- 이미지 이해와 여러 단계의 도구 호출을 결합하는 에이전트를 구축합니다.
- 공간 추론 또는 embodied AI의 지각과 계획을 연구합니다.
- 로컬 멀티모달 모델을 OpenAI 스타일의 채팅 API 뒤에서 서빙합니다.
사용 전 알아둘 점
- 벤치마크 결과는 명시된 평가 설정에 따라 저자가 보고한 수치이며, 여기서 독립적으로 검증한 것은 아닙니다.
- README 발췌문에는 모델 다운로드 링크가 있지만 설치 또는 실행 명령은 없으므로, 표시된 텍스트에는 설정 절차가 문서화되어 있지 않습니다.
토픽
자주 묻는 질문
- ZDTaichu5.0-9B은(는) 무엇인가요?
- Qwen3.5와 C-RADIOv4-H 기반의 9B 오픈 웨이트 멀티모달 모델 ZDTaichu5.0-9B는 텍스트와 하나 이상의 이미지, 동영상을 입력으로 받으며, 모든 해상도의 시각 입력을 지원하는 멀티모달 파운데이션 모델입니다. Qwen3.5-9B 언어 모델 백본과 C-RADIOv4-H 비전 인코더를 결합합니다. 일반 이미지와 문서, 차트, 다이어그램, OCR 이해는 물론 시각적 수학, 다중 시점 공간 추론, 여러 단계의 도구 사용, VLA 및 embodied AI 연구를 위한 공간 지각을 목표로 합니다.
- ZDTaichu5.0-9B은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- ZDTaichu5.0-9B은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- ZDTaichu5.0-9B은(는) 아직 유지보수되고 있나요?
- 6개월 이내 업데이트. ZDTaichu5.0-9B의 마지막 커밋은 2026년 9월 17일입니다.
- ZDTaichu5.0-9B은(는) 어디에 사용할 수 있나요?
- 비전-언어 모델로 문서, 차트, 다이어그램에서 정보를 추출합니다. 이미지 이해와 여러 단계의 도구 호출을 결합하는 에이전트를 구축합니다. 공간 추론 또는 embodied AI의 지각과 계획을 연구합니다. 로컬 멀티모달 모델을 OpenAI 스타일의 채팅 API 뒤에서 서빙합니다.
- ZDTaichu5.0-9B은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Taichu-AI/ZDTaichu5.0-9B
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
OpenAI의 오픈 웨이트 gpt-oss-120b 및 gpt-oss-20b 언어 모델과 참조 추론·도구·클라이언트 코드
NEO는 픽셀과 단어를 하나의 인코더 없는 dense 아키텍처로 처리하는 네이티브 VLM 제품군입니다.
공개 데이터로 학습한 오픈 의료 비전-언어 모델로, 의료 텍스트와 2D 이미지, 3D CT/MRI 볼륨, 수술 영상을 처리합니다.
FSDP2, Muon, Liger 커널을 지원하는 통합 멀티모달 모델 학습 엔진
텍스트·이미지 생성을 통해 다양한 컴퓨터 비전 작업을 수행하는 통합 멀티모달 모델입니다.