Repolode
speridlabs

speridlabs/idol-sdk

물체 이미지 한 장으로 보이지 않는 면까지 생성해 3D Gaussian splat 모델을 만드는 추론 SDK이자 데모입니다.

스타
863
포크
83
열린 이슈
1
마지막 커밋
8일 전

어떤 프로젝트인가요?

Idol은 렌더 이미지, 생성 이미지, 사진 등 물체 사진 한 장을 입력받아 표준 3DGS .ply 형식의 3D Gaussian splat을 생성하는 추론 SDK입니다. BiRefNet으로 배경을 제거하고 물체를 자르고 구도를 맞춘 다음, 입력 이미지에서 보이지 않는 면까지 포함해 32,768개에서 1,048,576개의 Gaussian을 생성합니다.

이 모델은 DINOv3 및 FLUX.2 VAE 특징을 조건으로 사용하는 370M 파라미터 diffusion transformer와 별도의 decoder로 구성됩니다. synthetic 또는 real photo 모드를 지원하는 명령줄 도구나 Hugging Face에서 가중치를 불러오는 Python API로 추론할 수 있습니다. 실행할 때마다 .ply 파일, 전처리된 입력 이미지, 예측된 카메라 JSON을 저장합니다.

demo/에는 GPU에서 로컬로 실행할 수 있는 Gradio 데모가 포함되어 있습니다. 가중치에 접근하려면 제한이 있으므로, 처음 사용하기 전에 Hugging Face의 DINOv3 및 FLUX.2-dev 저장소에 대한 접근 권한을 요청해야 합니다.

핵심 기능

  • 01이미지 한 장으로 최대 1,048,576개의 Gaussian을 생성합니다.
  • 02모든 Gaussian splat 뷰어에서 볼 수 있는 표준 3DGS .ply 파일을 출력합니다.
  • 03배경을 제거하고 물체를 자동으로 자릅니다.
  • 04synthetic 모드와 real photograph 모드를 각각 제공합니다.
  • 05명령줄 도구, Python API, 로컬 Gradio 데모를 제공합니다.
  • 06flash-attn이 설치되어 있으면 사용하고, 그렇지 않으면 PyTorch SDPA로 대체합니다.

활용 사례

  • 제품 렌더나 생성 이미지를 뷰어에서 볼 수 있는 3D 에셋으로 변환합니다.
  • 실제 사진 한 장으로 3D 물체를 재구성합니다.
  • 일반 사용자용 로컬 GPU에서 이미지-3D 파이프라인을 프로토타이핑합니다.

빠른 시작

  1. 1

    pip으로 패키지를 설치합니다(Python 3.10+, PyTorch 2.5+)

    pip install -e .
  2. 2

    Hugging Face에서 액세스가 제한된 DINOv3 및 FLUX.2-dev 모델의 액세스를 요청한 다음 로그인합니다

    hf auth login
  3. 3

    사진에 대해 추론을 실행합니다

    python -m idol.sample --image photo.jpg --mode real

사용 전 알아둘 점

  • Hugging Face의 액세스 제한 모델인 DINOv3 및 FLUX.2-dev에 대한 액세스 승인이 필요합니다.
  • 실용적인 속도를 내려면 로컬 GPU가 필요합니다. 성능이 낮은 GPU에서는 요청 처리에 거의 1분이 걸릴 수 있습니다.
  • 요청당 피크 VRAM을 약 7.2 GB 사용합니다.

포함된 컬렉션

토픽

자주 묻는 질문

idol-sdk은(는) 무엇인가요?
물체 이미지 한 장으로 보이지 않는 면까지 생성해 3D Gaussian splat 모델을 만드는 추론 SDK이자 데모입니다. Idol은 렌더 이미지, 생성 이미지, 사진 등 물체 사진 한 장을 입력받아 표준 3DGS .ply 형식의 3D Gaussian splat을 생성하는 추론 SDK입니다. BiRefNet으로 배경을 제거하고 물체를 자르고 구도를 맞춘 다음, 입력 이미지에서 보이지 않는 면까지 포함해 32,768개에서 1,048,576개의 Gaussian을 생성합니다.
idol-sdk은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
idol-sdk은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
idol-sdk은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. idol-sdk의 마지막 커밋은 2026년 10월 29일입니다.
idol-sdk은(는) 어디에 사용할 수 있나요?
제품 렌더나 생성 이미지를 뷰어에서 볼 수 있는 3D 에셋으로 변환합니다. 실제 사진 한 장으로 3D 물체를 재구성합니다. 일반 사용자용 로컬 GPU에서 이미지-3D 파이프라인을 프로토타이핑합니다.
idol-sdk는 어떻게 설치하나요?
pip으로 패키지를 설치합니다(Python 3.10+, PyTorch 2.5+): pip install -e . Hugging Face에서 액세스가 제한된 DINOv3 및 FLUX.2-dev 모델의 액세스를 요청한 다음 로그인합니다: hf auth login 사진에 대해 추론을 실행합니다: python -m idol.sample --image photo.jpg --mode real
idol-sdk은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/speridlabs/idol-sdk

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트