Repolode
apple-aiml-research

apple-aiml-research/ml-sharp

Apple의 연구 코드로, 사진 한 장을 1초도 안 돼 주변 시점에서 렌더링할 수 있는 3D Gaussian scene으로 변환합니다.

스타
8,989
포크
652
열린 이슈
76
마지막 커밋
지난달

어떤 프로젝트인가요?

SHARP는 Apple의 연구 프로젝트로, 단안 뷰 합성을 수행합니다. 사진 한 장을 입력하면 신경망의 단일 feedforward pass로 사진 속 장면을 표현하는 3D Gaussian의 매개변수를 예측합니다. 일반적인 GPU에서는 1초도 걸리지 않습니다.

생성된 Gaussian scene은 실시간 렌더링을 통해 주변 카메라 시점에서 고해상도 이미지를 만들 수 있습니다. 표현에는 절대 스케일이 적용된 미터법 스케일이 사용되므로 카메라 이동을 실제 단위로 나타낼 수 있습니다. 출력은 3DGS .ply 파일로 저장되며, 프로젝트 설명에 따르면 OpenCV 좌표 규약을 사용하는 여러 공개 3DGS 렌더러와 호환됩니다.

프로젝트는 `predict`와 `render` 하위 명령을 제공하는 `sharp` CLI 도구를 제공합니다. 예측은 CPU, CUDA 또는 MPS에서 실행되지만, 카메라 궤적 동영상을 렌더링하려면 현재 CUDA GPU가 필요합니다. 모델 체크포인트는 첫 실행 시 자동으로 다운로드됩니다.

핵심 기능

  • 01단일 이미지에서 한 번의 feedforward pass로 3D Gaussian scene을 생성합니다.
  • 02일반적인 GPU에서 1초 이내에 실행됩니다.
  • 03실제 단위로 카메라를 이동할 수 있는 미터법 스케일 표현을 생성합니다.
  • 04공개 렌더러와 호환되는 표준 3DGS .ply 파일로 내보냅니다.
  • 05카메라 궤적 동영상을 실시간으로 렌더링합니다(CUDA GPU 필요).

활용 사례

  • 사진 한 장을 주변 시점에서 둘러볼 수 있는 3D scene으로 변환합니다.
  • 다중 시점 캡처 없이 3D Gaussian splatting 파이프라인을 프로토타이핑합니다.
  • 정지 이미지에서 카메라 플라이스루 동영상을 생성합니다.

빠른 시작

  1. 1

    Python 환경을 만듭니다

    conda create -n sharp python=3.13
  2. 2

    프로젝트 종속성을 설치합니다

    pip install -r requirements.txt
  3. 3

    설치를 테스트합니다

    sharp --help
  4. 4

    입력 이미지에 대해 예측을 실행합니다(체크포인트는 첫 실행 시 자동으로 다운로드됩니다)

    sharp predict -i /path/to/input/images -o /path/to/output/gaussians

사용 전 알아둘 점

  • --render 옵션으로 동영상을 렌더링하려면 CUDA GPU가 필요합니다.
  • README에는 소프트웨어 라이선스가 명시되어 있지 않습니다. 사용하기 전에 LICENSE 및 LICENSE_MODEL 파일을 확인하세요.

토픽

자주 묻는 질문

ml-sharp은(는) 무엇인가요?
Apple의 연구 코드로, 사진 한 장을 1초도 안 돼 주변 시점에서 렌더링할 수 있는 3D Gaussian scene으로 변환합니다. SHARP는 Apple의 연구 프로젝트로, 단안 뷰 합성을 수행합니다. 사진 한 장을 입력하면 신경망의 단일 feedforward pass로 사진 속 장면을 표현하는 3D Gaussian의 매개변수를 예측합니다. 일반적인 GPU에서는 1초도 걸리지 않습니다.
ml-sharp은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
ml-sharp은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
ml-sharp은(는) 아직 유지보수되고 있나요?
6개월 이내 업데이트. ml-sharp의 마지막 커밋은 2026년 9월 11일입니다.
ml-sharp은(는) 어디에 사용할 수 있나요?
사진 한 장을 주변 시점에서 둘러볼 수 있는 3D scene으로 변환합니다. 다중 시점 캡처 없이 3D Gaussian splatting 파이프라인을 프로토타이핑합니다. 정지 이미지에서 카메라 플라이스루 동영상을 생성합니다.
ml-sharp는 어떻게 설치하나요?
Python 환경을 만듭니다: conda create -n sharp python=3.13 프로젝트 종속성을 설치합니다: pip install -r requirements.txt 설치를 테스트합니다: sharp --help 입력 이미지에 대해 예측을 실행합니다(체크포인트는 첫 실행 시 자동으로 다운로드됩니다): sharp predict -i /path/to/input/images -o /path/to/output/gaussians
ml-sharp은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/apple-aiml-research/ml-sharp

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트