Repolode
apple-aiml-research

apple-aiml-research/ml-sharp

Código de pesquisa da Apple que transforma uma única foto em uma cena 3D Gaussian em menos de um segundo, renderizável de novos pontos de vista próximos.

Estrelas
8,989
Forks
652
Issues abertas
76
Último commit
mês passado

O que é?

SHARP é um projeto de pesquisa da Apple que realiza síntese de visão monocular: a partir de uma única fotografia, prevê os parâmetros de uma representação da cena retratada em 3D Gaussian em uma única passagem feedforward de uma rede neural. Em uma GPU padrão, isso leva menos de um segundo.

A cena Gaussian resultante pode ser renderizada em tempo real para gerar imagens em alta resolução a partir de pontos de vista próximos da câmera. A representação é métrica, com escala absoluta, então os movimentos da câmera são expressos em unidades reais. A saída é gravada em arquivos 3DGS .ply, que, segundo o projeto, são compatíveis com vários renderizadores 3DGS públicos e usam a convenção de coordenadas do OpenCV.

O projeto oferece a ferramenta de linha de comando `sharp`, com os subcomandos `predict` e `render`. A predição roda em CPU, CUDA ou MPS, enquanto a renderização de vídeos de trajetórias de câmera atualmente exige uma GPU CUDA. O checkpoint do modelo é baixado automaticamente na primeira execução.

Recursos principais

  • 01Gera uma cena 3D Gaussian a partir de uma única imagem em uma passagem feedforward.
  • 02Roda em menos de um segundo em uma GPU padrão.
  • 03Produz representações em escala métrica que permitem movimentos de câmera em unidades reais.
  • 04Exporta arquivos 3DGS .ply padrão, compatíveis com renderizadores públicos.
  • 05Renderiza vídeos de trajetórias de câmera em tempo real (requer GPU CUDA).

Casos de uso

  • Transformar uma única foto em uma cena 3D explorável a partir de pontos de vista próximos.
  • Prototipar pipelines de Gaussian Splatting 3D sem captura de múltiplas vistas.
  • Gerar vídeos de sobrevoo com a câmera a partir de imagens estáticas.

Início rápido

  1. 1

    Crie um ambiente Python

    conda create -n sharp python=3.13
  2. 2

    Instale as dependências do projeto

    pip install -r requirements.txt
  3. 3

    Teste a instalação

    sharp --help
  4. 4

    Execute previsões nas imagens de entrada (o checkpoint é baixado automaticamente na primeira execução)

    sharp predict -i /path/to/input/images -o /path/to/output/gaussians

Antes de usar

  • A opção --render requer uma GPU CUDA para renderizar vídeos.
  • O README não informa uma licença de software; consulte os arquivos LICENSE e LICENSE_MODEL antes de usar o projeto.

Tópicos

Perguntas frequentes

O que é ml-sharp?
Código de pesquisa da Apple que transforma uma única foto em uma cena 3D Gaussian em menos de um segundo, renderizável de novos pontos de vista próximos. SHARP é um projeto de pesquisa da Apple que realiza síntese de visão monocular: a partir de uma única fotografia, prevê os parâmetros de uma representação da cena retratada em 3D Gaussian em uma única passagem feedforward de uma rede neural. Em uma GPU padrão, isso leva menos de um segundo.
ml-sharp é gratuito? Qual é a licença?
ml-sharp é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
ml-sharp ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de ml-sharp foi em 11 de set. de 2026.
Para que posso usar ml-sharp?
Transformar uma única foto em uma cena 3D explorável a partir de pontos de vista próximos. Prototipar pipelines de Gaussian Splatting 3D sem captura de múltiplas vistas. Gerar vídeos de sobrevoo com a câmera a partir de imagens estáticas.
Como instalar ml-sharp?
Crie um ambiente Python: conda create -n sharp python=3.13 Instale as dependências do projeto: pip install -r requirements.txt Teste a instalação: sharp --help Execute previsões nas imagens de entrada (o checkpoint é baixado automaticamente na primeira execução): sharp predict -i /path/to/input/images -o /path/to/output/gaussians
Onde consigo ml-sharp?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/apple-aiml-research/ml-sharp

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados