Repolode
Enviar
speridlabs

speridlabs/idol-sdk

Transforma uma única imagem de um objeto em um modelo 3D Gaussian Splat, gerando também os lados que não aparecem, como SDK de inferência e demo.

Ver no GitHub
Estrelas
863
Forks
83
Issues abertas
1
Último commit
há 9 dias

O que é?

Idol é um SDK de inferência que recebe uma imagem de um objeto, como um render, uma imagem gerada ou uma foto, e produz um Gaussian Splat 3D no formato .ply padrão do 3DGS. Ele remove o fundo com BiRefNet, recorta e enquadra o objeto e, em seguida, gera entre 32.768 e 1.048.576 Gaussians, incluindo os lados que não aparecem na imagem de entrada.

O modelo é um transformer de difusão com 370M de parâmetros, condicionado por recursos do DINOv3 e do VAE do FLUX.2, com um decoder separado. A inferência está disponível por meio de uma ferramenta de linha de comando com modo para imagens sintéticas ou fotos reais, ou por uma API Python que carrega os pesos do Hugging Face. Cada execução salva o arquivo .ply, a imagem de entrada pré-processada e o JSON da câmera prevista.

O repositório inclui uma demo em Gradio em demo/ que pode ser executada localmente em uma GPU. O acesso aos pesos é restrito: é necessário solicitar acesso aos repositórios DINOv3 e FLUX.2-dev no Hugging Face antes do primeiro uso.

Recursos principais

  • 01Gera Gaussians 3D a partir de uma única imagem, com até 1.048.576 Gaussians.
  • 02Produz arquivos .ply no padrão 3DGS, que podem ser visualizados em qualquer visualizador de Gaussian Splat.
  • 03Remove o fundo e recorta o objeto automaticamente.
  • 04Oferece modos separados para imagens sintéticas e fotos reais.
  • 05Disponibiliza uma ferramenta de linha de comando, uma API Python e uma demo local em Gradio.
  • 06Usa flash-attn quando instalado, com PyTorch SDPA como alternativa.

Casos de uso

  • Transformar renders de produtos ou imagens geradas em assets 3D para um visualizador.
  • Reconstruir um objeto 3D a partir de uma única foto do mundo real.
  • Prototipar pipelines de imagem para 3D em uma GPU de consumo local.

Início rápido

  1. 1

    Instale o pacote com pip (Python 3.10+, PyTorch 2.5+)

    pip install -e .
  2. 2

    Solicite acesso aos modelos restritos DINOv3 e FLUX.2-dev no Hugging Face e, em seguida, faça login

    hf auth login
  3. 3

    Execute a inferência em uma foto

    python -m idol.sample --image photo.jpg --mode real

Antes de usar

  • É necessário obter aprovação para acessar os modelos restritos DINOv3 e FLUX.2-dev no Hugging Face.
  • É necessária uma GPU local para obter uma velocidade adequada; em GPUs menos potentes, as solicitações podem levar quase um minuto.
  • Usa cerca de 7,2 GB de VRAM no pico por solicitação.

Em coleções

Bibliotecas e ferramentas de visão computacional

Tópicos

#3d-gaussian-splatting#image-to-3d#diffusion#computer-vision#pytorch#gradio

Perguntas frequentes

O que é idol-sdk?
Transforma uma única imagem de um objeto em um modelo 3D Gaussian Splat, gerando também os lados que não aparecem, como SDK de inferência e demo. Idol é um SDK de inferência que recebe uma imagem de um objeto, como um render, uma imagem gerada ou uma foto, e produz um Gaussian Splat 3D no formato .ply padrão do 3DGS. Ele remove o fundo com BiRefNet, recorta e enquadra o objeto e, em seguida, gera entre 32.768 e 1.048.576 Gaussians, incluindo os lados que não aparecem na imagem de entrada.
idol-sdk é gratuito? Qual é a licença?
idol-sdk é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
idol-sdk ainda é mantido?
Manutenção ativa. O último commit de idol-sdk foi em 29 de out. de 2026.
Para que posso usar idol-sdk?
Transformar renders de produtos ou imagens geradas em assets 3D para um visualizador. Reconstruir um objeto 3D a partir de uma única foto do mundo real. Prototipar pipelines de imagem para 3D em uma GPU de consumo local.
Como instalar idol-sdk?
Instale o pacote com pip (Python 3.10+, PyTorch 2.5+): pip install -e . Solicite acesso aos modelos restritos DINOv3 e FLUX.2-dev no Hugging Face e, em seguida, faça login: hf auth login Execute a inferência em uma foto: python -m idol.sample --image photo.jpg --mode real
Onde consigo idol-sdk?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/speridlabs/idol-sdk

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados