Repolode
apple-aiml-research

apple-aiml-research/ml-sharp

苹果研究项目,单张照片不到一秒即可生成可渲染的 3D 高斯场景。

Star
8,989
Fork
652
未关闭 Issue
76
最近提交
上个月

这是什么?

SHARP 是苹果的研究项目,用于单目视图合成:输入一张照片,神经网络通过一次前向推理即可预测画面所描绘场景的 3D 高斯表示。在普通 GPU 上,这一过程不到一秒。

生成的高斯场景可以实时渲染,从附近的相机视角输出高分辨率图像。该表示具有绝对尺度,相机移动可以用真实单位描述。结果以 3DGS 的 .ply 文件输出,采用 OpenCV 坐标系(x 向右、y 向下、z 向前),可用于多种常见的 3DGS 渲染器。

项目提供 `sharp` 命令行工具,包含 `predict` 和 `render` 两个子命令。预测支持 CPU、CUDA 和 MPS;渲染相机轨迹视频目前需要 CUDA GPU。模型权重会在首次运行时自动下载。

核心功能

  • 01单张图像一次前向推理即可生成 3D 高斯场景。
  • 02在普通 GPU 上不到一秒完成。
  • 03生成具有绝对尺度的表示,支持按真实单位移动相机。
  • 04导出标准 3DGS .ply 文件,兼容多种公开渲染器。
  • 05实时渲染相机轨迹视频(需要 CUDA GPU)。

适用场景

  • 将单张照片转换为可从附近视角浏览的 3D 场景。
  • 在无需多视角拍摄的情况下验证 3D 高斯溅射流程。
  • 从静态图片生成相机穿行视频。

快速上手

  1. 1

    创建 Python 环境

    conda create -n sharp python=3.13
  2. 2

    安装项目依赖

    pip install -r requirements.txt
  3. 3

    测试安装是否成功

    sharp --help
  4. 4

    对输入图片运行预测(首次运行会自动下载模型权重)

    sharp predict -i /path/to/input/images -o /path/to/output/gaussians

使用前须知

  • 通过 --render 选项渲染视频需要 CUDA GPU。
  • README 未明确软件许可证,使用前请查看 LICENSE 和 LICENSE_MODEL 文件。

标签

常见问题

ml-sharp 是什么?
苹果研究项目,单张照片不到一秒即可生成可渲染的 3D 高斯场景。 SHARP 是苹果的研究项目,用于单目视图合成:输入一张照片,神经网络通过一次前向推理即可预测画面所描绘场景的 3D 高斯表示。在普通 GPU 上,这一过程不到一秒。
ml-sharp 可以免费使用吗?用的什么许可证?
ml-sharp 以 Other 许可证开源。用于商业产品前,请先确认许可证条款。
ml-sharp 还在维护吗?
半年内有更新。ml-sharp 最近一次提交是在 2026年9月11日。
ml-sharp 适合用来做什么?
将单张照片转换为可从附近视角浏览的 3D 场景。 在无需多视角拍摄的情况下验证 3D 高斯溅射流程。 从静态图片生成相机穿行视频。
ml-sharp 怎么安装和运行?
创建 Python 环境: conda create -n sharp python=3.13 安装项目依赖: pip install -r requirements.txt 测试安装是否成功: sharp --help 对输入图片运行预测(首次运行会自动下载模型权重): sharp predict -i /path/to/input/images -o /path/to/output/gaussians
在哪里获取 ml-sharp?
源代码和安装说明在 GitHub 上:https://github.com/apple-aiml-research/ml-sharp

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目