Repolode
提交项目
lance-format

lance-format/lance

面向多模态 AI 的开放 lakehouse 表格式与文件格式，支持向量检索、全文检索和快速随机访问。

在 GitHub 查看官网
Star
7,265
Fork
926
未关闭 Issue
1,197
最近提交
15小时前

这是什么？

Lance 是一套面向多模态 AI 的开放 lakehouse 格式，包括文件格式、表格式和 catalog 规范，可直接构建在对象存储之上。它将图像、视频、音频、文本和向量嵌入统一存放在同一格式中，并通过 blob 编码和惰性加载处理多模态数据。

它主要解决传统基于 Parquet 的 lakehouse 在 AI 场景中的短板，例如相似度检索、ML 训练时的随机采样，以及无需重写整张表即可回填新的特征列。它同时支持向量索引、BM25 全文检索、对同一数据集的 SQL 分析，并提供带时间旅行、标签和分支的自动版本管理。

用户可以用几行 Python 代码将 Parquet 转换为 Lance，并通过 Pandas、Polars、DuckDB、PyArrow、PyTorch 读取。项目还列出了与 Ray、Spark、Trino、Flink 的集成，核心用 Rust 实现，并提供 Python 和 Java 绑定。

核心功能

  • 01支持 IVF_PQ 向量索引，并可与全文检索（BM25）和 SQL 查询结合使用。
  • 02批量随机读取性能在项目基准测试中可达 Parquet 的 100 倍。
  • 03在同一格式中存储图像、视频、音频、文本和向量，并支持惰性加载 blob 数据。
  • 04无需重写整张表即可新增带回填值的列。
  • 05自动版本管理，支持 ACID 事务、时间旅行、标签和分支。
  • 06可与 Pandas、Polars、DuckDB、PyArrow、PyTorch 等工具配合使用。

适用场景

  • 构建同时结合向量、关键词和 SQL 过滤的搜索引擎或特征存储。
  • 对图像、视频数据集进行大规模 ML 训练，需要高效随机采样。
  • 在基于对象存储的 lakehouse 中管理向量嵌入和多模态文件。
  • 在已有数据集上增加特征列，避免整表重写。

快速上手

  1. 1

    安装 Python 包 pylance

    pip install pylance
  2. 2

    在 Python 中将 Parquet 数据集转换为 Lance 并读回

使用前须知

  • Lance 发布频繁，若混用不同版本，请固定 data_storage_version 以确保写入结果一致。
  • 'next' 文件格式别名不稳定，不应用于生产数据。

收录于专题

向量数据库计算机视觉工具与库数据科学课程与工具

标签

#vector-database#multimodal#data-format#apache-arrow#duckdb#embeddings#machine-learning#lakehouse#computer-vision#data-analysis

常见问题

lance 是什么？
面向多模态 AI 的开放 lakehouse 表格式与文件格式，支持向量检索、全文检索和快速随机访问。 Lance 是一套面向多模态 AI 的开放 lakehouse 格式，包括文件格式、表格式和 catalog 规范，可直接构建在对象存储之上。它将图像、视频、音频、文本和向量嵌入统一存放在同一格式中，并通过 blob 编码和惰性加载处理多模态数据。
lance 可以免费使用吗？用的什么许可证？
lance 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
lance 还在维护吗？
活跃维护中。lance 最近一次提交是在 2026年11月6日。
lance 适合用来做什么？
构建同时结合向量、关键词和 SQL 过滤的搜索引擎或特征存储。 对图像、视频数据集进行大规模 ML 训练，需要高效随机采样。 在基于对象存储的 lakehouse 中管理向量嵌入和多模态文件。 在已有数据集上增加特征列，避免整表重写。
lance 怎么安装和运行？
安装 Python 包 pylance: pip install pylance 在 Python 中将 Parquet 数据集转换为 Lance 并读回
在哪里获取 lance？
源代码和安装说明在 GitHub 上：https://github.com/lance-format/lance

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目