Repolode
Dicklesworthstone

Dicklesworthstone/fast_vector_similarity

用 Rust 实现的高性能向量相似度库,提供 Python 绑定和多种相关性度量。

Star
429
Fork
27
未关闭 Issue
0
最近提交
6天前

这是什么?

用 Rust 编写的高性能向量相似度库,同时通过 PyPI 提供 Python 绑定,用于比较两组数值向量或高维文本 embedding,适合数据分析与统计任务。

库实现了 Spearman 秩相关、Kendall's Tau、近似距离相关、Jensen-Shannon 依赖度量、Hoeffding's D 和归一化互信息六种度量,其中部分度量能捕捉非线性和非单调依赖。计算通过 rayon 并行化,Kendall's Tau 用归并排序统计逆序对降低复杂度,距离矩阵等操作基于 ndarray 向量化。

另外支持 bootstrap 重采样,通过多次随机抽样估计相似度分布,得到更稳健的结果。Python 侧提供 py_compute_vector_similarity_stats 和 py_compute_bootstrapped_similarity_stats,结果以 JSON 返回。

核心功能

  • 01提供六种相似度与依赖度量:Spearman's rho、Kendall's tau、近似距离相关、Jensen-Shannon 依赖度量、Hoeffding's D 和归一化互信息。
  • 02基于 rayon 的并行计算,可随 CPU 核心数扩展。
  • 03Kendall's tau 用归并排序统计逆序对,把复杂度从 O(n^2) 降到 O(n log n)。
  • 04支持 bootstrap 重采样,可配置样本量与迭代次数,得到更稳健的估计。
  • 05Python 绑定以 JSON 字符串返回结果,方便接入 Pandas 等现有工作流。
  • 06可处理高维向量,包括 4096 维的 LLM 文本 embedding。

适用场景

  • 对 LLM 文本 embedding 做相似度排序,找出与查询句子最相近的条目。
  • 检测两个变量之间非线性、非单调的依赖关系。
  • 用 bootstrap 得到带置信区间的相似度估计,降低离群点的影响。
  • 在 Rust 项目中直接调用相似度计算函数完成统计分析。

快速上手

  1. 1

    从 PyPI 安装 Python 包

    pip install fast_vector_similarity
  2. 2

    在 Rust 项目的 Cargo.toml 中添加该库

  3. 3

    按照 README 示例在 Python 中调用 py_compute_vector_similarity_stats

使用前须知

  • 项目未指定许可证,使用权限不明确。

收录于专题

标签

#rust#vector-similarity#statistics#embeddings#python-bindings#llm#correlation#bootstrap#embedding-vectors#similarity

常见问题

fast_vector_similarity 是什么?
用 Rust 实现的高性能向量相似度库,提供 Python 绑定和多种相关性度量。 用 Rust 编写的高性能向量相似度库,同时通过 PyPI 提供 Python 绑定,用于比较两组数值向量或高维文本 embedding,适合数据分析与统计任务。
fast_vector_similarity 可以免费使用吗?用的什么许可证?
fast_vector_similarity 没有声明许可证。代码虽然公开,但没有许可证就没有明确的使用授权,正式使用前建议先联系作者。
fast_vector_similarity 还在维护吗?
活跃维护中。fast_vector_similarity 最近一次提交是在 2026年11月1日。
fast_vector_similarity 适合用来做什么?
对 LLM 文本 embedding 做相似度排序,找出与查询句子最相近的条目。 检测两个变量之间非线性、非单调的依赖关系。 用 bootstrap 得到带置信区间的相似度估计,降低离群点的影响。 在 Rust 项目中直接调用相似度计算函数完成统计分析。
fast_vector_similarity 怎么安装和运行?
从 PyPI 安装 Python 包: pip install fast_vector_similarity 在 Rust 项目的 Cargo.toml 中添加该库 按照 README 示例在 Python 中调用 py_compute_vector_similarity_stats
在哪里获取 fast_vector_similarity?
源代码和安装说明在 GitHub 上:https://github.com/Dicklesworthstone/fast_vector_similarity

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目