Repolode
提交项目
TutteInstitute

TutteInstitute/evoc

一个基于 Python 的库，用于在 CPU 上快速聚类大规模高维嵌入向量，接口兼容 scikit-learn。

在 GitHub 查看
Star
356
Fork
22
未关闭 Issue
12
最近提交
9天前

这是什么？

EVōC（Embedding Vector Oriented Clustering）是一个用于聚类大规模高维嵌入向量的库，适用于 CLIP 向量，以及 sentence-transformers、OpenAI、Cohere 等嵌入模型的输出。它的目标是替代针对此类数据的 UMAP + HDBSCAN 组合，在保持聚类质量的同时减少需要调整的超参数，并大幅缩短运行时间。

该库遵循 scikit-learn 的 API 风格，可以直接替换其他 sklearn 聚类算法。除了单层标签外，它还能生成多粒度的聚类层级，提取各层之间的聚类层次结构，并识别重复或近似重复的向量。它也可以直接处理 int8 或二值量化后的向量。

项目可通过 PyPI 安装，依赖 numpy、scikit-learn、numba、tqdm 和 tbb。目前处于早期 beta 阶段，接口可能发生变化。其簇提取方法基于一篇 2025 年 arXiv 论文中描述的 PLSCAN 算法。

核心功能

  • 01在 CPU 上快速聚类嵌入向量。
  • 02生成从细到粗的多层聚类结果。
  • 03提取跨层级的聚类层次结构。
  • 04识别重复及近似重复的向量。
  • 05可直接处理 int8 和二值量化嵌入向量。
  • 06提供与 scikit-learn 兼容的 fit_predict 接口。

适用场景

  • 对大规模文本或图像集合的 CLIP 或句向量进行主题分组。
  • 构建可从宏观到细粒度缩放的分层主题图。
  • 在嵌入语料中查找重复或近似重复的条目。

快速上手

  1. 1

    使用 pip 从 PyPI 安装 EVōC

    pip install evoc
  2. 2

    导入 EVōC 并使用 fit_predict 对嵌入向量进行聚类

    import evoc clusterer = evoc.EVoC() cluster_labels = clusterer.fit_predict(data)

使用前须知

  • 该库处于早期测试版，功能可能随时出现故障或变动。
  • 该算法尚未正式发表，README 建议改为引用 PLSCAN 论文。

标签

#clustering#embeddings#vector-search#scikit-learn#topic-modeling#machine-learning

常见问题

evoc 是什么？
一个基于 Python 的库，用于在 CPU 上快速聚类大规模高维嵌入向量，接口兼容 scikit-learn。 EVōC（Embedding Vector Oriented Clustering）是一个用于聚类大规模高维嵌入向量的库，适用于 CLIP 向量，以及 sentence-transformers、OpenAI、Cohere 等嵌入模型的输出。它的目标是替代针对此类数据的 UMAP + HDBSCAN 组合，在保持聚类质量的同时减少需要调整的超参数，并大幅缩短运行时间。
evoc 可以免费使用吗？用的什么许可证？
evoc 以 BSD-2-Clause 许可证开源。用于商业产品前，请先确认许可证条款。
evoc 还在维护吗？
活跃维护中。evoc 最近一次提交是在 2026年10月29日。
evoc 适合用来做什么？
对大规模文本或图像集合的 CLIP 或句向量进行主题分组。 构建可从宏观到细粒度缩放的分层主题图。 在嵌入语料中查找重复或近似重复的条目。
evoc 怎么安装和运行？
使用 pip 从 PyPI 安装 EVōC: pip install evoc 导入 EVōC 并使用 fit_predict 对嵌入向量进行聚类: import evoc clusterer = evoc.EVoC() cluster_labels = clusterer.fit_predict(data)
在哪里获取 evoc？
源代码和安装说明在 GitHub 上：https://github.com/TutteInstitute/evoc

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目