Repolode
Dicklesworthstone

Dicklesworthstone/fast_vector_similarity

Python 바인딩과 부트스트랩 신뢰 구간을 제공하는 고속 벡터 유사도 측정용 Rust 라이브러리입니다.

스타
429
포크
27
열린 이슈
0
마지막 커밋
5일 전

어떤 프로젝트인가요?

Fast Vector Similarity는 두 숫자 벡터 사이의 유사도와 의존도 측정값을 계산하는 Rust 라이브러리로, PyPI에 Python 바인딩도 공개되어 있습니다. LLM의 고차원 텍스트 임베딩 비교를 비롯해 데이터 분석과 통계 작업을 대상으로 합니다.

Spearman 순위 상관계수, Kendall의 타우, 근사 거리 상관계수, Jensen-Shannon 의존도 측정값, Hoeffding의 D, 정규화 상호 정보량 등 여섯 가지 측정값을 구현합니다. 이 중 일부는 일반 상관계수로는 포착하기 어려운 비선형 또는 비단조 의존성을 찾아냅니다. rayon으로 계산을 병렬화하고, Kendall의 타우는 병합 정렬로 역전 쌍을 세어 복잡도를 낮추며, 거리 행렬 계산에는 벡터화된 ndarray 연산을 사용합니다.

또한 부트스트랩 기능을 제공해 데이터를 반복해서 재표본추출하고, 각 측정값의 분포를 추정해 더 견고한 결과를 얻을 수 있습니다. Python API의 py_compute_vector_similarity_stats와 py_compute_bootstrapped_similarity_stats는 모두 JSON 문자열을 반환합니다.

핵심 기능

  • 01Spearman의 rho, Kendall의 타우, 근사 거리 상관계수, Jensen-Shannon 의존도, Hoeffding의 D, 정규화 상호 정보량 등 여섯 가지 유사도 및 의존도 측정값을 제공합니다.
  • 02rayon을 통한 병렬 계산으로 CPU 코어 수에 따라 확장됩니다.
  • 03Kendall의 타우 계산 시 병합 정렬로 역전 쌍을 세어 복잡도를 O(n^2)에서 O(n log n)으로 줄입니다.
  • 04표본 크기와 반복 횟수를 설정할 수 있는 부트스트랩으로 견고한 추정값을 제공합니다.
  • 05Python 바인딩은 결과를 JSON 문자열로 반환하므로 Pandas 및 기타 Python 도구에서 사용할 수 있습니다.
  • 064096차원 LLM 임베딩을 포함한 고차원 벡터를 처리합니다.

활용 사례

  • 쿼리 문장과의 유사도를 기준으로 LLM 텍스트 임베딩의 순위를 매깁니다.
  • 두 변수 사이의 비선형 및 비단조 의존성을 감지합니다.
  • 이상치에 덜 민감한 부트스트랩 신뢰 구간을 포함한 유사도 추정값을 생성합니다.
  • 통계 분석을 위해 Rust 프로젝트에서 유사도 함수를 직접 호출합니다.

빠른 시작

  1. 1

    PyPI에서 Python 패키지를 설치합니다

    pip install fast_vector_similarity
  2. 2

    Rust 프로젝트의 Cargo.toml에 라이브러리를 추가합니다

  3. 3

    README 예시처럼 Python에서 py_compute_vector_similarity_stats를 호출합니다

사용 전 알아둘 점

  • 라이선스가 지정되어 있지 않아 사용 권한이 불분명합니다.

포함된 컬렉션

토픽

#rust#vector-similarity#statistics#embeddings#python-bindings#llm#correlation#bootstrap#embedding-vectors#similarity

자주 묻는 질문

fast_vector_similarity은(는) 무엇인가요?
Python 바인딩과 부트스트랩 신뢰 구간을 제공하는 고속 벡터 유사도 측정용 Rust 라이브러리입니다. Fast Vector Similarity는 두 숫자 벡터 사이의 유사도와 의존도 측정값을 계산하는 Rust 라이브러리로, PyPI에 Python 바인딩도 공개되어 있습니다. LLM의 고차원 텍스트 임베딩 비교를 비롯해 데이터 분석과 통계 작업을 대상으로 합니다.
fast_vector_similarity은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
fast_vector_similarity에는 명시된 라이선스가 없습니다. 코드는 공개되어 있지만 라이선스가 없으면 재사용 허가가 명확하지 않으므로, 사용 전에 작성자에게 문의하는 것이 좋습니다.
fast_vector_similarity은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. fast_vector_similarity의 마지막 커밋은 2026년 11월 1일입니다.
fast_vector_similarity은(는) 어디에 사용할 수 있나요?
쿼리 문장과의 유사도를 기준으로 LLM 텍스트 임베딩의 순위를 매깁니다. 두 변수 사이의 비선형 및 비단조 의존성을 감지합니다. 이상치에 덜 민감한 부트스트랩 신뢰 구간을 포함한 유사도 추정값을 생성합니다. 통계 분석을 위해 Rust 프로젝트에서 유사도 함수를 직접 호출합니다.
fast_vector_similarity는 어떻게 설치하나요?
PyPI에서 Python 패키지를 설치합니다: pip install fast_vector_similarity Rust 프로젝트의 Cargo.toml에 라이브러리를 추가합니다 README 예시처럼 Python에서 py_compute_vector_similarity_stats를 호출합니다
fast_vector_similarity은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Dicklesworthstone/fast_vector_similarity

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트