Repolode
run-llama

run-llama/semtools

문서를 Markdown으로 변환하고 텍스트 파일에서 로컬 의미 기반 검색과 AI 질의응답을 수행하는 CLI 도구입니다.

대체할 수 있는 제품:LlamaParseAlgolia

스타
1,878
포크
152
열린 이슈
6
마지막 커밋
7개월 전

어떤 프로젝트인가요?

SemTools는 네 가지 하위 명령을 제공하는 Rust CLI 도구입니다. 기본적으로 LlamaParse API를 사용해 PDF, DOCX 등의 문서를 Markdown으로 변환하는 `parse`, 다국어 임베딩과 줄별 문맥을 활용해 로컬 의미 기반 키워드 검색을 수행하는 `search`, 검색 및 읽기 도구를 사용하는 AI 에이전트로 파일 모음에 관한 질문에 답하는 `ask`, 대규모 파일 모음에서 반복 검색을 빠르게 할 수 있도록 임베딩을 캐시하는 `workspace`가 있습니다.

이 도구는 Unix 관례를 따르며 stdin을 입력으로 받고 stdout으로 출력하므로 `xargs`, `grep`, `cat`과 연결해 사용할 수 있습니다. 검색 결과는 거리 임계값이나 top-k 개수로 제한할 수 있으며 JSON으로 출력할 수도 있습니다. 설정은 JSON 파일 또는 환경 변수에 저장하고, `ask` 명령은 OpenAI 호환 API 엔드포인트라면 무엇이든 사용할 수 있습니다.

문서 파싱과 `ask` 명령에는 외부 API 키(LlamaIndex Cloud 및 OpenAI)가 필요하지만, `search`와 `workspace`는 완전히 로컬에서 실행됩니다. npm 또는 cargo로 설치할 수 있으며, cargo를 사용하면 parse 기능만 빌드할 수도 있습니다.

핵심 기능

  • 01LlamaParse를 통해 PDF, DOCX, PPTX 및 기타 문서를 Markdown으로 변환
  • 02model2vec 다국어 임베딩을 사용한 로컬 의미 기반 검색
  • 03조정 가능한 거리 임계값을 적용한 줄별 문맥 매칭
  • 04OpenAI 호환 API를 사용해 파일에 관한 질문에 AI로 답변
  • 05대규모 파일 모음에서 반복 검색을 위한 임베딩 캐싱
  • 06셸 파이프라인에서 사용할 수 있는 Unix 방식 stdin/stdout 지원

활용 사례

  • 텍스트 파일이나 변환된 PDF가 있는 폴더에서 정확한 키워드가 아니라 의미를 기준으로 검색
  • 후속 스크립트나 LLM 파이프라인에서 사용하도록 PDF 또는 Office 문서를 Markdown으로 변환
  • 터미널에서 연구 논문이나 보고서 모음에 관한 질문
  • 코딩 에이전트에 로컬 문서 검색 도구 제공

빠른 시작

  1. 1

    npm으로 semtools 설치

    npm i -g @llamaindex/semtools
  2. 2

    로컬 텍스트 파일에서 키워드 검색(API 키 불필요)

    semtools search "some keywords" *.txt --max-distance 0.3 --n-lines 5

사용 전 알아둘 점

  • 기본적으로 파싱에는 LlamaIndex Cloud API 키가 필요하며, 질문하려면 OpenAI API 키가 필요합니다.
  • 검색 및 워크스페이스 기능은 텍스트 기반 파일에서만 작동합니다. PDF 및 기타 형식은 먼저 파싱해야 합니다.
  • 사용 가능한 사전 빌드 바이너리가 없으면 npm으로 설치할 때 Rust와 Cargo가 필요할 수 있습니다.

토픽

자주 묻는 질문

semtools은(는) 무엇인가요?
문서를 Markdown으로 변환하고 텍스트 파일에서 로컬 의미 기반 검색과 AI 질의응답을 수행하는 CLI 도구입니다. SemTools는 네 가지 하위 명령을 제공하는 Rust CLI 도구입니다. 기본적으로 LlamaParse API를 사용해 PDF, DOCX 등의 문서를 Markdown으로 변환하는 `parse`, 다국어 임베딩과 줄별 문맥을 활용해 로컬 의미 기반 키워드 검색을 수행하는 `search`, 검색 및 읽기 도구를 사용하는 AI 에이전트로 파일 모음에 관한 질문에 답하는 `ask`, 대규모 파일 모음에서 반복 검색을 빠르게 할 수 있도록 임베딩을 캐시하는 `workspace`가 있습니다.
semtools은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
semtools은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
semtools은(는) 아직 유지보수되고 있나요?
6개월 이상 커밋 없음. semtools의 마지막 커밋은 2026년 3월 11일입니다.
semtools은(는) 어디에 사용할 수 있나요?
텍스트 파일이나 변환된 PDF가 있는 폴더에서 정확한 키워드가 아니라 의미를 기준으로 검색 후속 스크립트나 LLM 파이프라인에서 사용하도록 PDF 또는 Office 문서를 Markdown으로 변환 터미널에서 연구 논문이나 보고서 모음에 관한 질문 코딩 에이전트에 로컬 문서 검색 도구 제공
semtools는 어떻게 설치하나요?
npm으로 semtools 설치: npm i -g @llamaindex/semtools 로컬 텍스트 파일에서 키워드 검색(API 키 불필요): semtools search "some keywords" *.txt --max-distance 0.3 --n-lines 5
semtools은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/run-llama/semtools

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트