Repolode
Leonxlnx

Leonxlnx/earshot

코딩 에이전트가 CLI, Python API, MCP 서버를 통해 오디오를 듣고 설명·매칭·검색·평가·합성할 수 있게 하는 CPU 전용 툴킷입니다.

스타
2,110
포크
123
열린 이슈
5
마지막 커밋
9시간 전

어떤 프로젝트인가요?

earshot은 AI 코딩 에이전트에 소리를 들을 수 있는 능력을 제공합니다. 오디오 파일의 소리가 어떤지 말로 설명하고, 텍스트 설명이 녹음과 얼마나 잘 맞는지 점수를 매기며, 긴 오디오에서 가장 적합한 구간을 찾고, 실제 녹음인지 코드로 합성한 소리인지 판별합니다. 또한 화면 전환 지점을 기준으로 동기화 마커를 표시해 영상의 소리를 초 단위로 기록한 청취 트랜스크립트를 생성합니다. CPU에서 로컬로 실행되며, CLI, Python API, 그리고 Claude Code 및 기타 에이전트용 MCP 서버로 제공됩니다.

청취 기능 외에도, 이 프로젝트에는 소리를 코드로 작성하는 forge가 포함되어 있습니다. 물리 기반 합성 레시피를 렌더링하고, 같은 모델을 기반으로 한 평가자가 점수를 매긴 뒤 탐색을 통해 다듬습니다. fit 명령은 기존 녹음을 매개변수화된 합성 레시피로 변환해 변형하거나 모핑할 수 있게 합니다. 번들로 제공되는 201개의 음향 효과 뱅크는 모델이나 네트워크 연결 없이 ID로 렌더링할 수 있으며, 영화 사운드 디자인용 키트 프리셋도 포함합니다.

저장소에는 오디오나 영상이 포함되어 있지 않으며, 평가에 사용되는 참조 녹음은 별도 라이선스로 제공됩니다. 모델은 고정된 리비전으로 Hugging Face에서 한 번 다운로드한 뒤 캐시되어 오프라인에서도 사용할 수 있습니다.

핵심 기능

  • 01측정값과 AudioSet 레이블을 포함한 보정된 태그로 소리를 설명합니다.
  • 02텍스트 설명과 녹음의 일치도를 점수와 강도 판정으로 보여 줍니다.
  • 03긴 녹음에서 가장 잘 맞는 구간을 트림으로 찾습니다.
  • 04클립이 실제 녹음인지 코드로 합성한 소리인지 분류합니다.
  • 05영상 사운드트랙의 타임라인 트랜스크립트와 주석이 달린 시트를 생성합니다.
  • 06코드 레시피로 음향 효과를 합성하고 내장 평가자로 점수를 매깁니다.
  • 07모든 도구를 CLI, Python API, MCP 서버로 제공합니다.

활용 사례

  • 코딩 에이전트가 생성한 음향 효과가 의도한 소리와 맞는지 확인합니다.
  • 다운로드한 오디오 클립 폴더에서 가장 적합한 후보를 고릅니다.
  • 코드로 생성한 영상의 사운드트랙 동기화와 음량을 점검합니다.
  • 프로그램 기반 영화 또는 UI 파이프라인에서 오프라인으로 음향 효과를 생성합니다.

빠른 시작

  1. 1

    README 안내에 따라 earshot을 설치합니다

  2. 2

    설치 상태, 모델 및 CPU 설정을 확인합니다

    earshot doctor
  3. 3

    음성 파일이 어떤 소리인지 설명합니다

    earshot describe FILE

사용 전 알아둘 점

  • CLI를 호출할 때마다 모델을 다시 불러오므로 응답하기까지 약 20~40초가 걸립니다.
  • Forge의 참조 기반 검색에는 저장소에 포함되지 않은, 라이선스를 보유한 참조 녹음 파일이 필요합니다.
  • 생성된 소리의 품질 검사는 검색에 의해 공략될 수 있으므로, 결과를 직접 듣고 측정해 확인해야 합니다.
  • 선택 사항인 llm 명령은 오디오를 Gemini에 업로드하며, 본인의 API 키가 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

earshot은(는) 무엇인가요?
코딩 에이전트가 CLI, Python API, MCP 서버를 통해 오디오를 듣고 설명·매칭·검색·평가·합성할 수 있게 하는 CPU 전용 툴킷입니다. earshot은 AI 코딩 에이전트에 소리를 들을 수 있는 능력을 제공합니다. 오디오 파일의 소리가 어떤지 말로 설명하고, 텍스트 설명이 녹음과 얼마나 잘 맞는지 점수를 매기며, 긴 오디오에서 가장 적합한 구간을 찾고, 실제 녹음인지 코드로 합성한 소리인지 판별합니다. 또한 화면 전환 지점을 기준으로 동기화 마커를 표시해 영상의 소리를 초 단위로 기록한 청취 트랜스크립트를 생성합니다. CPU에서 로컬로 실행되며, CLI, Python API, 그리고 Claude Code 및 기타 에이전트용 MCP 서버로 제공됩니다.
earshot은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
earshot은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
earshot은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. earshot의 마지막 커밋은 2026년 10월 22일입니다.
earshot은(는) 어디에 사용할 수 있나요?
코딩 에이전트가 생성한 음향 효과가 의도한 소리와 맞는지 확인합니다. 다운로드한 오디오 클립 폴더에서 가장 적합한 후보를 고릅니다. 코드로 생성한 영상의 사운드트랙 동기화와 음량을 점검합니다. 프로그램 기반 영화 또는 UI 파이프라인에서 오프라인으로 음향 효과를 생성합니다.
earshot는 어떻게 설치하나요?
README 안내에 따라 earshot을 설치합니다 설치 상태, 모델 및 CPU 설정을 확인합니다: earshot doctor 음성 파일이 어떤 소리인지 설명합니다: earshot describe FILE
earshot은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Leonxlnx/earshot

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트