Repolode
提交项目
Leonxlnx

Leonxlnx/earshot

让编程智能体能够听声音的 CPU 本地工具包，支持描述、匹配、检索、评审与代码合成音效。

在 GitHub 查看
Star
2,129
Fork
125
未关闭 Issue
5
最近提交
9小时前

这是什么？

earshot 让编程智能体具备“听”的能力。它能用文字描述音频文件的听感，评估一段文字描述与录音的吻合程度，在长录音中找出最匹配的片段，判断声音是真实录制还是代码合成，并为视频生成逐秒的听觉转录，标注与画面切点的同步关系。整个流程在 CPU 上本地运行，提供命令行、Python API 和 MCP 服务器三种接入方式，可直接用于 Claude Code 等智能体。

除了“听”，项目还包含一个用代码制作声音的 forge 模块：以物理合成配方渲染候选音效，由基于同一套模型的评审器打分，并通过搜索逐步优化。fit 命令可以把现有录音翻译成参数化的合成配方，便于变化与插值。内置的 201 个音效库无需模型或网络即可按编号渲染，并提供面向影视配音的音效套件预设。

仓库本身不包含音频或视频文件，用于评测的参考录音需另行获取。模型首次使用时从 Hugging Face 按固定版本下载并缓存，之后可离线运行。

核心功能

  • 01为声音生成校准标签、测量数据与 AudioSet 标签描述。
  • 02评估文字描述与录音的吻合度，并给出强弱判断。
  • 03在长录音中找出最匹配的片段并输出时间范围。
  • 04区分真实录音与代码合成音效。
  • 05为视频配音生成时间线转录与标注图。
  • 06通过代码配方合成音效，并由内置评审器打分优化。
  • 07通过 CLI、Python API 和 MCP 服务器提供统一工具接口。

适用场景

  • 让编程智能体检查生成的音效是否符合预期。
  • 从一批下载的音频素材中挑选最合适的一个。
  • 检查代码生成视频配乐的音画同步与响度。
  • 在离线环境下为程序化影片或界面流程生成音效。

快速上手

  1. 1

    按照 README 中的说明安装 earshot

  2. 2

    检查安装、模型和 CPU 设置

    earshot doctor
  3. 3

    描述一个音频文件听起来像什么

    earshot describe FILE

使用前须知

  • 每次 CLI 调用都会重新加载模型，回应前需约 20-40 秒。
  • forge 基于参考的搜索需要你自己拥有许可的参考录音，仓库中不包含这些录音。
  • 搜索过程可能针对模型做优化，因此结果需要人工试听和客观测量来验证。
  • 可选的 llm 命令会将音频上传至 Gemini，需要你自己的 API 密钥。

收录于专题

Claude Code 工具、技能与插件开源 AI Agent 框架与应用MCP Server 精选

标签

#ai-agents#audio#sound-design#mcp#claude-code#audio-analysis#speech-synthesis#cpu-inference

常见问题

earshot 是什么？
让编程智能体能够听声音的 CPU 本地工具包，支持描述、匹配、检索、评审与代码合成音效。 earshot 让编程智能体具备“听”的能力。它能用文字描述音频文件的听感，评估一段文字描述与录音的吻合程度，在长录音中找出最匹配的片段，判断声音是真实录制还是代码合成，并为视频生成逐秒的听觉转录，标注与画面切点的同步关系。整个流程在 CPU 上本地运行，提供命令行、Python API 和 MCP 服务器三种接入方式，可直接用于 Claude Code 等智能体。
earshot 可以免费使用吗？用的什么许可证？
earshot 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
earshot 还在维护吗？
活跃维护中。earshot 最近一次提交是在 2026年10月22日。
earshot 适合用来做什么？
让编程智能体检查生成的音效是否符合预期。 从一批下载的音频素材中挑选最合适的一个。 检查代码生成视频配乐的音画同步与响度。 在离线环境下为程序化影片或界面流程生成音效。
earshot 怎么安装和运行？
按照 README 中的说明安装 earshot 检查安装、模型和 CPU 设置: earshot doctor 描述一个音频文件听起来像什么: earshot describe FILE
在哪里获取 earshot？
源代码和安装说明在 GitHub 上：https://github.com/Leonxlnx/earshot

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目