Repolode
Leonxlnx

Leonxlnx/earshot

Инструментарий для работы со звуком без GPU: помогает coding-агентам описывать, сравнивать и находить звуки, критиковать и синтезировать их через CLI, Python API и MCP-сервер.

Звёзды
2,129
Форки
125
Открытые issues
5
Последний коммит
9 часов назад

Что это?

earshot помогает AI coding-агентам слышать. Он описывает словами звучание аудиофайла, оценивает, насколько текстовое описание соответствует записи, находит лучшие фрагменты в длинном аудио, определяет, является ли звук реальной записью или синтезирован кодом, а также создает посекундную расшифровку звуковой дорожки видео с маркерами синхронизации по склейкам изображения. Проект работает локально на CPU и доступен через CLI, Python API и MCP-сервер для Claude Code и других агентов.

Помимо анализа звука, в проект входит forge, который создает звуки в виде кода: рецепты физического синтеза рендерятся, оцениваются критиком на базе тех же моделей и дорабатываются в ходе поиска. Команда fit преобразует существующую запись в параметризованный рецепт синтеза, который можно варьировать или морфить. Встроенная библиотека из 201 звукового эффекта позволяет создавать их по ID без моделей и доступа к сети; для звукового дизайна фильмов предусмотрены наборы пресетов.

В репозитории нет аудио- и видеоматериалов; записи, используемые для оценки, распространяются по отдельным лицензиям. Модели один раз скачиваются с Hugging Face на закрепленных ревизиях и кэшируются для работы без подключения к сети.

Ключевые возможности

  • 01Описывает звуки с помощью откалиброванных тегов, измерений и меток AudioSet.
  • 02Оценивает соответствие текстового описания записи и выдает вердикт о степени совпадения.
  • 03Находит лучшие совпадающие фрагменты длинных записей и обрезает их.
  • 04Классифицирует клипы как реальные записи или синтезированные кодом.
  • 05Создает расшифровки звуковой дорожки видео с таймлайном и аннотированные листы.
  • 06Синтезирует звуковые эффекты по рецептам в коде и оценивает их встроенным критиком.
  • 07Предоставляет все инструменты через CLI, Python API и MCP-сервер.

Сценарии использования

  • Позволяет coding-агенту проверять, соответствуют ли сгенерированные звуковые эффекты задуманному звучанию.
  • Помогает выбрать лучший вариант из папки со скачанными аудиоклипами.
  • Помогает проверить синхронизацию и громкость звуковой дорожки видео, сгенерированного кодом.
  • Позволяет создавать звуковые эффекты офлайн для программных пайплайнов работы с фильмами или интерфейсами.

Быстрый старт

  1. 1

    Установите earshot, следуя инструкциям в README

  2. 2

    Проверьте установку, модели и настройки CPU

    earshot doctor
  3. 3

    Опишите, как звучит аудиофайл

    earshot describe FILE

Что важно знать

  • При каждом вызове CLI модели загружаются заново, поэтому ответ занимает около 20–40 секунд.
  • Для поиска по эталонным записям в Forge нужны собственные лицензированные эталонные записи, которых нет в репозитории.
  • Поиск может обходить проверки качества сгенерированного звука, поэтому результаты нужно проверять на слух и с помощью измерений.
  • Необязательная команда llm загружает аудио в Gemini и требует собственного API-ключа.

В подборках

Темы

Частые вопросы

Что такое earshot?
Инструментарий для работы со звуком без GPU: помогает coding-агентам описывать, сравнивать и находить звуки, критиковать и синтезировать их через CLI, Python API и MCP-сервер. earshot помогает AI coding-агентам слышать. Он описывает словами звучание аудиофайла, оценивает, насколько текстовое описание соответствует записи, находит лучшие фрагменты в длинном аудио, определяет, является ли звук реальной записью или синтезирован кодом, а также создает посекундную расшифровку звуковой дорожки видео с маркерами синхронизации по склейкам изображения. Проект работает локально на CPU и доступен через CLI, Python API и MCP-сервер для Claude Code и других агентов.
earshot можно использовать бесплатно? Какая у него лицензия?
earshot распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
earshot всё ещё поддерживается?
Активно поддерживается. Последний коммит в earshot — 22 окт. 2026 г..
Для чего можно использовать earshot?
Позволяет coding-агенту проверять, соответствуют ли сгенерированные звуковые эффекты задуманному звучанию. Помогает выбрать лучший вариант из папки со скачанными аудиоклипами. Помогает проверить синхронизацию и громкость звуковой дорожки видео, сгенерированного кодом. Позволяет создавать звуковые эффекты офлайн для программных пайплайнов работы с фильмами или интерфейсами.
Как установить earshot?
Установите earshot, следуя инструкциям в README Проверьте установку, модели и настройки CPU: earshot doctor Опишите, как звучит аудиофайл: earshot describe FILE
Где скачать earshot?
Исходный код и инструкции по установке — на GitHub: https://github.com/Leonxlnx/earshot

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

VoxCPM2 — open-source модель преобразования текста в речь без токенизатора: поддерживает 30 языков, создание голоса по текстовому описанию и клонирование по короткому аудиофрагменту.

39,9 тыс.4,5 тыс.PythonApache-2.0Обновлён 15 дней назад

Открытая система синтеза речи из текста с клонированием голоса, управлением эмоциями на естественном языке и генерацией речи нескольких персонажей на основе моделей в стиле LLM.

33,4 тыс.2,9 тыс.PythonOtherОбновлён 9 дней назад