Repolode
Предложить
liustack

liustack/modlens

Плагин для DeepSeek Harness, который помогает текстовым моделям вроде DeepSeek и GLM разбирать вставленные изображения и возвращать структурированный JSON с OCR, разметкой и семантикой.

Открыть на GitHubСайт
Звёзды
4,398
Форки
133
Открытые issues
6
Последний коммит
7 дней назад

Что это?

ModLens позволяет текстовым языковым моделям разбирать изображения. Многие чат-модели DeepSeek и GLM не принимают изображения напрямую, поэтому ModLens служит связующим звеном между чатом и движком компьютерного зрения: когда пользователь вставляет изображение, оно отправляется провайдеру, а результат возвращается в виде структурированных данных — полной расшифровки текста, областей с разметкой в порядке чтения, а также списков сущностей и связей между ними.

ModLens работает как плагин для DeepSeek Harness (dsh) и как устанавливаемый агентский навык для Claude Code, Codex, OpenCode и Pi. Вставленные изображения обрабатываются через приватный путь к временному файлу или через пункт выбора модели, который использует тот же маршрут. Среди поддерживаемых движков компьютерного зрения — бесплатный ключ Gemini API, любые совместимые с OpenAI конечные точки, ключ Anthropic и локальные CLI агентов, для которых можно повторно использовать уже существующие учётные данные с явным согласием для каждого harness. Несколько ключей можно перечислить через запятую; при ошибках авторизации, ограничении частоты запросов или исчерпании квоты они сменяют друг друга.

Проект написан на TypeScript, распространяется по лицензии MIT и устанавливается через npm как @liustack/modlens. Настройка выполняется через CLI, в котором есть проверка состояния doctor.

Ключевые возможности

  • 01Обрабатывает изображения, вставленные в чат, и возвращает структурированный JSON с OCR, разметкой и семантикой.
  • 02Работает с текстовыми моделями DeepSeek и GLM в DeepSeek Harness, Claude Code, Codex, OpenCode и Pi.
  • 03Поддерживает бесплатный ключ Gemini, любые совместимые с OpenAI конечные точки для компьютерного зрения, Anthropic и локальные CLI агентов, учётные данные которых можно использовать повторно.
  • 04При сбоях переключается на другие настроенные движки и записывает каждую попытку в meta.attempts.
  • 05Переключает перечисленные через запятую API-ключи при ошибках авторизации, ограничении частоты запросов или исчерпании квоты.
  • 06Включает CLI с командами настройки и проверкой состояния doctor.

Сценарии использования

  • Обсуждать скриншоты, слайды или твиты, вставленные в чат-сеанс DeepSeek или GLM.
  • Извлекать текст и структуру сложных диаграмм или документов в рабочем процессе с агентом для программирования.
  • Использовать модель компьютерного зрения с API, совместимым с OpenAI, для обработки изображений в текстовом агенте.
  • Повторно использовать существующий вход в Claude Code, Codex или Pi для обработки изображений, не добавляя новые API-ключи.

Темы

#vision#ocr#multimodal#deepseek#agent-skills#image-to-text#llm-tools#claude-code#claude-skills#codex

Частые вопросы

Что такое modlens?
Плагин для DeepSeek Harness, который помогает текстовым моделям вроде DeepSeek и GLM разбирать вставленные изображения и возвращать структурированный JSON с OCR, разметкой и семантикой. ModLens позволяет текстовым языковым моделям разбирать изображения. Многие чат-модели DeepSeek и GLM не принимают изображения напрямую, поэтому ModLens служит связующим звеном между чатом и движком компьютерного зрения: когда пользователь вставляет изображение, оно отправляется провайдеру, а результат возвращается в виде структурированных данных — полной расшифровки текста, областей с разметкой в порядке чтения, а также списков сущностей и связей между ними.
modlens можно использовать бесплатно? Какая у него лицензия?
modlens распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
modlens всё ещё поддерживается?
Активно поддерживается. Последний коммит в modlens — 15 окт. 2026 г..
Для чего можно использовать modlens?
Обсуждать скриншоты, слайды или твиты, вставленные в чат-сеанс DeepSeek или GLM. Извлекать текст и структуру сложных диаграмм или документов в рабочем процессе с агентом для программирования. Использовать модель компьютерного зрения с API, совместимым с OpenAI, для обработки изображений в текстовом агенте. Повторно использовать существующий вход в Claude Code, Codex или Pi для обработки изображений, не добавляя новые API-ключи.
Где скачать modlens?
Исходный код и инструкции по установке — на GitHub: https://github.com/liustack/modlens

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты