Repolode
google

google/langextract

Библиотека Python, которая использует LLM для извлечения структурированных данных из неструктурированного текста и связывает каждое извлечённое значение с исходным фрагментом.

Звёзды
39,274
Форки
2,750
Открытые issues
114
Последний коммит
вчера

Что это?

LangExtract принимает промпт на естественном языке с описанием того, что нужно извлечь, и несколько примеров разметки, а затем запускает LLM на документе и возвращает сущности и атрибуты в соответствии с единой схемой. Каждое извлечённое значение сопоставляется с точным диапазоном символов в исходном тексте, поэтому результаты можно сверить с оригиналом. Если извлечённое значение не удаётся найти во входном тексте, для него не указывается диапазон — так проще отфильтровать галлюцинации модели, основанные на примерах.

Для работы с длинными документами библиотека разбивает текст на фрагменты, обрабатывает их параллельно и поддерживает несколько проходов извлечения, чтобы повысить полноту результатов. Результаты можно сохранить в формате JSONL или вывести в виде автономного интерактивного HTML-файла для проверки сущностей в контексте. В первую очередь библиотека рассчитана на модели Gemini; также есть встроенная поддержка OpenAI и локальных моделей через Ollama, а расширить список провайдеров позволяет система плагинов.

Ключевые возможности

  • 01Связывает каждую извлечённую сущность с её точным местом в исходном тексте.
  • 02Обеспечивает единообразную схему вывода, заданную примерами few-shot.
  • 03Разбивает длинные документы на фрагменты, обрабатывает их параллельно и выполняет несколько проходов.
  • 04Создаёт интерактивную автономную HTML-визуализацию результатов.
  • 05Поддерживает Gemini, OpenAI и локальные модели через Ollama.
  • 06Позволяет добавлять собственных провайдеров моделей с помощью системы плагинов.

Сценарии использования

  • Преобразование клинических заметок и радиологических заключений в структурированные поля для поиска.
  • Извлечение персонажей, отношений или событий из романов и других длинных текстов.
  • Преобразование договоров и документов в проверяемые структурированные записи.
  • Создание прототипа конвейера извлечения информации без дообучения модели.

Быстрый старт

  1. 1

    Установите пакет из PyPI

    pip install langextract
  2. 2

    Укажите API-ключ для облачных моделей, таких как Gemini

    export LANGEXTRACT_API_KEY="your-api-key-here"
  3. 3

    Напишите промпт и примеры, затем вызовите lx.extract, передав исходный текст

Что важно знать

  • Для облачных моделей, таких как Gemini и OpenAI, нужна платная учётная запись или API-ключ.
  • Качество извлечения зависит от выбранной LLM, формулировки промпта и примеров.

В подборках

Темы

Частые вопросы

Что такое langextract?
Библиотека Python, которая использует LLM для извлечения структурированных данных из неструктурированного текста и связывает каждое извлечённое значение с исходным фрагментом. LangExtract принимает промпт на естественном языке с описанием того, что нужно извлечь, и несколько примеров разметки, а затем запускает LLM на документе и возвращает сущности и атрибуты в соответствии с единой схемой. Каждое извлечённое значение сопоставляется с точным диапазоном символов в исходном тексте, поэтому результаты можно сверить с оригиналом. Если извлечённое значение не удаётся найти во входном тексте, для него не указывается диапазон — так проще отфильтровать галлюцинации модели, основанные на примерах.
langextract можно использовать бесплатно? Какая у него лицензия?
langextract распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
langextract всё ещё поддерживается?
Активно поддерживается. Последний коммит в langextract — 6 нояб. 2026 г..
Для чего можно использовать langextract?
Преобразование клинических заметок и радиологических заключений в структурированные поля для поиска. Извлечение персонажей, отношений или событий из романов и других длинных текстов. Преобразование договоров и документов в проверяемые структурированные записи. Создание прототипа конвейера извлечения информации без дообучения модели.
Как установить langextract?
Установите пакет из PyPI: pip install langextract Укажите API-ключ для облачных моделей, таких как Gemini: export LANGEXTRACT_API_KEY="your-api-key-here" Напишите промпт и примеры, затем вызовите lx.extract, передав исходный текст
Где скачать langextract?
Исходный код и инструкции по установке — на GitHub: https://github.com/google/langextract

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Преобразует неструктурированный текст в интерактивный граф знаний: LLM извлекает триплеты «субъект — предикат — объект».

3,1 тыс.+1 за неделю420PythonApache-2.0Активно поддерживаетсяОбновлён 2 месяца назад

Опенсорсный AI-агент от Google, который переносит Gemini в терминал и помогает анализировать, редактировать и автоматизировать работу с кодом.

108,8 тыс.+120 за неделю14,9 тыс.TypeScriptApache-2.0Активно поддерживаетсяОбновлён 19 часов назад