Преобразует неструктурированный текст в интерактивный граф знаний: LLM извлекает триплеты «субъект — предикат — объект».
google/langextract
Библиотека Python, которая использует LLM для извлечения структурированных данных из неструктурированного текста и связывает каждое извлечённое значение с исходным фрагментом.
- Звёзды
- 39,274
- Форки
- 2,750
- Открытые issues
- 114
- Последний коммит
- вчера
Что это?
LangExtract принимает промпт на естественном языке с описанием того, что нужно извлечь, и несколько примеров разметки, а затем запускает LLM на документе и возвращает сущности и атрибуты в соответствии с единой схемой. Каждое извлечённое значение сопоставляется с точным диапазоном символов в исходном тексте, поэтому результаты можно сверить с оригиналом. Если извлечённое значение не удаётся найти во входном тексте, для него не указывается диапазон — так проще отфильтровать галлюцинации модели, основанные на примерах.
Для работы с длинными документами библиотека разбивает текст на фрагменты, обрабатывает их параллельно и поддерживает несколько проходов извлечения, чтобы повысить полноту результатов. Результаты можно сохранить в формате JSONL или вывести в виде автономного интерактивного HTML-файла для проверки сущностей в контексте. В первую очередь библиотека рассчитана на модели Gemini; также есть встроенная поддержка OpenAI и локальных моделей через Ollama, а расширить список провайдеров позволяет система плагинов.
Ключевые возможности
- 01Связывает каждую извлечённую сущность с её точным местом в исходном тексте.
- 02Обеспечивает единообразную схему вывода, заданную примерами few-shot.
- 03Разбивает длинные документы на фрагменты, обрабатывает их параллельно и выполняет несколько проходов.
- 04Создаёт интерактивную автономную HTML-визуализацию результатов.
- 05Поддерживает Gemini, OpenAI и локальные модели через Ollama.
- 06Позволяет добавлять собственных провайдеров моделей с помощью системы плагинов.
Сценарии использования
- Преобразование клинических заметок и радиологических заключений в структурированные поля для поиска.
- Извлечение персонажей, отношений или событий из романов и других длинных текстов.
- Преобразование договоров и документов в проверяемые структурированные записи.
- Создание прототипа конвейера извлечения информации без дообучения модели.
Быстрый старт
- 1
Установите пакет из PyPI
pip install langextract - 2
Укажите API-ключ для облачных моделей, таких как Gemini
export LANGEXTRACT_API_KEY="your-api-key-here" - 3
Напишите промпт и примеры, затем вызовите lx.extract, передав исходный текст
Что важно знать
- Для облачных моделей, таких как Gemini и OpenAI, нужна платная учётная запись или API-ключ.
- Качество извлечения зависит от выбранной LLM, формулировки промпта и примеров.
В подборках
Темы
Частые вопросы
- Что такое langextract?
- Библиотека Python, которая использует LLM для извлечения структурированных данных из неструктурированного текста и связывает каждое извлечённое значение с исходным фрагментом. LangExtract принимает промпт на естественном языке с описанием того, что нужно извлечь, и несколько примеров разметки, а затем запускает LLM на документе и возвращает сущности и атрибуты в соответствии с единой схемой. Каждое извлечённое значение сопоставляется с точным диапазоном символов в исходном тексте, поэтому результаты можно сверить с оригиналом. Если извлечённое значение не удаётся найти во входном тексте, для него не указывается диапазон — так проще отфильтровать галлюцинации модели, основанные на примерах.
- langextract можно использовать бесплатно? Какая у него лицензия?
- langextract распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- langextract всё ещё поддерживается?
- Активно поддерживается. Последний коммит в langextract — 6 нояб. 2026 г..
- Для чего можно использовать langextract?
- Преобразование клинических заметок и радиологических заключений в структурированные поля для поиска. Извлечение персонажей, отношений или событий из романов и других длинных текстов. Преобразование договоров и документов в проверяемые структурированные записи. Создание прототипа конвейера извлечения информации без дообучения модели.
- Как установить langextract?
- Установите пакет из PyPI: pip install langextract Укажите API-ключ для облачных моделей, таких как Gemini: export LANGEXTRACT_API_KEY="your-api-key-here" Напишите промпт и примеры, затем вызовите lx.extract, передав исходный текст
- Где скачать langextract?
- Исходный код и инструкции по установке — на GitHub: https://github.com/google/langextract
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Опенсорсный AI-агент от Google, который переносит Gemini в терминал и помогает анализировать, редактировать и автоматизировать работу с кодом.
Набор agent skills с актуальным контекстом для AI-ассистентов, которые разрабатывают приложения с Gemini API и SDK.
Поддерживаемый сообществом PHP-клиент для Gemini API: текст, медиа, потоковая передача, инструменты, управление файлами и кэшем.
Веб-скрейпер на базе LLM и Streamlit, извлекающий данные со страниц с помощью моделей OpenAI, Gemini, Ollama или LiteLLM.
GitHub Action, которая публикует комментарии с ревью кода от ИИ в pull request по команде /gemini-review, используя Gemini API от Google.