Пакет Python и CLI для обхода сайтов и извлечения основного текста, метаданных и комментариев из исходного HTML.
7,1 тыс.+40 за неделю493PythonApache-2.0Активно поддерживаетсяОбновлён вчера
spencermountain/wtf_wikipedia
JavaScript-библиотека, которая преобразует вики-текст Wikipedia в обычный текст, структурированный JSON, инфобоксы, ссылки и изображения.
- Звёзды
- 858
- Форки
- 130
- Открытые issues
- 54
- Последний коммит
- 3 дня назад
Что это?
wtf_wikipedia преобразует исходный вики-текст Wikipedia в пригодные для работы данные. Библиотека обрабатывает шаблоны, вложенные ссылки, сноски и цитаты, из-за которых разбирать вики-разметку сложно, и возвращает объект документа с методами для получения обычного текста, разделов, предложений, ссылок, категорий, инфобоксов и изображений.
Библиотека может получать страницы напрямую через MediaWiki API, в том числе из Википедий на других языках и сторонних вики, например Fandom. Результат можно экспортировать как обычный текст или JSON в одном из трёх вариантов: small, medium или large. Библиотека обнаруживает перенаправления и страницы неоднозначности, а динамические шаблоны и географические координаты преобразует в удобочитаемый вид.
Библиотека работает в Node.js и браузере, включает декларации TypeScript и поддерживает расширение с помощью пользовательских обработчиков шаблонов и плагинов. В проекте отмечается, что это не самый быстрый парсер; также не поддерживаются данные со включённых страниц и точное воспроизведение форматирования HTML инфобоксов.
Ключевые возможности
- 01Преобразует вики-текст в обычный текст, разделы, предложения и абзацы.
- 02Извлекает пары «ключ — значение» из инфобоксов, ссылки, изображения и категории.
- 03Получает страницы из Википедии на любом языке и сторонних вики на базе MediaWiki.
- 04Экспортирует данные страниц в JSON в вариантах small, medium или large.
- 05Поддерживает пользовательские обработчики шаблонов и плагины; включает типы TypeScript.
Сценарии использования
- Создание наборов структурированных фактов, например составов спортивных команд или списков астронавтов, на основе таблиц и инфобоксов Wikipedia.
- Извлечение чистого текста статей для NLP или поисковой индексации.
- Обработка полного дампа Wikipedia офлайн с помощью сопутствующего инструмента dumpster-dive.
- Получение данных статей из Fandom или других вики на базе MediaWiki.
Быстрый старт
- 1
Установите пакет из npm
npm install wtf_wikipedia - 2
Импортируйте его и получите статью из Wikipedia
- 3
Прочитайте обычный текст из разобранного документа
Что важно знать
- Не загружает данные страниц, трансклюдированных с внешних страниц.
- Не сохраняет точный порядок страницы и стили CSS шаблонов.
- Разбор wikitext по своей природе несовершенен, поэтому некоторые страницы могут отображаться некорректно.
В подборках
Темы
Частые вопросы
- Что такое wtf_wikipedia?
- JavaScript-библиотека, которая преобразует вики-текст Wikipedia в обычный текст, структурированный JSON, инфобоксы, ссылки и изображения. wtf_wikipedia преобразует исходный вики-текст Wikipedia в пригодные для работы данные. Библиотека обрабатывает шаблоны, вложенные ссылки, сноски и цитаты, из-за которых разбирать вики-разметку сложно, и возвращает объект документа с методами для получения обычного текста, разделов, предложений, ссылок, категорий, инфобоксов и изображений.
- wtf_wikipedia можно использовать бесплатно? Какая у него лицензия?
- wtf_wikipedia распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- wtf_wikipedia всё ещё поддерживается?
- Активно поддерживается. Последний коммит в wtf_wikipedia — 4 нояб. 2026 г..
- Для чего можно использовать wtf_wikipedia?
- Создание наборов структурированных фактов, например составов спортивных команд или списков астронавтов, на основе таблиц и инфобоксов Wikipedia. Извлечение чистого текста статей для NLP или поисковой индексации. Обработка полного дампа Wikipedia офлайн с помощью сопутствующего инструмента dumpster-dive. Получение данных статей из Fandom или других вики на базе MediaWiki.
- Как установить wtf_wikipedia?
- Установите пакет из npm: npm install wtf_wikipedia Импортируйте его и получите статью из Wikipedia Прочитайте обычный текст из разобранного документа
- Где скачать wtf_wikipedia?
- Исходный код и инструкции по установке — на GitHub: https://github.com/spencermountain/wtf_wikipedia
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Библиотека JavaScript без зависимостей, использующая модель Jev от TypeSafe с выбором из нескольких вариантов для извлечения точных фрагментов текста, значений полей и меток PII из коротких сообщений.
44+5 за неделю3JavaScriptMITАктивно поддерживаетсяОбновлён 2 месяца назад
Библиотека на Rust и CLI для определения, содержит ли PDF текст или сканы, и преобразования текстовых PDF в чистый Markdown без OCR.
19,9 тыс.+137 за неделю1,4 тыс.RustMITОбновлён 16 дней назад
Быстрый локальный парсер PDF и документов на Rust: извлекает текст с координатами блоков, поддерживает Tesseract или HTTP OCR и выдаёт Markdown, JSON или обычный текст.
13 тыс.+44 за неделю897RustApache-2.0Активно поддерживаетсяОбновлён 6 часов назад
Высокопроизводительная Python-библиотека на движке MuPDF для извлечения и анализа данных, конвертации, рендеринга и редактирования PDF и других документов.
11,1 тыс.+50 за неделю833PythonAGPL-3.0Обновлён вчера
Библиотека Python и CLI для извлечения текста, таблиц и подробных данных об объектах (символах, линиях, прямоугольниках) из PDF, созданных программами.
10,9 тыс.+28 за неделю950PythonMITОбновлён 24 дня назад