spencermountain/wtf_wikipedia

これは何？

主な機能

• 01wikitextを解析して、プレーンテキスト、セクション、文、段落を取得します。
• 02インフォボックスのキーと値、リンク、画像、カテゴリを抽出します。
• 03あらゆる言語のWikipediaや、サードパーティ製のMediaWiki wikiからページを取得します。
• 04ページデータをsmall、medium、largeのプリセットでJSONとしてエクスポートします。
• 05TypeScriptの型定義を同梱し、カスタムテンプレートパーサーやプラグインに対応しています。

ユースケース

• Wikipediaの表やインフォボックスから、スポーツチームの選手名簿や宇宙飛行士一覧など、構造化された事実のデータセットを作成する。
• NLPや検索インデックス作成に使う、整形済みの記事テキストを抽出する。
• 付属のdumpster-diveツールを使って、Wikipediaのダンプ全体をオフラインで処理する。
• Fandomなど、MediaWikiベースのwikiから記事データを取得する。

クイックスタート

1. 1

   npm からパッケージをインストールする

   npm install wtf_wikipedia
2. 2

   インポートして Wikipedia の記事を取得する

3. 3

   解析済みドキュメントからプレーンテキストを読み取る

使う前に知っておきたいこと

• !外部ページからトランスクルードされたページデータは取得しません。
• !ページの順序を完全には保持せず、テンプレートの CSS スタイルも維持しません。
• !wikitext の解析には本質的な限界があるため、一部のページは正しく表示されない場合があります。

収録されている特集

トピック

よくある質問

wtf_wikipedia とは？

Wikipediaのwikitextを解析し、プレーンテキスト、構造化JSON、インフォボックス、リンク、画像を取得できるJavaScriptライブラリです。 wtf_wikipediaは、生のWikipedia wikitextを扱いやすいデータに変換します。解析が難しいwikiマークアップに含まれるテンプレート、入れ子になったリンク、参照、引用に対応し、プレーンテキスト、セクション、文、リンク、カテゴリ、インフォボックス、画像を取得するメソッドを備えたドキュメントオブジェクトを返します。

wtf_wikipedia は無料で使えますか？ライセンスは？

wtf_wikipedia は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

wtf_wikipedia は今もメンテナンスされていますか？

活発にメンテナンス中。wtf_wikipedia の最終コミットは 2026年11月4日 です。

wtf_wikipedia は何に使えますか？

Wikipediaの表やインフォボックスから、スポーツチームの選手名簿や宇宙飛行士一覧など、構造化された事実のデータセットを作成する。 NLPや検索インデックス作成に使う、整形済みの記事テキストを抽出する。 付属のdumpster-diveツールを使って、Wikipediaのダンプ全体をオフラインで処理する。 Fandomなど、MediaWikiベースのwikiから記事データを取得する。

wtf_wikipedia のインストール方法は？

npm からパッケージをインストールする: npm install wtf_wikipedia インポートして Wikipedia の記事を取得する 解析済みドキュメントからプレーンテキストを読み取る

wtf_wikipedia はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/spencermountain/wtf_wikipedia