Repolode
投稿する
oxylabs

oxylabs/web-api-mcp

Oxylabs Web APIを通じて、AIエージェントに検索、ページスクレイピング、専用スクレイパーを提供するセルフホスト可能なMCPサーバー。

GitHub で見る
スター
40
フォーク
9
未解決の Issue
2
最終コミット
昨日

これは何？

Oxylabs Web API向けの公式Model Context Protocolサーバーです。MCP対応エージェントから1つのMCP接続を通じて、ライブWeb検索、ページのMarkdownまたはJSON形式での取得（JavaScriptを多用したページやボット対策されたページにも対応）、特定サイト向けの専用スクレイパーの呼び出しができます。

リクエストヘッダーにAPIキーを指定してホスト型Remote MCPエンドポイントを利用するか、Pythonサーバーをstdio経由でローカルクライアント向けに、またはHTTP経由で共有サービスとして実行できます。セルフホストする場合は環境変数でAPIキー、リトライ回数、利用額の上限、大きなレスポンス向けのインラインtoken budgetを設定します。

ローカル実行時、大きなページは一時ファイルに書き出され、チャンク単位で読み込まれます。また、JavaScriptによるレンダリングが必要と思われるページにはサーバーがフラグを付けます。構造化出力には、専用パーサーまたはプロンプトやJSON schemaに従うAIパーサーを使用できます。

主な機能

  • 01ライブWebを検索し、タイトル、説明、URLを含むランキング済みのオーガニック検索結果を取得します。
  • 02任意のページをMarkdownとしてスクレイピングするか、プロンプトまたはschemaを使って指定フィールドをJSONとして抽出します。
  • 03専用スクレイパーのエンドポイントを、それぞれ固有のパラメーターで呼び出します。
  • 04ホスト型のリモートエンドポイント、またはstdioやHTTP経由のセルフホストで実行できます。
  • 05ローカル実行時、大きすぎるページをディスクに退避し、チャンク単位で読み込みます。
  • 06API利用額を抑える、サーバー単位のレート制限を任意で設定できます。

ユースケース

  • コーディングエージェントやリサーチエージェントにライブWeb検索とページ読み取り機能を提供する。
  • 商品ページや掲載ページから構造化フィールドを抽出し、エージェントのワークフローに取り込む。
  • 社内ネットワーク内でチーム共用のスクレイピングサービスを運用する。
  • APIキーとネットワークアクセスを自社インフラ内に保持する。

クイックスタート

  1. 1

    ダッシュボードからOxylabs Web APIキーを取得する

  2. 2

    APIキーを環境変数として設定する

    export OXYLABS_WEB_API_KEY="your_api_key_here"
  3. 3

    Claude Codeをホスト型Remote MCPサーバーに接続する

    claude mcp add --transport http --scope user oxylabs-web-api https://mcp.oxylabs.io/web-api-mcp --header "Authorization: Bearer ${OXYLABS_WEB_API_KEY}"

使う前に知っておきたいこと

  • Oxylabs Web APIキーが必要です。また、AIパーサーの利用料金はスクレイピング料金とは別に請求されます。
  • セルフホストにはPython 3.10以降とuvが必要で、アップデートは自分で管理する必要があります。
  • HTTPトランスポートを使用するにはMCP_ALLOWED_HOSTSの設定が必要です。設定しないとリクエストが拒否されます。

収録されている特集

オープンソースの AI エージェント・フレームワークとアプリMCP サーバーセルフホスト型アプリ

トピック

#mcp#web-scraping#web-search#llm-tools#ai-agents#python#self-hosted#mcp-server#mcp-servers#mcp-tools

よくある質問

web-api-mcp とは？
Oxylabs Web APIを通じて、AIエージェントに検索、ページスクレイピング、専用スクレイパーを提供するセルフホスト可能なMCPサーバー。 Oxylabs Web API向けの公式Model Context Protocolサーバーです。MCP対応エージェントから1つのMCP接続を通じて、ライブWeb検索、ページのMarkdownまたはJSON形式での取得（JavaScriptを多用したページやボット対策されたページにも対応）、特定サイト向けの専用スクレイパーの呼び出しができます。
web-api-mcp は無料で使えますか？ライセンスは？
web-api-mcp は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
web-api-mcp は今もメンテナンスされていますか？
活発にメンテナンス中。web-api-mcp の最終コミットは 2026年11月6日 です。
web-api-mcp は何に使えますか？
コーディングエージェントやリサーチエージェントにライブWeb検索とページ読み取り機能を提供する。 商品ページや掲載ページから構造化フィールドを抽出し、エージェントのワークフローに取り込む。 社内ネットワーク内でチーム共用のスクレイピングサービスを運用する。 APIキーとネットワークアクセスを自社インフラ内に保持する。
web-api-mcp のインストール方法は？
ダッシュボードからOxylabs Web APIキーを取得する APIキーを環境変数として設定する: export OXYLABS_WEB_API_KEY="your_api_key_here" Claude Codeをホスト型Remote MCPサーバーに接続する: claude mcp add --transport http --scope user oxylabs-web-api https://mcp.oxylabs.io/web-api-mcp --header "Authorization: Bearer ${OXYLABS_WEB_API_KEY}"
web-api-mcp はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/oxylabs/web-api-mcp

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト