Repolode
投稿する
omkarcloud

omkarcloud/botasaurus

ボット検知の回避を目指すWebスクレイピング向けPythonフレームワーク。ブラウザ・HTTP通信、UI生成、デスクトップアプリに対応。

GitHub で見る公式サイト
スター
5,783
フォーク
507
未解決の Issue
59
最終コミット
3 か月前

これは何？

Botasaurusは、Webスクレイピング向けのPythonフレームワークです。スクレイピング関数を人間らしい操作を行うChromeブラウザ（@browser）、軽量なHTTPリクエスト（@request）、またはPlaywrightやSeleniumなどのサードパーティライブラリ（@task）で実行するためのデコレーターを備えています。スクレイピング関数には入力のリストを渡し、並列実行して、戻り値をJSONファイルに保存できます。

ボット検知の回避に重点を置いており、プロキシのローテーション、Chromeプロファイルの永続化、拡張機能、ヘッドレスモード、bypass_cloudflareによるCloudflareの回避など、ブラウザの設定オプションを備えています。また、プロキシの帯域コストを抑える方法としてブラウザ経由のfetchリクエストを利用できるほか、キャッシュ、サイトマップ、データクリーニング、IP情報のユーティリティも提供します。

スクリプトに加えて、スクレイパーから入力コントロール、結果テーブル、REST APIを備えたWeb UIを生成できます。また、JavaScriptを使ってWindows、macOS、Linux向けのクロスプラットフォームなデスクトップアプリを構築できます。

主な機能

  • 01ブラウザ、HTTP、サードパーティライブラリでのスクレイピングに使える3種類のデコレーター（@browser、@request、@task）。
  • 02Cloudflareの回避、人間らしいマウス操作、フィンガープリント制御などの組み込みの検知回避機能。
  • 03プロキシのローテーション、永続化できるChromeプロファイル、Chrome拡張機能に対応。
  • 04入力リストを並列実行し、結果をJSONに保存。
  • 05スクレイパーからWeb UI、REST API、デスクトップアプリを生成。

ユースケース

  • Cloudflareやその他のボット検知サービスで保護されたサイトのスクレイピング。
  • プロキシをローテーションし、並列ワーカーを使って大量のページアクセスを実行。
  • 社内向けスクレイパーを、開発者以外も使えるWebツールやデスクトップツールにする。

トピック

#web-scraping#python#anti-bot#browser-automation#selenium-alternative#cloudflare-bypass#proxy#scraping-framework#anti-detect#anti-detect-browser

よくある質問

botasaurus とは？
ボット検知の回避を目指すWebスクレイピング向けPythonフレームワーク。ブラウザ・HTTP通信、UI生成、デスクトップアプリに対応。 Botasaurusは、Webスクレイピング向けのPythonフレームワークです。スクレイピング関数を人間らしい操作を行うChromeブラウザ（@browser）、軽量なHTTPリクエスト（@request）、またはPlaywrightやSeleniumなどのサードパーティライブラリ（@task）で実行するためのデコレーターを備えています。スクレイピング関数には入力のリストを渡し、並列実行して、戻り値をJSONファイルに保存できます。
botasaurus は無料で使えますか？ライセンスは？
botasaurus は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
botasaurus は今もメンテナンスされていますか？
半年以内に更新あり。botasaurus の最終コミットは 2026年7月26日 です。
botasaurus は何に使えますか？
Cloudflareやその他のボット検知サービスで保護されたサイトのスクレイピング。 プロキシをローテーションし、並列ワーカーを使って大量のページアクセスを実行。 社内向けスクレイパーを、開発者以外も使えるWebツールやデスクトップツールにする。
botasaurus はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/omkarcloud/botasaurus

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト