Repolode
omkarcloud

omkarcloud/botasaurus

一个用于构建网页爬虫的 Python 框架,主打绕过反爬检测,支持浏览器与 HTTP 请求两种模式。

Star
5,783
Fork
507
未关闭 Issue
59
最近提交
3个月前

这是什么?

Botasaurus 是一个用于网页爬取的 Python 框架。它通过装饰器提供三种运行方式:使用模拟真人的 Chrome 浏览器(@browser)、轻量级 HTTP 请求(@request),以及结合 Playwright、Selenium 等第三方库(@task)。爬取函数可以接收一批输入,支持并行运行,并将返回结果保存为 JSON 文件。

项目重点在于规避机器人检测。浏览器配置项包括代理轮换、持久化 Chrome 配置文件、扩展程序、无头模式,并支持通过 bypass_cloudflare 绕过 Cloudflare 检测。此外,它还支持借助浏览器内的 fetch 请求来降低代理流量费用,并提供缓存、站点地图、数据清洗和 IP 信息查询等工具。

除脚本模式外,Botasaurus 还能为爬虫自动生成带输入控件、结果表格的 Web 界面和 REST API,也支持用 JavaScript 构建可在 Windows、macOS 和 Linux 上运行的桌面应用。

核心功能

  • 01提供 @browser、@request、@task 三种装饰器,分别用于浏览器、HTTP 请求和第三方库爬取。
  • 02内置反检测选项,包括 Cloudflare 绕过、拟人化鼠标移动和指纹控制。
  • 03支持代理轮换、持久化 Chrome 配置文件和 Chrome 扩展程序。
  • 04可对输入列表并行执行爬取任务,结果保存为 JSON。
  • 05可将爬虫生成为 Web 界面、REST API 或跨平台桌面应用。

适用场景

  • 爬取受 Cloudflare 或其他机器人检测服务保护的网站。
  • 借助代理轮换和并行执行,批量访问大量页面。
  • 将内部爬虫封装为供非开发人员使用的 Web 或桌面工具。

快速上手

  1. 1

    安装 Botasaurus

    python -m pip install --upgrade botasaurus
  2. 2

    创建并进入项目目录

    mkdir my-botasaurus-project cd my-botasaurus-project
  3. 3

    将示例爬虫代码保存为项目目录中的 main.py

  4. 4

    运行爬取任务

    python main.py

使用前须知

  • README 中的反机器人检测绕过效果为作者自述,文中未提供独立验证。
  • 浏览器模式会启动 Google Chrome,因此需要本地安装 Chrome。

标签

常见问题

botasaurus 是什么?
一个用于构建网页爬虫的 Python 框架,主打绕过反爬检测,支持浏览器与 HTTP 请求两种模式。 Botasaurus 是一个用于网页爬取的 Python 框架。它通过装饰器提供三种运行方式:使用模拟真人的 Chrome 浏览器(@browser)、轻量级 HTTP 请求(@request),以及结合 Playwright、Selenium 等第三方库(@task)。爬取函数可以接收一批输入,支持并行运行,并将返回结果保存为 JSON 文件。
botasaurus 可以免费使用吗?用的什么许可证?
botasaurus 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
botasaurus 还在维护吗?
半年内有更新。botasaurus 最近一次提交是在 2026年7月26日。
botasaurus 适合用来做什么?
爬取受 Cloudflare 或其他机器人检测服务保护的网站。 借助代理轮换和并行执行,批量访问大量页面。 将内部爬虫封装为供非开发人员使用的 Web 或桌面工具。
botasaurus 怎么安装和运行?
安装 Botasaurus: python -m pip install --upgrade botasaurus 创建并进入项目目录: mkdir my-botasaurus-project cd my-botasaurus-project 将示例爬虫代码保存为项目目录中的 main.py 运行爬取任务: python main.py
在哪里获取 botasaurus?
源代码和安装说明在 GitHub 上:https://github.com/omkarcloud/botasaurus

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目