开源 Python 库,让大模型智能体像人一样操控真实浏览器,并可选用托管云浏览器与 Agent API。
omkarcloud/botasaurus
一个用于构建网页爬虫的 Python 框架,主打绕过反爬检测,支持浏览器与 HTTP 请求两种模式。
- Star
- 5,783
- Fork
- 507
- 未关闭 Issue
- 59
- 最近提交
- 3个月前
这是什么?
Botasaurus 是一个用于网页爬取的 Python 框架。它通过装饰器提供三种运行方式:使用模拟真人的 Chrome 浏览器(@browser)、轻量级 HTTP 请求(@request),以及结合 Playwright、Selenium 等第三方库(@task)。爬取函数可以接收一批输入,支持并行运行,并将返回结果保存为 JSON 文件。
项目重点在于规避机器人检测。浏览器配置项包括代理轮换、持久化 Chrome 配置文件、扩展程序、无头模式,并支持通过 bypass_cloudflare 绕过 Cloudflare 检测。此外,它还支持借助浏览器内的 fetch 请求来降低代理流量费用,并提供缓存、站点地图、数据清洗和 IP 信息查询等工具。
除脚本模式外,Botasaurus 还能为爬虫自动生成带输入控件、结果表格的 Web 界面和 REST API,也支持用 JavaScript 构建可在 Windows、macOS 和 Linux 上运行的桌面应用。
核心功能
- 01提供 @browser、@request、@task 三种装饰器,分别用于浏览器、HTTP 请求和第三方库爬取。
- 02内置反检测选项,包括 Cloudflare 绕过、拟人化鼠标移动和指纹控制。
- 03支持代理轮换、持久化 Chrome 配置文件和 Chrome 扩展程序。
- 04可对输入列表并行执行爬取任务,结果保存为 JSON。
- 05可将爬虫生成为 Web 界面、REST API 或跨平台桌面应用。
适用场景
- 爬取受 Cloudflare 或其他机器人检测服务保护的网站。
- 借助代理轮换和并行执行,批量访问大量页面。
- 将内部爬虫封装为供非开发人员使用的 Web 或桌面工具。
快速上手
- 1
安装 Botasaurus
python -m pip install --upgrade botasaurus - 2
创建并进入项目目录
mkdir my-botasaurus-project cd my-botasaurus-project - 3
将示例爬虫代码保存为项目目录中的 main.py
- 4
运行爬取任务
python main.py
使用前须知
- README 中的反机器人检测绕过效果为作者自述,文中未提供独立验证。
- 浏览器模式会启动 Google Chrome,因此需要本地安装 Chrome。
标签
常见问题
- botasaurus 是什么?
- 一个用于构建网页爬虫的 Python 框架,主打绕过反爬检测,支持浏览器与 HTTP 请求两种模式。 Botasaurus 是一个用于网页爬取的 Python 框架。它通过装饰器提供三种运行方式:使用模拟真人的 Chrome 浏览器(@browser)、轻量级 HTTP 请求(@request),以及结合 Playwright、Selenium 等第三方库(@task)。爬取函数可以接收一批输入,支持并行运行,并将返回结果保存为 JSON 文件。
- botasaurus 可以免费使用吗?用的什么许可证?
- botasaurus 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- botasaurus 还在维护吗?
- 半年内有更新。botasaurus 最近一次提交是在 2026年7月26日。
- botasaurus 适合用来做什么?
- 爬取受 Cloudflare 或其他机器人检测服务保护的网站。 借助代理轮换和并行执行,批量访问大量页面。 将内部爬虫封装为供非开发人员使用的 Web 或桌面工具。
- botasaurus 怎么安装和运行?
- 安装 Botasaurus: python -m pip install --upgrade botasaurus 创建并进入项目目录: mkdir my-botasaurus-project cd my-botasaurus-project 将示例爬虫代码保存为项目目录中的 main.py 运行爬取任务: python main.py
- 在哪里获取 botasaurus?
- 源代码和安装说明在 GitHub 上:https://github.com/omkarcloud/botasaurus
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
基于 LLM 与图结构流水线的 Python 库,依据自然语言提示从网页和本地文档中提取结构化数据。
开源自主研究智能体,可基于网页和本地文档进行深度研究,使用任意 LLM 服务并生成带引用的报告。
一组基于 Claude API 的入门示例项目,覆盖客服助手、金融分析、浏览器与电脑操作代理等可部署应用。
开源网页数据平台,可将任意网站转换为结构化 API,支持抓取、爬取、搜索、监控和 AI 提取。
面向 AI 智能体的浏览器,智能体在独立 Space 中执行自动化,你的标签页和登录状态互不干扰。