Repolode
instavm

instavm/clickclickclick

一个让大模型自主操作 Android 手机与电脑的框架,可用自然语言下达任务。

Star
714
Fork
87
未关闭 Issue
3
最近提交
7个月前

这是什么?

ClickClickClick 是一个 Python 框架,让大模型通过自然语言指令控制 Android 设备或电脑完成任务,例如在 Gmail 中起草邮件或在 Lichess 上开始对局。它将工作拆分为两部分:规划模型负责决定下一步操作,查找模型负责定位屏幕上需要交互的元素。Android 端依赖 ADB,桌面端支持 macOS。

框架既支持通过 Ollama 运行的本地模型(如 Llama 3.2-vision、qwen3.5:4b),也支持 Gemini 和 OpenAI 的云端模型,模型配置写在 config/models.yaml 中。任务可以通过命令行、Gradio 网页界面、Python API 或基于 uvicorn 的 REST 接口来执行。

项目目前仍处于实验阶段,作者提示使用需自行承担风险。目前效果最好的组合是将 Gemini 3.1 Flash-Lite 同时用作规划和查找模型。运行 Android 任务需要在执行代码的机器上安装 adb。

核心功能

  • 01由规划模型拆解任务步骤,查找模型定位界面元素。
  • 02支持通过 Ollama 运行本地模型,也支持 Gemini 和 OpenAI。
  • 03通过 ADB 控制 Android 设备,并支持 macOS 桌面。
  • 04提供命令行、Gradio 网页界面、Python API 和 REST 接口。
  • 05可调整截图质量,在准确性与处理速度之间取舍。

适用场景

  • 自动化重复性的手机操作,如发送消息或打开应用。
  • 使用本地开源模型试验电脑操作类智能体。
  • 在 Android 或 macOS 上验证大模型驱动的界面自动化方案。
  • 将设备自动化能力封装为 HTTP 服务,供其他工具调用。

快速上手

  1. 1

    克隆仓库

    git clone https://github.com/yourusername/clickclickclick
  2. 2

    进入项目目录并安装依赖

    cd clickclickclick && pip install -r requirements.txt
  3. 3

    配置规划器和查找器模型及 API 密钥

    python main.py setup
  4. 4

    运行一个任务

    python main.py run "Open Google news" --platform=android --planner-model=openai --finder-model=gemini

使用前须知

  • README 称该代码高度实验性,使用风险自负。
  • Android 操作需要在运行代码的机器上安装 adb。
  • 最佳效果需要付费的 Gemini 或 OpenAI API 密钥,本地 Ollama 模型速度较慢且可靠性较低。

标签

常见问题

clickclickclick 是什么?
一个让大模型自主操作 Android 手机与电脑的框架,可用自然语言下达任务。 ClickClickClick 是一个 Python 框架,让大模型通过自然语言指令控制 Android 设备或电脑完成任务,例如在 Gmail 中起草邮件或在 Lichess 上开始对局。它将工作拆分为两部分:规划模型负责决定下一步操作,查找模型负责定位屏幕上需要交互的元素。Android 端依赖 ADB,桌面端支持 macOS。
clickclickclick 可以免费使用吗?用的什么许可证?
clickclickclick 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
clickclickclick 还在维护吗?
超过半年未提交。clickclickclick 最近一次提交是在 2026年3月17日。
clickclickclick 适合用来做什么?
自动化重复性的手机操作,如发送消息或打开应用。 使用本地开源模型试验电脑操作类智能体。 在 Android 或 macOS 上验证大模型驱动的界面自动化方案。 将设备自动化能力封装为 HTTP 服务,供其他工具调用。
clickclickclick 怎么安装和运行?
克隆仓库: git clone https://github.com/yourusername/clickclickclick 进入项目目录并安装依赖: cd clickclickclick && pip install -r requirements.txt 配置规划器和查找器模型及 API 密钥: python main.py setup 运行一个任务: python main.py run "Open Google news" --platform=android --planner-model=openai --finder-model=gemini
在哪里获取 clickclickclick?
源代码和安装说明在 GitHub 上:https://github.com/instavm/clickclickclick

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目