PhysiClaw：用摄像头和触控笔物理操控手机的 AI 智能体

PhysiClaw 是一个开源 AI 智能体项目，它通过摄像头观察手机屏幕、用电容笔点击操作，让智能体像真人一样完成点外卖、订车、付款、回消息等日常任务，整个过程不需要调用 App 的 API、不需要 ADB 调试线，也不需要在手机上安装任何额外软件。

为何给智能体一个「物理身体」

日常生活中常用的 App 多数并不开放公共 API，桌面自动化或 Android 的 ADB 模拟输入又会留下可被反作弊系统识别的软件指纹。PhysiClaw 把屏幕本身当作 API 来使用：摄像头读取屏幕内容，触控笔执行点击和滑动。对手机而言，这种操作与真实手指几乎无异，难以被检测，因此能够覆盖几乎所有 App，可靠性较高。代价是速度——每个动作需要数秒，无法与原生 API 调用相提并论。

工作机制

PhysiClaw 配备一台专属 iPhone，运行一个独立的 WhatsApp 账号。用户把它当作普通联系人添加，用自然语言下达指令，例如：

• 「在 DoorDash 上点一杯拿铁」
• 「查一下明天的天气」
• 「在 Instacart 买牛奶和鸡蛋」

其运行时持续循环，在定时任务到期或屏幕因为新消息亮起时唤醒智能体：先解锁手机、读取用户消息，再去执行具体任务，遇到支付等需要确认的场景时暂停等待用户回复，完成后向用户返回结果、保存记忆，然后退出直到下次唤醒。

上手与许可

PhysiClaw 以 MIT 协议开源，同时开放硬件的 CAD-as-code 设计与智能体软件代码。运行前需要准备机械臂、触控笔、摄像头等硬件，以及一台供其操作的 iPhone。CLI 支持 macOS、Windows 与 Linux，要求 Python 3.12 与 uv：

• physiclaw models key <provider> 添加 LLM API 密钥
• physiclaw models use <provider/model> 选择智能体运行的模型
• physiclaw doctor 检查运行环境
• physiclaw 启动服务器，进入硬件设置向导并运行智能体

项目提供英文与中文文档，以及演示视频，方便开发者快速了解效果。整体而言，PhysiClaw 展示了 AI 智能体在缺乏 API 接入时的另一种解题思路——用物理动作绕开数字限制，不过能否在真实生活场景中稳定使用，仍取决于硬件成本、动作精度以及 App 风控策略的变化。