一块7美元的板子，让AI真的拿起了别人的iPhone
不用Mac、不用开发者账号、不用越狱，ESP32-S3加几行代码，就能让OpenAI兼容的视觉模型直接控制一台真实的iPhone。一周1500多颗星，不是空穴来风。
适合：想在不越狱、不签名的情况下，让云端或本地视觉模型直接操控真实iPhone的开发者与折腾型玩家。
先说结论
ESP32-S3这块二十多元的小板，配合一个开源脚本，能替AI当iPhone的眼睛和手。AirPlay负责看，USB HID负责点，任何兼容OpenAI协议的视觉模型都能拿来当大脑。普通人把仓库clone下来，烧录、连手机、开代理，半小时就能跑通第一条自动任务。
真正的问题
过去两年，“AI操作手机”几乎都跑在两个极端上：一边是Apple自家的Accessibility框架，门槛高、需要Mac和签名；另一边是各家Rom内置的Agent，靠的是Root和定制系统。前者绑死在苹果生态里，后者绑死在特定机型上。
那如果只是想拿AI点开一个App、戳几下、再读一眼屏幕呢？既不想越狱，也不想为了一次测试搭一整套开发环境，更不想等大厂慢慢开放接口。开源仓库esp32-iphone-agent切的就是这个口子：硬件只花7美元，软件只依赖一段OpenAI兼容的HTTP请求，模型你随便换，模型在云上还是本地都行。
它做的事情说穿了很朴素。ESP32假装成一个AirPlay接收端，把iPhone的屏幕实时投到一个虚拟画面里；同时它又假装成一个USB键盘鼠标，在系统层发指令。AI看到这个画面，思考下一步动作，再通过本地一个小服务把动作发回给ESP32。AirPlay是眼睛，HID是手，模型是大脑，三件事各自独立，谁都能换。
怎么做更省力
把仓库拉下来之后，真正决定体验的是三件事：网络、模型、串口权限。
| 步骤 | 关键点 | 常见翻车 |
|---|---|---|
| 烧录固件 | ESP32-S3开发板 + USB数据线 | 选错COM口、驱动没装 |
| 配AirPlay | iPhone信任该设备、配对码 | 反复弹出配对失败 |
| 接模型 | 填OpenAI兼容地址和Key | base_url拼错、模型名带空格 |
省力的关键是顺序：先固定硬件和AirPlay，再去接模型。屏幕能正常投过来，后面才有意义。模型这一层，最省心的办法是接一个现成的中转网关，本地跑也行，公网代理也行，只要暴露/v1/responses或类似接口即可。需要排版或配图时，可以顺手用公众号AI排版编辑器，把每一步的设置笔记整理成一篇可发布的图文。
哪些坑要避开
第一，不要在大版本iOS刚推送的48小时内玩AirPlay。苹果每次系统更新都顺手收紧一点投屏协议，作者自己也提示了这一点。
第二，HID不是真的鼠标。它发的是相对位移和点击，不是像素坐标。屏幕分辨率一变，动作就要重新校准，长任务里最好每隔一段时间截图复核一次，别让模型自欺欺人。
第三，公网暴露要谨慎。固件本身没做鉴权，串口和AirPlay口子在局域网里也容易被嗅探。想跑长任务，至少加一个网络隔离，最好让ESP32和模型服务都只跑在一个独立的VLAN里。这不是胆小，是基本功。
第四，模型调用是按截图次数计费的，别把帧率拉满。先压到1秒1帧跑通流程，再考虑加快；否则一轮任务没结束，账单先爆了。
现在就能动手
打开电脑，clone仓库，按README里“Board”那栏选ESP32-S3 DevKitC-1，烧录AirPlay + HID合一的固件。手机第一次会弹一个“是否信任此设备”的弹窗，点信任，记下配对码。电脑上跑那个Python小服务，把模型换成你已经在用的OpenAI兼容服务，跑一次示例脚本，屏幕上看到iPhone被点开、相册被滚动、App被切换，就说明三件事都通了。
下一步，按你自己的真实任务写一个两到三步的工作流，比如“打开提醒App → 新建一条文本 → 返回主屏”，跑通之后存档。一周之后的感受，大概率是：它不是一个玩具，而是一个把“AI真正碰一下真实设备”这件事拉到工具级的最低门槛。