WebPilot - AI 驱动的嵌入式浏览器

什么是 WebPilot？

WebPilot 是一个开源的嵌入式浏览器，专为 AI 驱动的自动化和实时辅助而构建.

交互式用户培训 – 基于 AI 的网页应用新手引导。
AI 提供逐步指导，帮助新用户学习使用网页应用。交互式提示与操作演示提升用户留存率，降低学习成本。
自动化 UI 测试 – 智能自动化与实时调整。
AI 动态交互网页元素，实现 UI 自动化测试，可适应界面变化，无需重复编写测试脚本，有效提升缺陷检测效率。
客户支持与协助 – 无需桌面控制即可引导用户。
用户在网页应用内即可获得实时指导，无需远程桌面控制，提升隐私保护与支持效率。
AI 代理网页集成 – 训练 AI 模型与网站动态交互。
AI 模型学习浏览和操作网站，实现自动化流程、智能聊天机器人与虚拟助手的部署。

WebPilot 基于现代 Web 技术构建，实现高效、实时的浏览器自动化与用户辅助。

1. 用户打开 WebPilot – 用户在网页中以 iframe 形式或独立页面方式启动 WebPilot。
2. 创建独立浏览器会话 – 系统在服务器上为用户创建一个专属的浏览器会话。
3. WebRTC 共享服务器端浏览器视图 – 远程浏览器的实时视频画面被流式传输给用户。
4. WebSocket 同步 – 建立双向 WebSocket 连接，保持以下内容同步：
- 远程浏览器状态（打开的标签页、当前活动元素、页面变化等）。
- 用户交互（鼠标点击、键盘输入）会被实时镜像到远程浏览器中。
5. AI 上下文感知与辅助 – AI 监控用户操作并提供实时帮助。用户可以：
- 与 AI 聊天以获取导航指导。
- 请求自动化操作以执行重复任务。
- 请求 AI 导航到网站的特定部分。
6. 应请求 AI 接管操作 – 在用户请求下，AI 会点击网页元素并引导用户进行导航。
7. 空闲时自动结束会话 – 当用户停止使用 WebPilot 后，服务器将终止浏览器会话以释放资源。

功能	Selenium / Playwright（自动化）	WalkMe / Pendo（用户引导）	TeamViewer / AnyDesk（远程支持）	ChatGPT Operator	WebPilot（开源）
开源	✅ 是	❌ 否	❌ 否	❌ 否	✅ 是
嵌入式浏览器会话	❌ 否	❌ 否	✅ 是	✅ 是	✅ 是
用户交互完全控制	❌ 否（基于脚本）	❌ 否	✅ 是	✅ 是	✅ 是
实时辅助（AI 或人工）	❌ 否	✅ 是（引导式操作）	✅ 是	✅ 是	✅ 是
AI 与人工控制切换	❌ 否	❌ 否	✅ 是	✅ 是	✅ 是
WebRTC/WebSocket 低延迟控制	❌ 否	❌ 否	✅ 是	🚫 不确定	✅ 是
界面自动化（点击、滚动、输入等）	✅ 是	❌ 否	❌ 否	✅ 是	✅ 是
无需插件即可运行	❌ 否（需驱动程序）	❌ 否（需注入 JS）	✅ 是	✅ 是	✅ 是

申请 Beta 访问