OverRec 新能力:用 Tile 平铺窗口,让 AI 在矩形内点击和输入
- Metaphor Projects
- 应用
- 03 Nov, 2026
准备一段演示时,你可能需要把预览、参考资料和笔记摆进同一块区域;让 AI 帮忙操作桌面时,又希望它能在指定位置点击、填写文字。OverRec 最新的两项能力,把这些步骤接在了一起:Tile 将多个窗口平铺到一个矩形中,模拟输入则让 AI 在矩形内执行鼠标和键盘操作。
你可以先安排窗口,再划定操作区域,完成输入后截图检查,或将演示录成视频。
Tile:一个矩形,安排多个窗口
OverRec 原有的 Snap 能把单个窗口移动、缩放到指定矩形。现在,Tile 可以把这个矩形分成多个区域,再将选定窗口依次放入其中。布局只占用你指定的区域,适合在桌面上留出一块固定的演示或工作空间。
| 布局 | 适合怎样使用 |
|---|---|
| 左右双窗口,支持 1:1、4:6、6:4、7:3、3:7 | 主窗口搭配资料或笔记,按任务分配宽度 |
| 上下双窗口,支持相同的比例选项 | 上方预览,下方对照输出或说明 |
| 三等分列或行 | 同时查看三个相关窗口 |
| 2×2 网格 | 在同一块区域内对照四个窗口 |

四格布局示例。截图中的彩色窗口是用于展示位置和尺寸的测试窗口。
在图形界面中,先画出目标矩形,打开 Snap 的窗口列表,选择布局,再按希望的顺序勾选窗口,点击 Tile(平铺)。窗口按从左到右、从上到下的顺序填入;选择数量少于格子数量时,其余格子留空。
同一套布局也能用于 CLI 和 MCP。比如,先查找窗口,再将两个窗口按 7:3 排到显示器 0 的指定区域:
OverRec.exe cli window
OverRec.exe cli snap --windowid 657846,329812 --tile lr-7:3 --location 0,0 --size 1920x1080 --monitor 0
这里的窗口 ID 是示例值,使用时替换为 window 返回的实际 ID,并按显示器大小调整区域。三列用 lr-1:1:1,三行用 tb-1:1:1,四格用 grid-2x2;MCP 的 snap 工具也接受 tile 参数。
模拟输入:让 AI 在框内完成点击与打字
安排好窗口后,AI 可以通过 OverRec 的 MCP mouse 和 keyboard 工具操作指定区域。鼠标动作包括移动、点击、双击、拖动和滚动;键盘工具支持按键组合和文本输入。

实际演示:在记事本中点击、输入文字,再双击选中一个词并替换。橙色矩形标出了操作范围。
这项能力目前用于 Windows。输入直接发送给目标位置的窗口,不会移动你的真实鼠标,也不会切换前台窗口或焦点。因此,在兼容的应用中,AI 可以处理框内的任务,你继续在其他位置工作。
使用时,先启动 MCP 服务并连接支持 MCP 的客户端:
OverRec.exe cli mcp
默认 HTTP 端点为 http://127.0.0.1:7820/mcp;需要客户端管理进程时,也可以使用 OverRec.exe cli mcp --stdio。
从画框到输入:一次 MCP 调用流程
先在目标应用的内容区内确定矩形。下面展示依次调用的工具及其参数;这是 MCP 客户端中的调用示意,坐标需要按实际窗口调整。
[
{"tool": "draw", "arguments": {"x": 100, "y": 200, "width": 800, "height": 400, "monitor": 0, "timeout_secs": 120}},
{"tool": "mouse", "arguments": {"overlay": 1, "action": "click", "x": 40, "y": 40}},
{"tool": "keyboard", "arguments": {"overlay": 1, "x": 40, "y": 40, "text": "Hello from an AI agent!"}}
]
**将示例中的 overlay: 1 替换为 draw 实际返回的 ID。**后续鼠标和键盘坐标以这个矩形左上角为原点,单位为逻辑像素。这个矩形必须由同一个 MCP 服务进程创建;GUI 或另一个进程画出的框不能直接作为输入范围。
框外坐标会在发送输入前被拒绝,矩形关闭或超时后也不能继续操作。执行完毕后,再对相同区域调用 screenshot,检查文字或界面是否符合预期。
实际使用时的兼容范围
模拟输入适合支持窗口消息的应用内容区。读取原始输入的游戏、部分 UWP/WinUI 应用可能忽略这些操作;某些应用也无法识别模拟的修饰键状态。非管理员服务不能向管理员窗口发送输入,Windows 键快捷操作不受支持,锁屏或 UAC 界面下不会执行输入。标题栏和窗口边框也不属于可操作的内容区。
先用一次点击和少量文字确认目标应用的兼容性,再继续完整流程。Tile 负责把工作空间排好,模拟输入负责在指定范围内完成操作,截图和录屏则用于检查结果、整理教程或留下演示素材。
前往 Microsoft Store 获取 OverRec,或访问 OverRec 产品页和 CLI / MCP 使用说明。