大模型能操作你电脑了：OpenClaw 到底怎么做到的computer use：本质是"截图-思考-行动"循环 OpenClaw：面向整个桌面，靠视觉模型决策 部署门槛：本地进程+模型接口，Windows 能跑 现阶段限制：慢、易点错，高风险操作要谨慎
"让 AI 帮你点鼠标、敲键盘、操作桌面软件"，这个画面过去只出现在科幻片里。现在，一类叫 computer use 的开源项目，真的把它搬到了本地电脑上。据公开报道，OpenClaw 作为其中关注度较高的一个，近期在 CSDN 等平台登上热榜，很多人头一次见识到"大模型操作电脑"具体长什么样。
我上手研究了一圈，感受是：原理比想象中朴素，部署配置的门槛比想象中高一点。命令以官方文档为准。

computer use 到底怎么回事先泼盆冷水：大模型并没有"长出手"去按你的键盘。它做的，本质上是一个不断循环的"观察—思考—行动"过程，跟人用电脑的方式几乎一样。
观察，是程序定时截屏，把当前屏幕图像发给模型。模型看到的是一张图，不是操作系统内部状态。这一步决定它能不能"看懂"界面。
思考，是模型结合你的目标（比如"打开浏览器搜个词"）和当前截图，推理下一步该做什么——移动鼠标、点坐标、还是输入文字。
行动，是程序把模型输出的意图翻译成真实系统调用：移动鼠标到坐标点、点左键、敲键盘、滚轮。执行完再截一张新图，重新进循环。
容易被忽略的细节是坐标怎么来。模型看到的是位图，输出点击指令时直接给像素坐标，程序拿去移鼠标。问题是屏幕分辨率、缩放、多显示器，会让"模型眼中的像素"和"系统真实像素"对不上。所以很多项目截图时缩放到固定尺寸，回放坐标再按比例换算。做粗糙就会"想点按钮点到隔壁"。
理解了这个循环，就明白它两个天然限制：慢——每一步都要等模型推理；看错就点错——截图模糊或界面太密，坐标判断会失误。
Windows 部署实战OpenClaw 的部署思路，大体是"装一个本地进程 + 配一个大模型接口"，本地进程负责截屏和执行操作，模型负责决策。
准备环境。你需要一个可用的模型接口，可以是官方 API，也可以是通过 Ollama 跑在本地的模型。OpenClaw 支持的接口有若干种，装前先确认接哪一种。
安装。多数开源项目提供 npm 或 pip 的安装方式，以常见的路径为例：
npm install -g openclaw
装完运行初始化命令，它会引导你配置模型接口：
openclaw init
配置模型。初始化过程中要填 API 地址、模型名、密钥。本地 Ollama 的典型配置形如：
model_provider = "ollama"
base_url = "http://localhost:11434"
model = "qwen2.5-vl"
这里用视觉模型举例，因为 computer use 依赖截图理解，多模态能力基本是刚需。具体支持哪些模型，看官方文档兼容列表。
启动验证。配置完启动服务：
openclaw start
正常的话会看到类似 "agent started, listening on ..." 的输出，之后就能通过命令行或图形界面下任务了。预期输出只是示意，实际以你的版本为准。
它跟 Claude Code / Codex 差在哪很多人把 OpenClaw 和 Claude Code、Codex 这类编码代理混为一谈。长得像，干的活不一样。编码代理面向代码仓库，输入是文件和命令行，输出是改代码、跑测试；OpenClaw 面向整个桌面，输入是屏幕图像，输出是鼠标键盘动作。
一句话总结：编码代理擅长"在代码里做事"，computer use 擅长"在任何软件里做事"。两者不替代，反而互补——写代码用 Codex，操作只有图形界面的老软件用 OpenClaw。
踩坑清单第一次部署最常卡住几个点，列出来帮你少走弯路。
模型接口不通。很多报错表面像 OpenClaw 的问题，其实是接口没配好：API 地址写错、密钥过期、或本地 Ollama 没起。排查顺序应该是先用 curl 或浏览器单独访问模型接口，确认它本身通了，再回头查配置。
视觉模型选错。computer use 强依赖截图理解，接了个纯文本模型，它根本看不见屏幕，动作自然乱来。务必确认模型带视觉能力。
坐标漂移。Windows 上开了 125% 或 150% 显示缩放，而项目没正确处理，点击位置会系统性偏移。遇到"每次都点到目标右下角"这种规律性错位，先怀疑缩放。
权限。控制鼠标键盘、截取屏幕，在 Windows 上可能触发权限提示，或被安全软件拦下。截图黑屏、鼠标不动，检查权限弹窗是否被忽略、杀软是否拦了进程。
能做什么，不能做什么我的判断是，这能力目前处在"演示惊艳、生产需谨慎"的阶段。
能做的，是步骤明确、界面稳定的重复性操作：批量填表单、跨应用搬数据、按固定流程点选配置，能省不少人工。它的价值在于不挑软件，只要有界面就能试。
暂时做不好的有三类：实时性要求高的，每轮都要等推理，速度上不去；需要精确判断的，坐标偏几个像素就点错；涉及敏感操作的，让一个会"看错"的代理去删文件、转账、发消息，后果要自己掂量。建议先拿它做低风险、可回滚、可监督的任务，重要操作务必人工确认。
让大模型操作电脑，工程门槛其实不在"让模型变聪明"，而在于把屏幕、坐标、系统调用这条链路搭稳。OpenClaw 把链路开源了出来，普通人也能在 Windows 上跑起来。值得花一个下午装上，亲眼看看 AI 怎么替你点下第一下鼠标。