小小绘 UI 插件
把 codex / dsh 推理引擎当作大脑——会搜、会教、会讲解的个人工作台；UI 插件按前台应用挂载，安装即用。
codex · dsh · 个人工作台 · UI 插件
Desktop AI Companion · Codex / dsh · 本地读屏执行
桌面上的 AI 伴侣
看得见 · 说得清 · 做得动
小绘把 Companion 浮层、内置 dsh 与 Codex 连成闭环：语音或文字下发任务，AI 读屏、键鼠操作、中文播报。 重点能力：UI 插件按前台应用自动路由技能，录轨回放按原始时序物理级复现操作。
- 检索 / 编写codex / dsh 引擎推理
- 录轨Shift+Option+K 一键录制
- 回放物理级时序 · 行云流水
物理级轨迹 · 行云流水
Shift+Option+K 一键录制键鼠轨迹，绑定窗口坐标系；回放时按原始时序物理级复现，无需逐步感知，游戏与固定流程一气呵成。
mkflow_run_trace · 窗口坐标 · 首帧对齐
核心能力
从 UI 插件与录轨回放到读屏总结，小绘覆盖完整的桌面智能体闭环。
🎛 智能交互 UI 插件
Companion 内切换 Codex 或内置 dsh 个人工作台，UI 插件按前台应用自动挂载专属界面与技能；点击即触发 codex / dsh 推理，读屏键鼠由小绘本地执行。
codex · dsh · .huipack · 前台应用路由
📲 IM 远程控制
飞书 / Telegram / WhatsApp / 钉钉 随时随地远程派发任务：发消息即执行，小绘读屏键鼠操作完成后把结果发回对话。飞书 WebSocket 长连接免公网地址，人在外面也能操控桌面。
飞书长连接 · Telegram · WhatsApp · 钉钉
🧩 插拔式技能包
一个软件装一个 .huipack 包，就是一个工作能手：Excel、Photoshop、游戏代练…包内带专属 GUI 模型、录轨技能、模板与提示词，安装即用、按前台应用自动路由，可导入导出分享。
skillpack_list · skillpack_install · 前台应用路由 · .huipack
🎞 录轨回放（mkflow）
一键录制键鼠轨迹（Shift+Option+K），支持窗口坐标系与模板匹配两种模式，按原始时序物理级回放，游戏 / 固定流程一气呵成。
mkflow_list · mkflow_run · mkflow_run_trace
👁 屏幕读屏
本地 OCR + 边缘模型实时理解屏幕内容：识别界面元素、判断场景、定位目标位置，滚动翻页逐屏阅读，全程不出本机。
get_screenshot · tesseract OCR · edge_reader
☎️ 双工语音
按住 PTT 说话，边缘模型即时 ack + 简单动作；大模型接管复杂规划。TTS 与 Live2D / VRM 口型同步，本地离线识别不依赖网络。
voice.stt.final → duplex → 大模型 → companion_speak
📖 文档阅读
飞书 / 浏览器文档前台打开，Companion 说「用中文阅读并总结」。Codex / dsh 规划阅读步骤，小绘截屏翻页写摘要并口播。
Companion 下发 → 读屏循环 → 中文摘要 · TTS
🗂 轨迹合集 · 双工执行
把「领任务→跑任务→打怪→交任务」打包成合集，本地边缘模型 + OCR 每轮判断该执行哪条轨迹，边缘不确定时自动升级大模型接管。
mkflow_collection_run · edge_vision_decision
🛡 本地边缘模型
内嵌 1.5B GGUF 边缘模型（读屏判断 / 文档大纲）与 Qwen3-VL 4B 视觉模型（首帧场景确认），关键感知不出本机，隐私安全。
edge_reader · confirm_scene · tesseract OCR
✏️ 屏幕画笔
直接在屏幕上圈注重点：画线、框选、标注，橡皮擦可清除，Esc 退出。标注区域随任务一起发送，Agent 精准理解你要它改哪里。
画笔标注 · 橡皮擦 · Esc 退出
✨ Vibe Coding 输入
选择工作区，上传图片，输入 @ 引用项目文件或附件；画笔在页面上圈注重点，任务自动携带文件/图片路径给 Agent 分析改码。
@src/app.tsx · file_paths · image_paths · 画笔标注
🔌 接口派发任务
启动即自动开启 OpenAI 兼容接口（/v1/chat/completions），任何程序用标准 OpenAI SDK / HTTP 即可向小绘派发任务，支持同步与流式返回，开发调试、自动化集成两相宜。
POST /v1/chat/completions · OpenAI SDK · stream
系统架构
三进程协作：Companion 浮层 / 本地 Daemon / Codex 或 dsh（大脑）。
┌─────────────────┐ Socket :18765 ┌──────────────────┐
│ Companion UI │ ◄────────────────────► │ Daemon + Bridge │
│ 浮层 · TTS/STT │ │ 截屏 · 读屏键鼠 │
└────────┬────────┘ └────────┬─────────┘
│ │
│ Tauri 命令 │ Codex / dsh
▼ ▼
┌─────────────────┐ 本地工具调用 ┌──────────────────┐
│ Edge 双工层 │ ─── defer_to_llm ───► │ Codex / dsh │
│ 即时 ack/动作 │ │ 推理 · 规划 │
└─────────────────┘ └────────┬─────────┘
│
mouse · keyboard · screenshot ◄─┘
5 分钟上手
安装包已签名，内置 dsh 个人工作台；Companion 内可切换对接 Codex。详细权限与下载见 安装教程。
-
安装已签名桌面端
下载 macOS dmg（Apple 芯片 / Intel · macOS 14+）或 Windows 安装包（x64），按提示完成安装并打开。首次启动会自动部署本地边缘 / 视觉 / 语音模型，无需单独安装 Python 或 Node。
-
授权系统权限
在 系统设置 → 隐私与安全性 中为小绘开启 屏幕录制、辅助功能、麦克风（语音可选），授权后完全退出并重启小绘（详见权限说明）。
-
选择大脑：Codex 或内置 dsh
Companion 顶部 Tab 切换执行引擎：Codex — 需先在 Codex 桌面端登录，小绘复用登录态并自动接入读屏键鼠能力；DeepSeek Harness — 使用应用内置 dsh，在 Harness 界面填 Provider / API Key 即可，开箱即用。
-
打开工作台，确认就绪
选 dsh 时内嵌 Harness Web UI 自动拉起；选 Codex 时任务同步到 Codex 聊天。浮层显示就绪后，即可在个人工作台里搜资料、教操作、讲步骤。
-
Companion 开口即用
按住 PTT 说话或文字输入，例如「读一下这份需求文档并总结」。小绘读屏、规划、键鼠执行，结果在 Companion 气泡播报；复杂任务由 Codex / dsh 推理，本地 Daemon 负责看屏与操作。
更多文档：安装教程 · Companion 使用说明 · 技术论文 · Paper (EN) · Client README
开始构建你的桌面 AI 工作流
下载已签名安装包 · 授权三项权限 · 对接 Codex 或内置 dsh，5 分钟即可跑通第一个任务。