我做了一个 Seceing，让 AI 看见我一天在忙什么
本文由 AI 提问、我口述回答，经编辑整理。文中的【待补】和【待确认】为本版编辑标记。
“停一停吧，你今天已经尽力了。”
这是 seceing 给我的一份每日回顾的结尾。
我本来知道自己这一天都在忙些什么。真正读到总结时，还是有一点感触：原来今天做了这么多事情。有些时段里的细节，我自己已经忘了，它又替我串了起来。
同时，我也看到了自己的分散。一边推进项目，一边排障，中间还接进来一些临时的尝试。把这些事情放在一起看，才更容易察觉注意力切换的频繁。
在我的个人 Agent OS 设想里，seceing 承担感知这一环。这次先聊这个具体的尝试：让 AI 从屏幕里了解我正在做什么，再看看这些上下文能带来什么帮助。
问：最早是什么让你想做 seceing？
最早，我觉得可以有一个 Agent 在旁边观察屏幕。比如我干活干到一半，跑去刷视频了，它可以提醒我控制一下时间。
当时我觉得这有点像个玩具，投入的兴趣也有限。
后来，我想起自己一直持有的一个判断：AI 如果知道我更多的上下文，就能更好地帮我完成任务。
于是我想，先把截屏、分析、总结这个流程做出来，每天再对当天记录下来的事项做一次总结，看看它会产生什么意想不到的效果。
问：你为什么选了屏幕这个入口？
我考虑过几个采集维度。
一种是收集我和 AI 对话的 session，通过会话分析工作。会话能提供很详细的协作过程，覆盖范围集中在对应的 AI 工具里。
我也在一个开源浏览器插件上做过二次开发，参考 Kimi 浏览器扩展，让它总结当前页面。这种方式由我主动调用，信息来源集中在浏览器。
屏幕则能跟着我跨应用工作。我在 AI 工具里聊项目、切到浏览器看资料、打开其他软件，画面里都会留下线索。
考虑了这些方式之后，我觉得获取屏幕是了解我正在做什么的一个很通用的渠道。
问：实际用起来，每日回顾给你带来了什么？
它帮我找回了一些已经忘记的细节，也让我感觉自己一天确实做了很多事情。那份总结总体上挺准，我当天差不多就是在做这些事。
我提供的一份每日回顾截图。
不过，里面也能看出注意力分散的风险。
自从有了 AI，我经常三四个会话一起工作。等一个 AI 实现、回复的时候，就打开另一个会话，推进另一件事。过一会儿再回来，查看回复和任务进度。
任务多了以后，会有一种来回追踪、疲于奔命的感觉。
有一次，朋友临时问我有没有能总结短剧剧情的工具，我就去试了一下。最后确实总结出来了，花的时间也有限。注意力已经切到了那件事上，回来时，还得重新调整一下状态。
这两天我已经比较聚焦了，最关注的两个项目是 seceing 和系统信息采集，另外还有博客网站的界面调整。因为范围比较集中，我通常回想一下刚才在做什么，打开对应的两三个会话，看看 AI 的回复和进度，就能继续。
即便如此，回顾里仍然能看到一些额外的切换。
问：从第一版到现在，你改得最多的是什么？
任务关联这一块改得比较多。一开始，我自己也在摸索应该怎样关联。
现在每次把三张截图拼起来分析，会生成一张卡片。我逐渐给卡片增加了一些维度，比如工作、娱乐、游戏、短视频这些标签，让 AI 从预设里选择。预设标签也可以在设置里修改。
还有一个维度是应用：这次截图里，当前活动的是哪个应用？
我有两个屏幕，有时候在屏幕 A 的应用里工作，有时候切到屏幕 B。这个信息可以由 Python 直接读取。AI 负责理解画面中的内容，代码提供应用身份，各自承担适合的工作。
有了这些信息，再让 AI 分析我正在做什么任务。
比如，我希望它看到我在 Codex 里聊 seceing，在 ZCode 里也聊 seceing，就能从项目名和聊天内容里认出：这些活动属于同一个项目。再进一步，看清我具体是在实现什么功能，或者修复什么问题。
任务名也应该把事情说清楚，比如“某项目实现某功能”“某项目修复某个 bug”。后续观察到相关活动时，继续关联到已有任务；出现一个独立的新事项，就创建新任务。
目前已经能看到一些关联效果。比如我连续在 B 站看同一个视频，持续十分钟左右，它能识别出我在看同一个视频，把这些活动归到一起。跨 Codex、ZCode 的项目活动，也已经出现了关联效果。
整项功能还在调整，完整验收仍待完成。
【待补：一张任务关联效果图，优先展示 Codex 与 ZCode 中同一项目的关联。】
【待确认：任务关联完成验收后的实际效果与适用范围；发布前据此更新本段状态。】
问：持续观察屏幕，你怎样考虑隐私？
我的策略是加应用黑名单。当前激活窗口所属的应用进入黑名单时，就跳过截图。
【待确认：应用黑名单的当前实现状态与生效范围。】
本地处理这一层，我最后选了 OCR 加正则：先识别截图里的文字，再用规则筛查密钥这类敏感内容。
测试分成两轮。第一轮使用大字号的合成截图，Vision OCR 的 fast、accurate 两种模式和本地视觉模型 qwen3-vl-4b，都能正确判断测试中的敏感图与干净对照图。
第二轮把假密钥显示在真实屏幕上，沿项目实际使用的采集、拼图链路测试。这次终端里的字很小，原图中只有约 10 像素高。
在三张真实采集的原图上，Vision OCR fast 配合当时的正则，三张都命中，测试记录的单次耗时为 39～58 毫秒。Vision OCR accurate 在这轮小字号、深色终端样本上输出了 0 行文字；qwen3-vl-4b 耗时约 1.6 秒，把含有测试密钥的图判成了无敏感内容。
拼图的结果也需要单独看。文字缩到约 6 像素后，fast OCR 只识别到了标签行，测试密钥在拼图上的识别仍有遗漏。
测试使用假密钥，结果对应图中列出的样本。
这轮原图上的命中结果，对应的是当时那组样本。后来我又发现正则规则还有漏洞，现在正在补规则。
【待确认：本地检测在正式链路中的接入位置、命中后的处理方式，以及交给外部模型的内容范围。】
【待补：正则漏洞修补后的复测结果。】
问：有了这些记录，你最希望 AI 主动帮你做什么？
一个场景是，把我搁置的任务重新提醒回来。
比如早上在开发一个项目，中午去吃饭。回来后又开始开发另一个项目，好几个小时都继续做别的事情。原来那个会话聊到一半，那个任务也开发到一半，就一直放在那里。
我希望 Agent 能记得早上推进到了哪一步，过一段时间问我一下，那个项目是不是忘了接着做。
另一个场景是方案建议。
它从截图里看到了我正在为某个项目采用一种方案，结合这些上下文，如果它认为有更好的方案，就主动提出来，问我愿不愿意尝试。
这些都是我接下来希望跑起来的能力。
问：你愿意接受怎样的提醒？
这个要等链路跑起来、真正用过之后才好调。
我预先的设想是加入一个勿扰模式，开启后安静运行。
正常模式下，比如我从看网站、看推特，切到了刷视频，可以在娱乐差不多半小时以后再提醒。提醒时机可以留一点余量，让我先按自己的节奏活动。
具体什么时候会介意、什么时候会觉得有帮助，要靠实际试用来判断。
我现在很希望先有的，是对长时间搁置任务的提醒：某个任务做了一半、会话聊了一半，几个小时之后，它还能记得这件事，提醒我回来看看。
【状态说明：主动提醒、方案建议、勿扰模式和提醒时机均属于后续设想，实际体验与参数等待链路跑通后验证。】
GitHub：KtKID/x-Scening