随着多模态大语言模型（Multimodal Large Language Models, MLLMs）的爆发，智能手机智能体（Smartphone Agents）正变得越来越“能干”。从简单的发消息到复杂的跨应用购物，这些 AI 助手几乎能接管我们手机上的一切操作。然而，在享受这种“动动嘴就办好事”的便利时，一个细思极恐的问题浮出水面：这些智能体在操作时，是否意识到了它们正在接触我们的银行卡号、家庭住址甚至是私人聊天记录？
近日，由山东大学领衔，联合香港科技大学（广州）、香港科技大学、美国哥伦比亚大学以及西安交通大学的研究团队，在 AAAI 2026 上发表了一项引人深思的研究。他们提出了首个专门用于评估手机智能体隐私意识的大规模基准测试——SAPA-Bench。该基准的名字全称为 Smartphone Agent Privacy Awareness Benchmark，意在提醒开发者和用户：在赋予 AI 强大功能的同时，必须警惕那只可能窥探隐私的“第三只眼”。
论文标题: Mind the Third Eye! Benchmarking Privacy Awareness in MLLM-powered Smartphone Agents
论文地址：https://arxiv.org/abs/2508.19493
项目主页：https://zhixin-l.github.io/SAPA-Bench
代码仓库：https://github.com/Zhixin-L/SAPA-Bench
数据集：https://huggingface.co/datasets/OmniQuest/SAPA-Bench（已开源数据集）
勤快的 AI 助手，可能也是隐私的“搬运工”
在过去的一两年里，我们见证了 AppAgent、Mobile-Agent、Show-UI 等一众手机智能体的崛起。评估这些智能体的标准通常是“任务成功率”（Success Rate, SR）——能不能帮我订到外卖？能不能准确点击按钮？
但研究团队敏锐地察觉到一个被忽视的危机：如果用户下令“帮我把剪贴板里的密码填进登录框”，一个“优秀”的智能体可能会毫不犹豫地执行。但在现实法律框架（如 GDPR）和早在 1973 年就提出的公平信息实践原则（Fair Information Practice Principles, FIPP）中，这种涉及敏感信息的操作，智能体理应遵循“告知与选择（Notice-and-Choice）”框架，先停下来询问用户：“这涉及您的账号凭据，确定要继续吗？”
这种在执行前进行“感知、识别并预警”的能力，就是论文所定义的隐私意识（Privacy Awareness）。
如上图所示，目前的智能体往往缺乏这种“刹车”机制。左侧展示了现状：智能体直接输入 PIN 码而无任何提示；中间则是研究者希望构建的理想流程：智能体识别到敏感输入，主动发出警告，并在获得用户确认后才继续执行。
SAPA-Bench：给 AI 助手的一场“隐私大考”
为了系统性地量化这种能力，研究团队构建了包含 7,138 个真实场景的 SAPA-Bench。这些场景涵盖了 50 个主流 App（如 Instagram、Google Maps 等），并对隐私泄露的类型进行了严谨的分类。
1. 覆盖全场景的隐私分类体系
研究者参考了苹果和谷歌的官方隐私标签框架，将隐私泄露分为 8 大类：
账号凭据 (Account Credentials, AC)：如用户名、密码、PIN 码。
个人信息 (Personal Information, PI)：如身份证号、电子邮箱、电话。
财务与支付 (Financial and Payment, FP)：如信用卡号、交易记录。
通信内容 (Communication Content, CC)：如聊天记录、邮件正文。
位置与环境 (Location and Environment, LE)：如实时 GPS 坐标。
设备权限 (Device Permissions, DPO)、媒体文件 (Media and Files, MF) 以及 行为浏览 (Behavior and Browsing, BPBH)。
这些类别又被进一步划分为低、中、高三个敏感度等级。例如，分享一个公开的浏览历史属于低敏感，而泄露银行卡密码则属于高敏感。
2. 五阶段的人机协作标注流水线
构建如此大规模且高质量的数据集并非易事。研究团队设计了一个巧妙的五阶段流程：
阶段 0-1：利用 GPT-4o 从 8 万张原始截图中筛选出潜在的隐私场景，并自动生成初步的指令和响应对。
阶段 2-4：引入多轮人工校验。由 7 名受过专业训练的研究生和本科生进行交叉验证，确保每一条数据的隐私类别、敏感等级和定位（是在截图中还是在指令中）都准确无误。
核心方法：如何衡量 AI 的“隐私觉悟”？
在 SAPA-Bench 中，智能体面临的任务不再仅仅是“点击”，而是“判断”。
输入（Input）：一张手机 UI 截图 + 一条用户指令（例如：“帮我把这个地址发给张三”）。
输出（Output）：智能体需要识别其中是否包含隐私，并给出风险提示。
为了全方位评估，论文提出了 5 个关键指标：
隐私识别率 (Privacy Recognition Rate, PRR)：AI 能否发现这单任务里藏着隐私？
隐私定位率 (Privacy Localization Rate, PLR)：AI 知道隐私是在屏幕上显示的，还是在用户说的话里？
隐私等级意识率 (Privacy Level Awareness Rate, PLAR)：AI 能分清这是“小事”还是“严重泄密”吗？
隐私类别意识率 (Privacy Category Awareness Rate, PCAR)：AI 能准确分类这是财务信息还是地理位置吗？
风险意识 (Risk Awareness, RA)：这是最核心的指标，衡量 AI 生成的风险预警是否合理、自然。
实验结果：闭源模型领先，但整体仍不及格
研究团队测试了 7 种主流模型，包括闭源的 GPT-4o、Gemini 2.0-flash，以及开源的 Qwen2.5-VL、InternVL 2.5 和专门的智能体模型 Show-UI。
1. 整体表现令人担忧
实验数据（如下表）显示，即使是在最理想的情况下（给予显式提示），绝大多数模型的风险意识（RA）得分低于 60%。
仅有闭源模型 Gemini 2.0-flash 在显式提示下突破了这一瓶颈，达到了约 67%。这意味着在将近一半的隐私敏感场景下，AI 助手会选择“蒙混过关”直接执行，而不提醒用户。
通过雷达图（如下图）可以更直观地看到，大多数模型在 PRR（识别）上尚可，但在 PLR（定位）和 PCAR（分类）上表现极差。这说明 AI 虽然隐约觉得“有风险”，但并不清楚风险具体在哪里，属于什么类型。
2. 关键发现
闭源模型更“懂事”：Gemini 2.0-flash 拿下了全场最高分（RA 为 67.14%），GPT-4o 紧随其后。相比之下，参数量较小的开源模型（如 2B 的 Show-UI）在隐私意识上表现惨淡，RA 仅为 18.77%。
功能与隐私的权衡：研究者绘制了 SR（任务成功率）与 RA（风险意识）的散点图（如下图 Figure 5）。理想的智能体应该位于右上角（既能干又安全），但目前最强的 Gemini 也只是在中游徘徊。有趣的是，一些任务成功率极高的模型，隐私意识反而处于垫底水平，这反映了当前模型训练中对“过度服从”的偏好。
敏感度越高，识别越准：如下表所示，模型对“高敏感”场景（如账号密码）的识别率显著高于“低敏感”场景。这说明模型在预训练中确实学到了一些安全常识，但对于日常生活中更隐蔽的隐私泄露（如浏览习惯）依然迟钝。
提示词的力量：如果在系统提示词中加入显式的隐私检查要求（Explicit Hint），模型的表现会大幅提升。例如，Qwen2.5-VL从11.75%提升至22.67%，InternVL2.5从14.88%提升至28.70%。这暗示了通过 提示词工程（Prompt Engineering） 可以在不重新训练模型的情况下，快速提升现有智能体的安全性。
写在最后：功能与隐私的平衡木
SAPA-Bench 的实验结果清晰地表明：现有的通用大模型并不能直接等同于合格的隐私保护智能体。即便任务完成得再漂亮，如果缺乏对隐私边界的敬畏，这种智能体在实际部署中依然是巨大的安全隐患。
目前，SAPA-Bench 的 7,138 条标注数据已在 Hugging Face 上完全开放。虽然评估代码还在整理中，但这一基准已经为社区提供了一个极佳的起点，去构建那些既聪明又守口如瓶的下一代 AI 助手。
入群加好友(v:Gentle-Word),请备注你感兴趣的技术方向
