豆包手机助手澄清技术误解:产品使用系统原生截屏接口,无法截屏银行键盘等受保护内容
最新 12 月 13 日消息,豆包手机助手今晚发布技术说明,称豆包手机助手使用系统原生截屏接口,无法截屏银行键盘等受保护内容。
最新从说明获悉,近期有网友发布视频称,“豆包手机助手通过 READ_FRAME_BUFFER 权限,从 GPU 渲染的图形缓冲区拿走图像数据,不需要走上层的截图 API。还用了 CAPTURE_SECURE_VIDEO_OUTPUT 权限,可以获取银行安全键盘等受保护的界面内容”。这是对豆包手机助手技术实现方式的错误解读。
豆包手机助手采用的是原生截屏接口(WindowManagerService.captureDisplay),严格遵循应用声明的 Secure 标记,无法截屏银行安全键盘等声明受保护的界面内容。任何持有豆包手机助手技术预览版的用户,都可以自己写一个带有受保护页面的 APK 进行测试,让 AI 讲解页面内容,可以验证 AI 是无法看到的。
豆包进一步说明,网友提到的 READ_FRAME_BUFFER 权限,是为了让 AI 可以在后台完成操作,豆包手机助手让三方应用运行在虚拟屏空间中。为了获取虚拟屏中运行的应用截图内容(对应方法 WindowManagerService.captureDisplay)提供给豆包大模型推理,所以需要 READ_FRAME_BUFFER 权限,但该方法以及权限无法读取到包括银行 App 在内的任何三方应用设置为 Secure 的内容。

CAPTURE_SECURE_VIDEO_OUTPUT 权限的使用,是因为受保护的页面在虚拟屏的投影(即点击灵动岛打开的粉色边缘的应用界面)中会显示为黑屏,用户无法查看和操作,所以需要此权限将受保护的内容正常展示给用户并能够被用户操作。但在投影后,受保护的页面仍会标记为 Secure,仅能被用户查看,无法被截屏。
豆包手机助手操作手机功能的实现原理是:用户下达指令 -> 截屏发送给云端豆包大模型 -> 模型理解后返回具体操作 -> 手机端执行操作指令,不断重复直到完成任务。因此每一步操作后都需要再截图上传给云端大模型分析,每步操作间隔约为 3 秒钟。
由于分析界面所需的大模型参数较大,受限于芯片性能暂时无法运行在手机端侧,需要截图上传云端处理。据了解,目前国内多家手机厂商具有 AI 操作能力的助手产品,也是同样的实现原理,也会使用 READ_FRAME_BUFFER 等系统权限。
豆包强调,豆包手机助手仅在有用户指令时才会开始截屏,且无法截屏三方应用 Secure 标记页面。上传至云端大模型的截屏仅用于视觉理解和推理,完成任务后不会存储在云端。
豆包手机助手表示高度重视用户隐私安全,欢迎社会各界提出宝贵意见。团队会以负责任的态度沟通产品技术问题,把安全和信任做好。
《豆包手机助手澄清技术误解:产品使用系统原生截屏接口,无法截屏银行键盘等受保护内容》转载自互联网,如有侵权,联系我们删除,QQ:369-8522。
相关图文
-
最新研究发现海豚会主动给虎鲸打工:只为吃口残羹剩饭
快科技12月13日消息,本月11日,《Scientific Reports》杂志发表的一项研究首次以影像记录证实海豚可以化身打工仔为虎鲸服务,帮助它们寻找大型奇努克大马哈鱼,而作为回报,则可以吃点鱼肉碎片... -
我国科学家重磅发现:地球深处可能存在一个“超级海洋”!
快科技12月13日消息,中国科学院广州地球化学研究所杜治学研究员团队近日在《科学》杂志发表突破性研究!科学家首次通过高温高压实验证实,地球下地幔 (660 公里以下) 深处可能存在规模惊人的... -
宇树首发人形机器人App Store!复杂动作直接下载:一键get李小龙、扭扭舞
快科技12月13日消息,宇树科技今天宣布了一项重磅功能——首发人形机器人App Store。这个应用商店内包含用户广场、动作库等内容,用户可以在其中自行下载各项动作和预设,一键get复... -
攀岩1年 长高2厘米 真有这么神奇吗
这两年,攀岩逐渐成为了一项新兴的火热运动,很多人沉迷在攀岩带来的刺激体验里,也有些人在攀岩一段时间后,惊喜地发现在本该结束发育的年纪竟然长高了!攀岩运动真这么神奇,可以让人长高... -
为啥公共厕所的门下都要空一截?原因竟是……
不知道你有没有注意过,所有地方的公共厕所似乎在两个方面都很相像:第一,厕所隔间的门板并不是全封闭的,而是和地面之间有一段空隙;第二,很多旅游景区的公共厕所前,女性总是在排长队,...













