Google在Gemini Live推出Guided Vision辅助视觉功能

产品AI 评分 65/100The Verge
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

Google面向视弱或失明群体推出Guided Vision,即日起在兼容Android设备的Gemini Live中可用。开启摄像头共享后,AI可实时语音播报镜头前的小字、环境与物体细节,并支持多轮追问。该功能亦集成至Google TalkBack,运行Android 9及以上版本的设备可在设置中添加无障碍快捷方式。Google提示勿将其用于导航、避障或替代传统助行工具。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

实时音频描述怎么用

这项功能被放在 Gemini Live 里,用户把手机摄像头画面共享出去,Gemini 就会对镜头对准的东西做实时语音描述。可用的场景包括念出字号很小的文字、讲清周围环境、帮忙找东西或认出物体,以及说明某个物体上的具体细节。用户还能接着追问,比如让 Gemini 读出它刚帮忙找到的那件物品上的保质期。如果问的东西不在画面里,Gemini 会用语音提示怎么调整镜头把它框进来。功能面向盲人、低视力人群,也面向在特定场合需要辅助的人。

上线渠道与系统门槛

Guided Vision 当天开始在 Gemini Live 中面向兼容的 Android 设备推出。除了 Gemini 应用,它也能在 Google TalkBack 里使用;运行 Android 9 及以上版本的设备,还可以在设置应用里为它配一个无障碍快捷方式。这一安排是在近期一批 Pixel 更新中公布之后落地的。也就是说,入口不止一个:既可以从 Gemini 应用直接进入,也可以走 TalkBack,或者用系统层面的快捷方式唤起,方便不同使用习惯的人按自己的方式调用。

与苹果方案的对照

苹果此前在 iPhone 和 Vision Pro 上加入了 VoiceOver 的 Live Recognition 功能,Guided Vision 与它属于同一类思路,都是借助 AI 为看不见或看不清的人提供环境与物体的语音说明。两者的定位也一致:不是通用助手,而是针对无障碍需求或特定情境下的辅助。区别在于落地方式,Guided Vision 依托 Gemini Live 的摄像头共享,并同时接入 TalkBack 与 Android 系统快捷方式,覆盖的是 Android 生态内的设备。

边界与使用提醒

Google 明确提醒,不要把 Guided Vision 用在导航、安全出行指引或障碍物检测上,也不能拿它替代手杖或其他行动辅助工具。换句话说,它能帮忙读小字、认东西、描述眼前画面,但不承担判断前方是否安全、该往哪走的职责。对读者而言,这意味着它是一项补充性的辅助手段:适合在需要看清细节或确认物品时使用,涉及移动安全时仍要依靠专门的助行工具和自身判断。

为什么值得看

大模型实时多模态能力落地无障碍场景,为视弱人群提供交互式视觉辅助,是AI应用的重要方向。

GoogleGemini语音

信源1 家

  1. [1]The VergeGoogle’s new Guided Vision feature can help you read the fine print

关键事实

  • Guided Vision即日起在兼容Android设备的Gemini Live中上线[1]

  • 该功能通过摄像头共享提供实时音频描述,支持多轮追问[1]

  • 功能也接入Google TalkBack,Android 9及以上设备可设无障碍快捷方式[1]

  • Google提示该功能不能用于导航、避障或替代传统助行工具[1]

相关 · 产品

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。