苹果联合哥伦比亚大学开发AI系统SceneScout,为盲
苹果与哥伦比亚大学的研究团队开发出了一项名为 SceneScout 的 AI 原型系统,旨在为盲人及低视力群体提供街景导航辅助。
该系统结合苹果地图API 与多模态大语言模型,生成定制化环境描述。相关论文已经发表在预印平台 arXiv 上。
核心功能:路线预览:预判行程中的道路状况:人行道质量、交叉口、公交站特征等虚拟探索:开放场景响应:根据用户需求提供方向指引
该系统可通过模拟行人的视角,解读可见内容,并输出结构化文本,适配读屏软件。
据介绍,SceneScout 在测试阶段招募了 10 名视障用户,结果显示:
72% 的 AI 生成描述准确虚拟探索模式获高度评价