查看引用/信息源请点击:映维网

AR/VR设备搭载眼动追踪仪正在成为趋势

(映维网 2021年11月24日)AR/VR设备搭载眼动追踪仪正在成为趋势,而眼动追踪信息存在一系列的用例。例如,可以根据眼动信息来触发各种事件,比方说触发与维修冰箱相关的全息步骤说明。又例如,可以根据眼动信息来判断用户的状态,例如用户在执行任务时是否有集中注意力。

这两年折叠屏***似乎成了大厂们争夺的新领域,继去年三星发布了 Galaxy Z Fold 之后,今年华为、小米、真我GT等主流品牌都陆续推出自家的折叠屏***。而在近日,一直表现得不急不躁的苹果好像也凑上了这个热闹,准备杀入折叠屏阵营。

在名为“Method and system to control a workflow and method and system for providing a set of task-specific control parameters”的专利申请中,苹果就介绍了这样一种利用眼动追踪信息的方法。具体来说,这项发明涉及一种用于控制工作流程的系统和方法。

其实,关于苹果要出折叠屏***的消息已经断断续续传了好几年。早在2016年,就有资料显示苹果申请了一项关于采用柔性 OLED屏幕开发折叠***的专利。而后曝光的一系列动作,也表明苹果正在积极投入大量资金研发折叠屏***。

苹果专利基于AR/VR眼动追踪提出用于控制工作流程的系统和方法

在一个实施例中,工作流程包括要由人执行的至少一个任务,并提供关于至少一个特定对象的信息。

有钱人的快乐,苹果重磅专利泄露,可折叠iPhone会是什么样的?

↑ 苹果已获得的柔性显示屏专利显示效果

在一个实施例中,可以捕获这名用户的至少一只眼睛的眼动数据,并根据眼动数据触发事件。例如,如果用户注视预定义对象,则会触发特定操作。

在上个月,有外媒曝光了一款 iPhone 14 折叠概念机,吸引了不少吃瓜观众的目光,加上由于此前《经济日报》预测苹果将于2022年发布可折叠 iPhone,不少网友便开始猜测明年的 iPhone 14 将会推出折叠款。

不过依教授来看,现阶段苹果还未彻底攻克折叠屏的关键技术和量产问题,折叠屏的设计应该不会出现在明年的 iPhone 14 上。而且结合“地表最强苹果分析师”郭明錤的预测来看,大概率要等到 2023年或 2024年。

在一个实施例中,依赖于眼动数据和关于至少一个特定对象的信息,可以检查是否满足包括是否已执行任务和/或是否允许执行任务的至少一个任务条件。可以使用这名人员的眼动数据,尤其是关于至少一个特定对象的眼动数据来检查和监控工作流程的单个任务是否已经执行,尤其是正确执行。所以,苹果指出这种控制机制可以提高工作流程结果的质量,甚至降低危险情况的风险。

不管怎样,综合网上流传的折叠屏iPhone渲染图及其他爆料来看,折叠屏iPhone可能会有两种展示形态。

一种是上下翻折的竖屏形态,也就是在机身中部折叠。

例如,如果这名人员已经看到并确认显示的关键信息,则所述任务只能由这名人员执行。其中,关键信息可以从对捕获的眼动数据的分析中得出确认。根据另一个例子,如果这名人员是直升机飞行员,而他执行的任务包括在特定时间间隔内定期扫描所有仪器。这时,可以根据捕获的眼动数据确定他是否已经完成特定任务。

有钱人的快乐,苹果重磅专利泄露,可折叠iPhone会是什么样的?

值得注意的是,机身背面在保留原有“浴霸”相机模组的同时,可能会加入一个同等面积大小的副屏。类似于小米、魅族的副屏功能,这样的设计主要是为了减少iPhone的打开操作,从而延长使用寿命。

在另一个实施例中,根据捕获的眼动数据确定人员的状态,特别是情绪状态和/或注意力状态和/或精神状态和/或适合工作状态。其中,依赖于所确定的状态执行所述检查是否满足所述至少一个任务条件。基于与眼睛或眼睛部分(如瞳孔或眼睑)的运动相关的运动模式,可以确定用户的当前状态,并确定用户在执行任务时是否注意力集中。有利的是,这项技术可以用于检查这名人员是否正确执行任务,例如积极且集中地注视与任务相关的对象,或者人员不疲劳、不紧张、不害怕或不分心。

不过也有网友吐槽,本来折叠屏放副屏是很正常的事,但是和这个浴霸放在一起,怎么看都觉得很尬……

根据发明的另一个有利实施例,可以从眼动数据导出位置信息,并将其与关于至少一个特定对象的位置信息进行比较。在这种比较的基础上,可以导出关于执行任务的人员的众多信息,例如,这名人员是否查看了执行任务的相关对象;这名人员看到了执行任务的相关信息,是否允许这名任务执行任务;这名人员是否按预定义顺序或在特定时间间隔内检查了相关对象等等。所以,可以从中获得大量的信息,例如这名人员是否正确执行任务,或者是否允许这名人员执行任务。

有钱人的快乐,苹果重磅专利泄露,可折叠iPhone会是什么样的?

另外一种就是左右翻折的横屏形态,类似三星的Galaxy Z Fold,做到180°的对称折叠。

从曝光的概念图来看,折叠前后的屏幕完全没有痕迹,而折叠起来后的机身厚度看起来也不会太厚;屏幕一角似乎保留了用于面部识别解锁的Face ID组件,而机身边角则回归到了 iPhone X 时代的圆润倒角设计。

这无疑是更值得广大果粉期待的一种设计。打开之前是iPhone,打开之后就成了一个iPad mini,一份价钱,享受到两份产品!

有钱人的快乐,苹果重磅专利泄露,可折叠iPhone会是什么样的?

让 iPhone和 iPad 两种设备合二为一,这样的构想看似天马行空,其实也很符合苹果产品的发展规律。

这几年,苹果一直致力于推动 MacBook、iPad、iPhone等产品线的融合,在硬件、软件、操作体验等方面做了很多互融互通的工作。

在硬件基础方面,今年的新款 iPad Pro 和 MacBook、iMac等产品统一用上了基于ARM架构的M1芯片。可以说,iPad 和 Mac的硬件基础已经趋于一致。

苹果专利基于AR/VR眼动追踪提出用于控制工作流程的系统和方法

图1是实施例的系统10a。根据所述方法,系统控制将由用户执行的至少一个任务的工作流程。系统10a可以包括一个或多个头戴式设备12,每个头戴式设备12包括场景摄像头12a和眼动摄像头12b。另外,系统10a包括处理单元14,处理单元14可配备有用于计算控制参数CP的神经网络14a,而控制参数CP可存储在系统10a的存储设备16中。

为了提供一组特定于任务的控制参数CP,一个或多个测试人员P1、P2可以在执行工作流的特定任务期间佩戴头戴式设备12。当测试人员正在执行任务时,各个场景摄像头拍摄多个场景图像。基于捕获的场景图像,可以提供关于测试人员P1、P2的环境中的对象的信息。然后,可以将捕获的场景图像以场景数据S1、S2的形式提供给处理单元。同时,当测试人员P1、P2正在执行任务时,眼动摄像头12b捕获测试人员P1、P2的各自眼动数据,尤其是以眼睛图像的形式。眼动追踪器可以基于眼睛图像计算测试人员P1、P2的各自注视方向。通常,注视方向或眼动数据E1、E2可以提供给处理单元14。捕获的眼动数据E1、E2可以相对于相应的场景数据S1、S2进行设置,以导出例如关于测试人员P1、P2在特定时间在关注环境的哪个位置。

有钱人的快乐,苹果重磅专利泄露,可折叠iPhone会是什么样的?

在软件方面,苹果推出了 SwiftUI 和 Mac Catalyst 套件,通过这些套件可以使一个应用同时兼容 iPad 和 Mac;iPhone、iPad等不同设备可以通过 iCloud 共享数据,通过 AirDrop 传输文件……

这种方法的目的可以是:环境中的哪个对象是执行特定任务的相关对象;是否存在特定任务的单个步骤的相关时间顺序;或者是否必须在特定时间间隔内执行任务的单个步骤;是否必须重复某些步骤,尤其是比其他步骤更频繁等等。所述信息都可以有利地从场景数据S1、S2和眼动数据E1、E2导出。

为了验证结果,可以相互比较结果。例如,如果根据P1的场景和眼动数据E1将对象识别为相关对象,并且根据所有其他测试人P2的场景和眼动数据E2,可以将相同的对象识别为相关对象,然后将所述对象分类为具有高可靠性的相关对象。

在操作体验方面,iPad支持鼠标操作,用户可以在 iPad 和 Mac之间相互拖动鼠标,进行文件复制粘贴等操作;Mac可以作为iPad的屏幕,iPad上的内容可以通过AirPlay呈现在Mac的屏幕上……

有钱人的快乐,苹果重磅专利泄露,可折叠iPhone会是什么样的?

与此同时,我们不难发现近两年苹果周边产品也出现融合趋势,今年的 iPhone 13 系列的最高充电功率达到 27W,在快充方面与 iPad 进一步趋近,一些厂商顺势也推出了同时兼容 iPhone 13 和 iPad 的快充充电器。

以近期热门的绿联30W氮化镓充电器为例,在氮化镓技术加持下,体积压缩到比苹果原装 20W 充电器还要小一些,兼容 iPad、iPhone、AirPods等多种设备,为 iPhone 13 Pro充电可激活 27W全速快充,半小时充满 60%;为 iPad Pro充电,峰值功率可达 33W,半小时充满 35%。这样一个充电器,打通了 iPhone 和 iPad 的隔阂,称得上是达到“合二为一”的效果了。

在确定控制参数CP时,可以使用其他信息,例如关于各个测试人员P1、P2的技能水平SL的信息,以及任务结果或结果的质量水平RQ。各测试人员P1、P2和/或结果质量RQ的技能水平SL可手动评定,并输入系统10a,或由系统10a自身评定。例如,通过这种方式,可以根据各自的技能水平SL对各自测试人员P1、P2的输入数据进行加权。

另外,可以根据结果质量RQ应用各自的权重。然后,可以导出关于特定任务的进一步信息,如观察对象的持续时间与更好的结果之间是否存在相关性,或者更频繁地观察某个对象与更好的结果之间是否存在相关性。类似地,可以确定在时间限制内执行任务的某些步骤是否相关,或者时间限制或时间间隔是否重要。

通过分析所述数据,即场景数据S1、S2、眼睛数据E1、E2和可选的各自技能水平SL和结果质量RQ,可以导出特定任务的控制参数CP,并将其存储在存储设备16中。

有钱人的快乐,苹果重磅专利泄露,可折叠iPhone会是什么样的?

由此可见,苹果是否会推出左右翻折的折叠屏 iPhone?答案是:大概率会。

然后,这些特定于任务的控制参数CP可以有利地用于控制包含特定任务的工作流程,并随后由任何其他用户执行。另外,处理单元14可以使用除神经网络14a之外的其他方法。

苹果专利基于AR/VR眼动追踪提出用于控制工作流程的系统和方法

图2是示例性方法的一个流程图。相关对象可以按时间顺序分配给任务的单个步骤。例如,工人必须按照预定义的顺序拧紧工件的一定数量螺钉。另一个例子是,一个人必须用咖啡机煮咖啡,并且必须在按下按钮启动咖啡机之前将水注入水箱。

在S12中,可以在任何类型的显示设备向这名人员显示信息,并通知他/她必须执行单个步骤的及时顺序。之后,在S14中,可检查这名人员是否已阅读信息。这可以例如通过将注视点与对象位置进行比较来实现。

如果没有阅读信息,则可以在S16中显示警告信息。另外,若没有阅读信息,有关注意步骤顺序的信息可以持续显示,并不允许这名人员执行后续的操作。

不过也要给大家“泼一下冷水”,按照苹果的定价规则,这种颠覆体验的产品应该能轻轻松松地突破历史价格。所以果粉们还要做好心理准备,当一个 iPhone 和 iPad 的组合体出现在我们面前的时候,是否值得去掏万把银子呢?

你会考虑折叠屏***吗?聊聊你的想法吧~苹果专利基于AR/VR眼动追踪提出用于控制工作流程的系统和方法

然而,如果在S26中确定这名人员已按预定顺序查看了所有相关对象,则在S29中认为任务已完成。如果工作流程包含多个任务,则可以对工作流程的每个任务再次执行所述过程。此外,如果认为上一个任务已完成,则可能只允许工作流程的下一个任务。因此,在这种情况下,要么在S30中允许执行下一个任务,要么输出任务或工作流的结果。

名为“Method and system to control a workflow and method and system for providing a set of task-specific control parameters”的苹果专利申请最初在2021年7月提交,并在日前由美国专利商标局公布。

延伸阅读:Apple Patent | Method and system to control a workflow and method and system for providing a set of task-specific control parameters

苹果专利基于AR/VR眼动追踪提出用于控制工作流程的系统和方法

---
原文链接:https://news.nweon.com/91851

苹果专利基于AR/VR眼动追踪提出用于控制工作流程的系统和方法