CN104641635A - 用于提供对显示信息的聚焦校正的方法和装置 - Google Patents
用于提供对显示信息的聚焦校正的方法和装置 Download PDFInfo
- Publication number
- CN104641635A CN104641635A CN201380033332.3A CN201380033332A CN104641635A CN 104641635 A CN104641635 A CN 104641635A CN 201380033332 A CN201380033332 A CN 201380033332A CN 104641635 A CN104641635 A CN 104641635A
- Authority
- CN
- China
- Prior art keywords
- display
- focal length
- depth
- dynamic focusing
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/12—Fluid-filled or evacuated lenses
- G02B3/14—Fluid-filled or evacuated lenses of variable focal length
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
Abstract
提供一种便于执行对所显示信息的聚焦校正的方法、装置和计算机程序产品。在方法的情境中,确定用户的焦距。所述方法还可确定基于所述焦距而确定显示器的一个或多个动态聚焦光学部件的至少一个焦点设定。所述方法还可基于所述至少一个焦点设定而引起所述一个或多个动态聚焦光学部件的配置以在所述显示器上呈现数据的表现。
Description
技术领域
本发明的实施例一般涉及电子显示器,尤其涉及用于基于用户的焦距而提供对所显示的信息的聚焦校正的方法、装置和计算机程序产品。
背景技术
设备制造者正在不断地受到挑战:向消费者提供有吸引力的服务和应用。一个开发领域一直在通过增强现实和电子显示器(例如近眼显示器、头戴显示器等)提供更沉浸的体验。例如在增强现实中,虚拟图形(即信息的可视表示)被叠加在物理世界上并在显示器上向用户呈现。这些增强现实用户界面然后在从前述头戴显示器(例如眼镜)到手持显示器(例如移动电话或者设备)的多种显示器上向用户呈现。在一些情况下,信息的表示在物理世界上的叠加可能产生潜在视觉错误提示(例如聚焦失配)。这些视觉错误提示可能通过例如引起眼睛疲劳而产生不良用户体验。因而,设备制造者面临重大技术挑战:减少或者消除视觉错误提示或者它们对用户的影响。
发明内容
因此提供了用于执行所显示的信息的聚焦校正的方法、装置和计算机程序产品。在一个实施方式中,所述方法、装置和计算机程序产品确定显示器的能够提供动态聚焦的光学部件(例如,透镜)的至少一个焦点设定。在一个实施方式中,基于所确定的用户的焦距(例如,与在所述显示器上提供的视野中用户正在看的位置或用户的注意力所关注的位置相关联的距离)确定所述至少一个焦点设定。以这种方式,当其动态聚焦光学部件根据所述至少一个焦点设定配置时,显示器上呈现的数据的视觉表示可与所述用户的所述焦距匹配。由此,本发明的各个示例实施方式可减少潜在的视觉失误和用户眼疲劳,由此改善与各个显示器相关联的用户体验。
根据一个实施方式,方法包括确定用户的焦距。所述方法还包括基于所述焦距确定显示器的一个或多个动态聚焦光学部件的至少一个焦点设定。所述方法还包括基于所述至少一个焦点设定引起所述一个或多个动态聚焦光学部件的配置以在所述显示器上呈现数据的表示。在所述方法的一个实施方式中,可基于视线跟踪信息确定所述焦距。
所述方法还可确定用于在所述显示器上呈现所述表示的深度和用于通过所述显示器观看信息的另一深度。所述方法还可基于所述深度和所述另一深度确定聚焦失配。所述方法还确定所述至少一个焦点设定以引起对所述聚焦失配的校正。在此实施方式中,所述显示器包括第一动态聚焦光学部件和第二动态聚焦光学部件。所述方法还可确定由在所述第一动态聚焦光学部件上配置的所述至少一个焦点设定的第一个造成的所述表示的感知深度、信息、或它们的组合的偏差。所述方法还可基于所述偏差确定所述至少一个焦点设定的第二个。所述方法还可基于所述至少一个焦点设定的所述第二个引起所述第二动态聚焦光学部件的配置以引起对所述聚焦失配的所述校正。
所述方法还可基于所述焦距确定用于所述一个或多个动态聚焦光学部件的至少一个转向设定。在此实施方式中,所述至少一个转向设定包括用于所述一个或多个动态聚焦光学部件的倾斜设定。所述方法还可基于深度感测信息确定通过所述显示器观看的信息的深度、几何形状、或它们的组合。所述方法还可基于所述深度、所述几何形状、或它们的组合确定所述焦距、感兴趣的主体、或它们的组合。
在一个实施方式中,所述显示器是穿视显示器,所述一个或多个动态聚焦光学部件的第一个被定位在观看位置与所述穿视显示器之间,所述一个或多个动态聚焦光学部件的第二个被定位在所述穿视显示器与通过所述穿视显示器观看的信息之间。
根据另一实施方式,一种装置包括:至少一个处理器;以及至少一个存储器,包括用于一个或多个程序的计算机程序代码,所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使所述装置至少确定用户的焦距。所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使所述装置基于所述焦距确定显示器的一个或多个动态聚焦光学部件的至少一个焦点设定。所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使所述装置确定所述焦距的变化并且基于所述至少一个焦点设定引起所述一个或多个动态聚焦光学部件的配置以在所述显示器上呈现数据的表示。在一个实施方式中,所述至少一个存储器和所述计算机程序代码还可被配置为使用所述至少一个处理器使所述装置基于视线跟踪信息确定所述焦距。
所述至少一个存储器和所述计算机程序代码还可被配置为使用所述至少一个处理器使所述装置确定用于在所述显示器上呈现所述表示的深度。所述至少一个存储器和所述计算机程序代码还可被配置为使用所述至少一个处理器使所述装置确定用于通过所述显示器观看信息的另一深度。所述至少一个存储器和所述计算机程序代码还可被配置为使用所述至少一个处理器使所述装置基于所述深度和所述另一深度确定聚焦失配。所述至少一个存储器和所述计算机程序代码还可被配置为使用所述至少一个处理器使所述装置确定所述至少一个焦点设定以引起所述聚焦失配的校正。
在此实施方式中,所述显示器包括第一动态聚焦光学部件和第二动态聚焦光学部件。所述至少一个存储器和所述计算机程序代码还可被配置为使用所述至少一个处理器使所述装置确定由在所述第一动态聚焦光学部件上配置的所述至少一个焦点设定的第一个造成的所述表示的感知深度、信息、或它们的组合的偏差。所述至少一个存储器和所述计算机程序代码还可被配置为使用所述至少一个处理器使所述装置基于所述偏差确定所述至少一个焦点设定的第二个。所述至少一个存储器和所述计算机程序代码还可被配置为使用所述至少一个处理器使所述装置基于所述至少一个焦点设定的所述第二个引起所述第二动态聚焦光学部件的配置以引起对所述聚焦失配的所述校正。
所述至少一个存储器和所述计算机程序代码还可被配置为使用所述至少一个处理器使所述装置基于所述焦距确定用于所述一个或多个动态聚焦光学部件的至少一个转向设定。在此实施方式中,所述至少一个转向设定包括用于所述一个或多个动态聚焦光学部件的倾斜设定。所述至少一个存储器和所述计算机程序代码还可被配置为使用所述至少一个处理器使所述装置基于深度感测信息确定被配置为使用所述显示器观看的信息的深度、几何形状、或它们的组合。所述至少一个存储器和所述计算机程序代码还可被配置为使用所述至少一个处理器使所述装置基于所述深度、所述几何形状、或它们的组合确定所述焦距、感兴趣的主体、或它们的组合。所述至少一个存储器和所述计算机程序代码还可被配置为使用所述至少一个处理器使所述装置基于所述焦距、所述至少一个焦点设定、或它们的组合确定所述表示。
在一个实施方式中,所述显示器是穿视显示器,所述一个或多个动态聚焦光学部件的第一个被定位在观看位置与所述穿视显示器之间,所述一个或多个动态聚焦光学部件的第二个被定位在所述穿视显示器与通过所述穿视显示器观看的信息之间。
根据另一实施方式,一种计算机程序产品包括内部存储有计算机可读程序指令的至少一个非瞬态计算机可读存储介质,所述计算机可读程序指令包括被配置为确定用户的焦距的程序指令。所述计算机可读程序指令还包括被配置为基于所述焦距确定显示器的一个或多个动态聚焦光学部件的至少一个焦点设定的程序指令。所述计算机可读程序指令还包括被配置为基于所述至少一个焦点设定引起所述一个或多个动态聚焦光学部件的配置以在所述显示器上呈现数据的表示的程序指令。在一个实施方式中,所述计算机可读程序指令还可包括被配置为基于视线跟踪信息确定所述焦距的程序指令。
所述计算机可读程序指令还可包括被配置为确定用于在所述显示器上呈现所述表示的深度的程序指令。所述计算机可读程序指令还可包括被配置为确定用于通过所述显示器观看信息的另一深度的程序指令。所述计算机可读程序指令还可包括被配置为基于所述深度和所述另一深度确定聚焦失配的程序指令。所述计算机可读程序指令还可包括被配置为确定所述至少一个焦点设定以引起对所述聚焦失配的校正的程序指令。
在此实施方式中,所述显示器包括第一动态聚焦光学部件和第二动态聚焦光学部件。所述计算机可读程序指令还可包括被配置为确定由在所述第一动态聚焦光学部件上配置的所述至少一个焦点设定的第一个造成的所述表示的感知深度、信息、或它们的组合的偏差的程序指令。所述计算机可读程序指令还可包括被配置为基于所述偏差确定所述至少一个焦点设定的第二个的程序指令。所述计算机可读程序指令还可包括被配置为基于所述至少一个焦点设定的所述第二个引起所述第二动态聚焦光学部件的配置以引起对所述聚焦失配的所述校正的程序指令。
根据又一实施方式,一种装置包括用于确定用户的焦距的装置。所述装置还包括用于基于所述焦距确定显示器的一个或多个动态聚焦光学部件的至少一个焦点设定的装置。所述装置还包括用于基于所述至少一个焦点设定引起所述一个或多个动态聚焦光学部件的配置以在所述显示器上呈现数据的表示的装置。在一个实施方式中,所述装置还可包括用于基于视线跟踪信息确定所述焦距的装置。所述装置还可包括用于确定用于在所述显示器上呈现所述表示的深度的装置。所述装置还可包括用于确定用于通过所述显示器观看信息的另一深度的装置。所述装置还可包括用于基于所述深度和所述另一深度确定聚焦失配的装置。所述装置还可包括用于确定所述至少一个焦点设定以引起对所述聚焦失配的校正的装置。
在此实施方式中,所述显示器包括第一动态聚焦光学部件和第二动态聚焦光学部件。所述装置还可包括用于确定由在所述第一动态聚焦光学部件上配置的所述至少一个焦点设定的第一个造成的所述表示的感知深度、信息、或它们的组合的偏差的装置。所述装置还可包括用于基于所述偏差确定所述至少一个焦点设定的第二个的装置。所述装置还可包括用于基于所述至少一个焦点设定的所述第二个引起所述第二动态聚焦光学部件的配置以引起对所述聚焦失配的所述校正的装置。
本发明的其它方面、特征和优点仍然通过简单地例示了包括最佳设想到的用于实现本发明的多个具体的实施方式和实现容易地通过下面的详细描述变得明显。本发明还能够具有其他不同的实施方式,它的一些细节可在各个明显方面被修改而不偏离本发明的精神和范围。由此,附图和描述在本质上被认为是说明性的而非限制性的。
附图说明
仅作为示例而非作为限制,在附图的各图中举例说明本发明的实施方式:
图1A是根据本发明的至少一个示例性实施方式的具有穿视(see-through)显示器的一对眼镜体现的显示器的透视图;
图1B是根据本发明的至少一个示例性实施方式的图示视觉错误提示的穿视显示器的透视图;
图1C是根据本发明的至少一个示例性实施方式的具有动态聚焦光学部件的显示器的透视图;
图1D是根据本发明的至少一个示例性实施方式的具有多焦平面部件的显示器的透视图;
图2是根据本发明的至少一个示例性实施方式的用于基于焦距而确定显示的信息的表示的装置的框图;
图3是根据本发明的至少一个示例性实施方式的用于基于焦距而确定显示的信息的表示的操作的框图;
图4是根据本发明的至少一个示例性实施方式的用于基于确定感兴趣的主体而确定显示的信息的表示的操作的框图;
图5是根据本发明的至少一个示例性实施方式的用户通过显示器的观看;
图6是根据本发明的至少一个示例性实施方式的用于基于为显示器的动态聚焦光学部件而确定焦点设定的操作的框图;
图7A-7D是根据本发明的至少一个示例性实施方式的使用动态聚焦光学部件来提供焦点校正的显示器的透视图;
图8是可以用来实施本发明的至少一个示例性实施方式的芯片组的图;以及
图9是可以用来实施本发明的至少一个示例性实施方式的移动终端(例如手机)的图。
具体实施方式
公开一种用于基于焦距确定显示的信息的表示的方法、装置和计算机程序产品的示例。在以下描述中,出于说明的目的,阐述许多具体细节以便提供对本发明的实施方式的透彻理解。然而对于本领域技术人员清楚的是无这些具体细节或者用等同布置可以实现本发明的实施方式。在其它实例中,以框图形式示出熟知的结构和设备以免不必要地模糊本发明的实施方式。
图1A为根据至少一个实例实施方式的由具有穿视显示器的一对眼镜体现的显示器的透视图。如先前讨论的那样,穿视显示器和其它电子显示器可以用来呈现虚拟信息和物理现实信息的混合。换而言之,穿视显示器使虚拟数据(例如数据的可视表示)能够呈现而让用户能够通过显示器观看信息、对象、场景等。例如增强现实应用可以在实况景物上提供图形叠加以给出信息的表示,以增强或者补充通过显示器可观看的景物。如图1中所示,显示器101具体实施为具有穿视显示器的一对头戴眼镜。在所示示例中,用户正在通过显示器101观看现实对象103(例如球体)。在至少一个示例性实施方式中,显示器101包括表示用于提供对象103的双目视图的相应子显示器105a和106b的两个透镜。通过每个子显示器105a和105b,对象103是可视的。在这一情况下,也可以在对象103上呈现附加信息(例如笑脸的表示107a和107b、也统称为表示107)作为叠加以提供增强现实显示器。
穿视显示器的实施方式例如包括图1A中描绘的眼镜。然而这里描述的方法、装置和计算机程序产品的各种实施方式也适用于穿视显示器的任何实施方式、例如包括头上显示器(HUD)单元、挡风镜、护目镜、挡风玻璃、窗户等。通常,穿视显示器如显示器101已经用固定焦点来实施用于给出叠加的信息的表示。这可能在设置显示器的固定聚焦,但是其它深度提示(例如转向、阴影等)使得用户在不同深度感测对象103以及表示107a和107b时,引起冲突或者视觉错误提示。例如在双目视觉中,在一段距离注视对象103将在眼睛中自动地引起转向和调适。转向例如是移动双眼以将注意的对象103移入视网膜的中央凹中。调适例如是如下过程,通过该过程,眼睛改变光学能力以聚焦产生清晰中央凹图像,这酷似对相机透镜进行调焦。
因而,冲突或者视觉错误提示是转向调适失配(例如聚焦失配),其中眼睛调适或者聚焦到与用于调试的预计深度不同的深度。这可能在眼睛中引起疲劳或者不适。在固定聚焦系统中,这一问题变复杂,因为眼睛一般将试图无论其它深度提示如何都调试在固定聚焦处。
图1B是根据本发明的至少一个示例性实施方式的图示视觉错误提示的穿视显示器的透视图。虽然图1B图示关于穿视显示器的视觉错误提示,但是相似视觉错误提示可能在例如包括嵌入显示器的其它类型的显示器中存在。此外,取决于穿视显示器运用的渲染系统,显示器无需具有以下描述的相同部件。例如取决于用于显示器的渲染器115,光导117可以存在或者可以不存在。如这一示例中所示,图1B从俯视图描绘显示器101的一个子显示器105a(例如显示器101的眼镜的一个透镜)。如从俯视图所示,对象距离109(例如从用户的眼睛113到物体103的感知距离)和可表示距离111(例如从用户的眼睛113到表示107a的感知距离)在子显示器105a正在固定聚焦模式中操作时未重合。例如在固定聚焦模式中操作时,子显示器105a可以通过光导117(例如透镜)投影(例如经由渲染器115)表示107a以在可表示距离111(例如通常为固定聚焦模式设置于无穷远)被用户感知。然而在这一示例中,可表示距离111(例如无穷远)与感知的对象距离109(例如有限距离)冲突。因而,由于表示107a旨在于被显示在对象103上,所以在用于表示107a的调适在无穷距离处与用于对象103的调适在有限距离处之间的差异,可能在用户的眼睛中产生视觉错误提示或者冲突。
为了至少解决这些挑战,这里描述的方法、装置和计算机程序产品的各种实施方式引入用于基于用户的焦距确定如何在显示器101中给出表示107的能力。在至少一个示例性实施方式中,给出表示107,从而它们对应于用户的焦距。举例而言,焦距表示从用户的眼睛113到用户正在聚焦或者调适于的点的距离。本发明的各种实施方式使得基于光学技术、非光学技术或者其组合能够确定将如何在显示器101中呈现表示。举例而言,确定所述表示,从而可以通过光学和非光学技术减少或者消除视觉错误提示或者冲突。
在至少一个示例性实施方式中,光学技术基于确定用户的焦距、基于焦距确定焦点设定、然后用所确定的焦点设定来配置一个或者多个动态聚焦光学元件。在至少一个示例性实施方式中,基于凝视跟踪信息确定焦距。举例而言,凝视跟踪器可以测量每个眼睛的视轴线的相交点以确定眼睛的会聚距离。在凝视跟踪器的至少一个示例性实施方式中,会聚距离然后用作每个眼睛的焦距或者焦点。可以设想包括非光学手段的其它手段被用确定眼睛的焦距。
附加地或者备选地,可以通过用户的用户界面交互(例如用输入设备选择在用户的显示视野中的具体点以指示焦距)确定焦距。本发明的至少一个示例性实施方式使用凝视跟踪以确定用户的聚焦并且在近眼显示器的每个透镜上显示信息的表示107,从而表示107恰当地对应于用户的焦距。例如如果用户正在聚焦于应当在4英尺的距离渲染的虚拟对象,则凝视跟踪可以用来检测到用户聚焦于这一距离,并且动态地改变显示器的光学装置的焦点设定以产生4英尺的聚焦。在至少一个示例性实施方式中,随着用户的焦距改变,也可以动态地改变显示器的动态聚焦光学部件的焦点设定以将光学装置聚焦到在用户的凝视或者注意下的对象的距离。
图1C描绘显示器119的至少一个示例性实施方式,该显示器运用动态聚焦光学部件以表示用于表示107的确定的焦距。更具体而言,显示器119包括两个动态聚焦光学部件121a和121b,这些动态聚焦部件的焦点设定可以被动态地改变以变更它们的聚焦。设想动态聚焦光学部件121a和121b可以使用下列技术,,比如流体学、电光学或者任何其它动态聚焦技术。例如基于流体学的动态聚焦部件可以包括聚焦元件,这些聚焦元件的焦点设定或者聚焦可以通过聚焦元件的流体注入或者紧缩来改变。基于电光学的动态聚焦部件运用材料,这些材料的光学性质(例如双折射)可以响应于电场的变化而改变。光学性质改变然后可以用来变更基于电光学的动态聚焦部件的焦点设定或者聚焦。这样的动态聚焦光学部件的一个优点是用于支持在距离范围内的连续聚焦的能力。另一示例包括透镜系统,该透镜系统基于它的透镜的压电移动而具有聚焦能力。提供本文描述的聚焦技术的示例作为示例,而不是要限制使用其它技术或者手段用于实现动态聚焦。
如图1C中所示,显示器119是穿视显示器,该穿视显示器具有在观看位置(例如用户的眼睛113)与光导123之间定位的一个动态聚焦光学部件121a,表示107通过该光导被呈现。第二动态聚焦光学部件121b可以被定位在光导123与正在通过光导123或者穿视显示器观看的信息之间。以这一方式,可以独立于焦点设定而控制用于校正表示107的聚焦的焦点设定,用于保证通过显示器119观看信息。在至少一个示例性实施方式中,通过显示器119观看的信息可以是其它表示107或者其它对象。以这一方式,多个显示器119可以被分层以提供对表示107和通过显示器观看的信息二者的聚焦控制的更复杂控制。
在至少一个示例性实施方式中,显示器可以是如下非穿视显示器,该非穿视显示器给出数据的表示107而未在透视图上叠加表示107至实体世界或者其它信息。在这一示例中,显示器将不透明并且运用在显示器前面的动态聚焦光学元件以更改用于在显示器上观看表示107的焦点设定或者焦点。提供对动态聚焦光学元件、光导、显示器等的配置的描述作为示例,而不是要限制。可以设想在任何组合中组合或者使用任何数目的在各种实施方式中描述的部件。
图1D描绘显示器125的至少一个示例性实施方式,该显示器提供一种用于基于多个焦平面的动态聚焦的光学技术。如图所示,显示器125包括配置为在相应焦点设定或者焦距129a-129c显示数据的表示107的三个光导127a-127c(出瞳扩展器(EPE))。在这一示例中,每个光导127a-127c与固定的但是不同的焦点设定或者焦平面(例如近焦平面129a、中焦平面129b和无穷焦平面129c)关联。根据希望的焦距,渲染器115可以选择光导127a-127c中的哪个光导具有与希望的焦距最近的焦点设定。渲染器115然后可以通过选择的光导或者焦平面给出表示107。在至少一个示例性实施方式中,光导127a-127c被弯曲以实现在表示107与通过显示器127看见的数据(例如图像源)之间匹配的更近焦距。举例而言,弯曲的光导127a-127c可以是用于多个虚拟图像距离的堆叠的圆柱形地或者球形地成形的EPE。虽然关于提供三个焦平面129a-129c的三个光导127a-127c描述图1D的示例,但是在至少一个示例性实施方式中,例如依赖于对于在每个离散焦平面之间的焦点设定希望多精细的粒度,显示器125可以被配置任何数目的光导或者焦平面。
如以上指出的那样,在至少一个示例性实施方式中,除了以上描述的光学技术之外或者代替这些光学技术,还可以使用非光学技术以确定如何给出数据的表示107以减少或者避免视觉错误提示或者冲突。例如显示器(例如显示器101、显示器119或者显示器125)可以确定或者生成表示107以基于(1)用户的焦距、(2)表示107是否为用户感兴趣的主体或者(3)其组合,而创建深度感和聚焦。在至少一个示例性实现方式中,显示器101确定用户的焦距、然后基于焦距确定要给出的表示107。显示器101可以例如在数据的表示107不是用户的凝视或者聚焦的主体因而应当模糊时,未对焦地渲染它们。在至少一个示例性实现方式中,除了模糊或者离焦呈现之外,还可以基于焦距而改变其它渲染技术(例如阴影、转向、颜色等)。
在至少一个示例性实施方式中,可以用深度感测感测信息来增强本发明的方法、装置和计算机程序产品的各种实施方式。例如显示器101可以包括向前深度感测相机或者其它相似技术,用于检测在用户的视图中的实体对象的深度和几何形状。在这一情况下,显示器101可以检测聚焦的给定的实体对象的距离并且保证与给定的实体对象关联的距离的任何表示107是在正确焦距的位置并且相应地调整聚焦。
可以有利地经由软件、硬件、固件或者软件和/或固件和/或硬件的组合实施本文描述的用于基于焦距来确定显示的信息的表示的过程。例如,可以有利地经由处理器、数字信号处理(DSP)芯片、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等实施这里描述的过程。下文具体描述这样的用于执行描述的功能的示例硬件。
图2是根据本发明的至少一个示例性实施方式的用于基于焦距来确定显示的信息的表示的装置200的框图。在至少一个示例性实施方式中,装置200与先前关于图1描述的显示器101、显示器119和/或显示器125关联或者被结合在该显示器中。然而可以设想其它设备或者装备可以部署装置200的所示硬件和部件的全部或者部分。在至少一个示例性实施方式中,装置200被编程(例如经由计算机程序代码或者指令)为如本文描述的那样基于焦距来确定显示的信息的表示并且包括通信机制,比如用于在装置200的其它内部与外部部件之间传递信息的总线210。将信息(也称为数据)表示为可测量现象的物理表达,该现象通常为电压、但是在其它实施方式中包括比如磁、电磁、压力、化学、生物、分子、原子、亚原子和量子相互作用这样的现象。例如北和南磁场或者零和非零电压表示二进制数(位)的两个状态(0,1)。其它现象可以表示更高基数的数字。在测量之前的多个同时量子状态的叠加表示量子位(qubit)。一个或者多个数的序列构成数字数据,该数字数据用来表示用于字符的编号或者代码。在至少一个示例性实施方式中,称为模拟数据的信息由在特定范围内的可测量值的近连续统表示。装置200或者其部分构成用于执行一个或者多个步骤的装置,该一个或者多个步骤如关于本文讨论的方法、装置和计算机程序产品的各种实施方式描述的那样基于焦距而确定显示的信息的表示。
总线210包括一个或者多个并行信息导体,从而在耦合到总线210的设备之间快速地传送信息。用于处理信息的一个或者多个处理器202与总线210耦合。
一个处理器(或者多个处理器)202对信息执行如与基于焦距来确定显示的信息的呈现有关的计算机程序代码指定的操作集。计算机程序代码是用于处理器和/或计算机系统的操作以执行指定的功能的指令或者提供这些指令的语句的集合。例如可以用编译成处理器的本机指令集的计算机编程语言编写代码。也可以使用本机指令集(例如机器语言)来直接编写代码。操作集包括从总线210带入信息以及将信息置于总线210上。操作集也通常包括比较两个或者更多信息单位、移位信息单位的位置以及比如通过加法或者乘法或者逻辑运算如OR、异或(XOR)和AND组合两个或者更多信息单位。称为指令的信息,比如一个或者多个数的操作代码向处理器表示处理器可以执行的操作集的每个操作。将由处理器202执行的操作序列,比如操作代码序列,构成也称为计算机系统指令或者简称为计算机指令的处理器指令。可以单独或者组合实施处理器为机械、电、磁、光学、化学或者量子部件以及其它部件。
装置200也包括耦合到总线210的存储器204。存储器204,比如随机存取存储器(RAM)或者任何其它动态存储设备存储信息,该信息包括用于基于焦距而确定显示的信息的表示的处理器指令。动态存储器允许其中存储的信息被装置200改变。RAM允许在称为存储器地址的位置存储的信息单位独立于在邻近地址的信息而被存储和取回。存储器204也被处理器202用来在执行处理器指令期间存储临时值。装置200也包括耦合到总线210的只读存储器(ROM)206或者任何其它静态存储设备,该ROM或者其它静态存储设备用于存储未被装置200改变的包括指令的静态信息。一些存储器由在失去电力时丢失其上存储的信息的易失性存储装置组成。非易失性(持续)存储设备208,比如磁盘、光盘或者闪卡也可以耦合到总线210,该非易失性(持续)存储设备用于存储即使在装置200被关断或者以别的方式失去电力时仍然持续的包括指令的信息。
从外部输入设备212,比如包含由人类用户操作的字母数字键的键盘或者相机/传感器294,向总线210提供信息用于由处理器使用,该信息包括用于基于焦距来确定显示的信息的表示的指令。相机/传感器294检测在它附近的状况(例如深度信息)并且将那些检测变换成与用来表示装置200中的信息的可测量现象兼容的物理表达。传感器294的示例例如包括位置传感器(例如GPS位置接收器)、定位传感器(例如罗盘、陀螺仪、加速度计)、环境传感器(例如深度传感器、气压计、温度传感器、光传感器、麦克风)、凝视跟踪传感器等。
主要用于与人交互的、耦合到总线210的其它外部设备包括用于呈现文字或者图像的显示设备214,比如近眼显示器、头戴显示器、阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、等离子体屏幕或者打印机,以及用于控制在显示器214上呈现的小光标图像的位置并且发出与在显示器214上呈现的图元关联的命令的指示设备216,比如鼠标、跟踪球、光标方向键或者运动传感器。在至少一个示例性实施方式中,命令例如包括指示焦距、感兴趣的主体等。在至少一个示例性实施方式中、例如在其中装置200自动地执行所有功能而无人输入的实施方式中,可省略外部输入设备212、显示设备214和指示设备216中的一个或者多个设备。
在所示实施方式中,专用硬件,比如专用集成电路(ASIC)220耦合到总线210。专用硬件被配置为出于特殊目的而足够快地执行处理器202不执行的操作。ASIC的示例包括用于为显示器214生成图像的图形加速器卡、用于加密和解密通过网络发送的消息的密码板、话音识别以及与特殊外部设备的接口,这些特殊外部设备比如是在硬件中更高效地实施的、反复执行某一复杂操作序列的机器人手臂和医疗扫描装备。
装置200也包括耦合到总线210的通信接口270的一个或者多个实例。通信接口270提供与多种外部设备的单向或者双向通信耦合,这些外部设备,比如外部显示器,用它们自己的处理器操作。一般而言,耦合是与连接到本地网络280的网络链路278耦合,多种外部设备连接到该本地网络,这些外部设备具有它们自己的处理器。例如通信接口270可以是用于提供与兼容的LAN(比如以太网)的数据通信连接的局域网(LAN)卡。也可以实施无线链路。对于无线链路,通信接口270发送或者接收或者既发送又接收承载信息流(比如数字数据)的电、声或者电磁信号,这些信号包括红外线和光学信号。例如在无线手持设备,比如移动电话如蜂窝电话中,通信接口270包括称为无线电收发器的无线电频带电磁发射器和接收器。在至少一个示例性实施方式中,通信接口270能够连接到本地网络280、因特网服务提供者284和/或因特网290,用于基于焦距而确定显示的信息的表示。
如这里所用术语“计算机可读介质”指代参与向处理器202提供信息的任何介质,该信息包括用于执行的指令。这样的介质可以采用许多形式,这些形式包括但不限于计算机可读存储介质(例如非易失性介质、易失性介质)和传输介质。非瞬态介质,比如非易失性介质例如包括光盘或者磁盘,比如存储设备208。易失性介质例如包括动态存储器204。传输介质例如包括双绞线缆、同轴线缆、铜线、光纤线缆和经过空间行进而无接线或者线缆的载波,比如声波和电磁波,所述电磁波包括无线电波、光波和红外线波。信号包括通过传输介质传输的在幅度、频率、相位、极化或者其它物理性质上的人为瞬态变化。计算机可读介质的形式例如包括软盘、柔性盘、硬盘、磁带、任何其它磁介质、CD-ROM、CDRW、DVD、任何其它光学介质、打孔卡、纸带、光学标记片、具有孔图案或者其它光学可识别戳记的任何其它物理介质、RAM、PROM、EPROM、FLASH-EPROM、EEPROM、闪存、任何其它存储器芯片或者盒、载波或者计算机可以从其读取的任何其它介质。术语计算机可读存储介质在本文中指除了传输介质之外的任何计算机可读介质。
在一个或者多个有形介质上编码的逻辑包括计算机可读存储介质上的处理器指令和专用硬件(比如ASIC 220)之一或二者。
网络链路278通常通过一个或者多个网络使用传输介质向使用或者处理信息的其它设备提供信息通信。例如网络链路278可以提供通过本地网络280的与主机计算机282或者由因特网服务提供商(ISP)操作的装备284的连接。ISP装备284又通过称为因特网290的多个网络的公共、全球范围分组交换通信网络提供数据通信服务。
连接到因特网的称为服务器主机292的计算机主控如下过程:响应于通过因特网接收的信息而提供服务。例如服务器主机292主控如下过程,该过程提供用于在显示器214呈现的信息。可设想在其它设备或者部件内在各种配置中部署装置200的部件。
本发明的至少一个实施方式涉及将装置200用于实施本文描述的技术中的一些或者所有技术。根据本发明的至少一个实施方式,装置200响应于处理器202执行存储器204中包含的一个或者多个处理器指令的一个或者多个序列来执行那些技术。可以从另一计算机可读介质,比如存储设备208或者网络链路278向存储器204中读取也称为计算机指令、软件和程序代码的这样的指令。对存储器204中包含的指令序列的执行使处理器202执行本文描述的方法步骤中的一个或者多个方法步骤。在备选实施方式中,硬件,比如ASIC220,可以取代软件或者与软件组合以实施本发明。因此,除非这里另有明示,本发明的实施方式不限于硬件与软件的任何具体组合。
经过通信接口270在网络链路278和其它网络上传输的信号承载去往和来自装置200的信息。装置200可以通过网络链路278和通信接口270、通过网络280、290以及其它网络发送和接收包括程序代码的信息。在使用因特网290的示例中,服务器主机292通过因特网290、ISP装备284、本地网络280和通信接口270传输从计算机200发送的消息所请求的用于特定应用的程序代码。接收的代码可以在它被接收时由处理器202执行,或者可以存储于存储器204中或者存储设备208或者任何其它非易失性存储装置中用于以后执行,或者兼而有之。以这一方式,装置200可以用载波上的信号这一形式获得应用程序代码。
向处理器202运送一个或者多个指令序列或者数据或者二者用于执行可涉及到各种形式的计算机可读介质。例如可以初始地在远程计算机,比如主机282的磁盘上承载指令和数据。远程计算机向它的动态存储器中加载指令和数据,并且使用调制解调器通过电话线发送指令和数据。通信接口270接收红外信号中承载的指令和数据,并且将表示指令和数据的信息置于总线210上。总线210向存储器204运送信息,处理器202从该存储器取回指令并且使用与指令一起发送的数据中的一些数据来执行指令。在存储器204中接收的指令和数据可以可选地在由处理器202执行之前或者之后存储于存储设备208上。
图3是根据本发明的至少一个示例性实施方式的用于基于焦距确定显示的信息的表示的操作的框图。在至少一个示例性实施方式中,图2的装置200和/或它的部件(例如处理器202、显示器214、相机/传感器294)执行图3的过程300中描述的操作中的任何操作和/或提供用于执行这些操作中的任何操作的装置。附加地或者备选地,如图8中所示包括处理器和存储器的芯片组和/或如图9中所示移动终端可以包括用于执行过程300的操作中的任何操作的装置。也注意提供图3的操作301-307作为本发明的至少一个实施方式的示例。另外,可以改变对操作301-307的排序并且可以组合操作301-307中的一些操作。例如操作307可以被执行或者可以未被执行或者可以与操作301或者在其它操作303或者305中的任何操作组合执行。
如先前指出的那样,潜在视觉错误提示和冲突(例如聚焦失配)和/或它们对用户的影响可以通过光学和/或非光学技术来减少或者消除。用于执行过程300的操作的方法、装置和计算机程序产品涉及用于操控或者确定数据在显示器101上的显示的表示107的非光学技术。在操作301中,装置200执行和包括用于确定用户的焦距的装置(例如处理器202、相机/传感器295、输入设备212、指示设备216等)。举例而言,焦距表示到显示器(例如显示器101、119、125和/或214)的视野中的点的距离,该点是用户注意的对象。
在至少一个示例性实施方式中,使用凝视跟踪信息来确定视野中的点和焦距。因而,装置200可以被配置有装置(例如相机/传感器294),以通过跟踪用户的凝视确定注意点并且基于凝视跟踪信息而确定焦距。在至少一个示例性实施方式中,装置200被配置有装置(例如处理器202、存储器204、相机/传感器294),以维持在显示器101的视野内的至少一个景物中存在的信息、数据和/或对象(例如物理和虚拟二者)的深度缓冲区。例如装置200可以包括用于创建深度缓冲区的装置,比如向前深度感测相机。然后可以例如匹配凝视跟踪信息与深度缓冲区以确定焦距。
在至少一个示例性实施方式中,装置200可以被配置有装置(例如处理器202、输入设备212、指示设备216、相机/传感器294),以基于用户交互、输入和/或感测的情境信息来确定在显示器的视野中的让用户感兴趣的点。例如除了凝视跟踪信息之外或者取代凝视跟踪信息,装置200还可以确定用户选择(例如经由输入设备212、指示设备216)在视野中的什么点。在另一示例中,装置200可以处理感测的情境信息(例如加速度计数据、罗盘数据、陀螺仪数据等)以确定用于指示注意点的移动方向或者模式。然后可以比较这一点与深度缓冲区以确定焦距。
在确定用户的焦距之后,装置200可以执行基于焦距确定将在显示器101中呈现的数据的表示和被配置有用于基于焦距确定将在显示器101中呈现的数据的表示(操作303)的装置(例如处理器202)。在至少一个示例性实施方式中,确定所述表示例如包括确定该表示的可视特性,这些可视特性减少或者消除在观看显示器101时可能造成眼睛疲劳和/或不良用户体验的潜在视觉错误提示或者冲突(例如焦距失配)。
在至少一个示例性实施方式中,装置200可以被配置为除了焦距之外或者取代焦距,还基于其它参数确定该表示。例如装置200可以被配置有用于基于与数据关联的可表示距离而确定该表示的装置(例如处理器202)。可表示距离例如是在视野或者景物中的距离,表示107应当在该距离处被呈现。例如在表示107增强显示器101中可观看的现实对象的示例中,可表示距离可以对应于对象的距离。基于这一可表示距离,装置200可以被配置有用于应用各种渲染特性的装置(例如处理器202),这些渲染特性是可表示距离的函数(例如线性或者非线性)。
在至少一个示例性实施方式中,显示器101可以被配置有用于光学地调整焦距或者焦点设定的装置(例如动态聚焦光学部件121a和121b)。在这些实施方式中,装置200可以被配置有用于至少部分基于动态聚焦光学部件的焦点设定来确定表示107的装置(例如处理器202)。例如如果光学焦点设定已经产生模糊效果,则表示无需包括与无动态聚焦光学部件的显示器101相比那么多的模糊效果(如果有的话)。在其它情况下,表示107可以用附加效果确定以例如添加或者提高在显示器101上的深度或者聚焦效果。
在至少一个示例性实施方式中,装置200可以被配置有用于确定可表示距离与焦距的差值的装置(例如处理器20)。换而言之,表示107的视觉外观可以依赖于可表示距离与确定的焦距有多远(例如在前景或者背景中)。以这一方式,装置200可以被配置有装置(例如处理器202),以基于可表示距离与焦距的差值确定用于向表示107应用的至少一个渲染特性的程度。例如渲染特性可以包括模糊、阴影化、转向(例如用于双目显示器)等。离焦距更远的表示107可以用更多模糊来渲染,或者用于双目显示器的左/右图像可以用适合用于该距离的转向设定来渲染。可以设想基于可表示距离而改变任何类型的渲染特性(例如颜色、饱和度、尺寸等)。
在确定表示107之后,装置200可以执行和被配置有装置(例如处理器202、显示器214),以引起该表示705在显示器上的呈现。虽然关于双目头戴穿视显示器讨论本文描述的方法、装置和计算机程序产品的各种实施方式,但是可以设想各种实施方式适用于在其中视觉错误提示可能出现的任何类型的显示器上给出表示107。例如其它显示器包括(例如如以上讨论的)非穿视显示器、其中仅一个眼睛可能遭受调适失配的单目显示器等。此外,各种实施方式可以适用于完全虚拟信息(即无实况视图)的显示。
如操作307中所示,装置200可以执行并且配置有用于确定焦距的改变然后基于该改变来引起该表示的更新的装置(例如处理器202、相机/传感器294)。在至少一个示例性实施方式中,装置200可以基本上实时、连续地、周期性地根据时间表并且按照需求等监视焦距的改变。以这一方式,随着用户改变他的/她的凝视或者聚焦,装置200可以动态地调整表示107以与新焦距匹配。
图4是根据本发明的至少一个示例性实施方式的用于基于确定感兴趣的主体确定显示的信息的表示的操作的框图。在至少一个示例性实施方式中,图2的装置200和/或它的部件(例如处理器202、显示器214、相机/传感器294)执行图4的过程400中描述的操作中的任何操作和/或提供用于执行这些操作中的任何操作的装置。附加地或者备选地,如图8中所示包括处理器和存储器的芯片组和/或如图9中所示移动终端可以包括用于执行过程400的操作中的任何操作的装置。
如操作401中所示,装置200可以执行和被配置有装置(例如处理器202、相机/传感器294),以确定用户在显示器101上的视野内的感兴趣的主体(例如在显示器101中呈现的什么信息或者对象让用户感兴趣)。与确定焦距相似,凝视跟踪或者用户交互/输入可以用确定感兴趣的主体。在至少一个示例性实施方式中,装置200可以被配置有用于基于用户是否正在注视表示107而确定感兴趣的主体的装置(例如处理器202、相机/传感器294)。在至少一个示例性实施方式中,在近似相同焦距感知多个表示107、信息或者对象时,装置200还可以确定在焦平面中的哪个项目让用户感兴趣(例如依赖于凝视跟踪的准确性或者用户交互信息)。
在操作403中,装置200可以执行和被配置有装置(例如处理器202),以基于感兴趣的主体确定表示。例如在用户注视表示107时,表示107可以具有一个外观(例如明亮和对焦)。在其中用户将目光从表示107移向在相同焦平面中的另一项目的场景中,该表示可以具有另一外观(例如暗淡和对焦)。在其中用户将目光从表示107看向在不同焦平面或者距离中的另一项目的场景中,该表示可以具有又一外观(例如暗淡和未对焦)。
图5是根据本发明的至少一个示例性实施方式的用户通过显示器观看。在至少一个示例性实施方式中,装置200可以包括用于基于用户的焦距而确定要在显示器101上呈现的数据的表示107的装置。如图所示,用户正在通过显示器101观看对象103,该显示器是穿视双目显示器,包括与显示器101的左透镜对应的子显示器105a和与显示器101的右透镜对应的子显示器105b。因而,该装置可以包括用于生成在显示器101中呈现的双目用户界面的装置(例如处理器202、显示器214)。
在这一示例中,装置200已经确定用户的焦距作为与对象103对应的焦距501。如关于图1A描述的那样,装置200已经在确定的焦距501呈现用于每个相应子显示器105a和105b的增强表示503a和503b作为在对象103上的叠加。如图所示,装置200也给出虚拟对象507位于可表示距离509的表示505a和505b、虚拟对象513的位于可表示距离515的表示511a和511b。
如图5中所示,在虚拟对象507的可表示距离与焦距501之间的差值大于在虚拟对象513的可表示距离515与焦距501之间的差值。因而,装置200被配置有装置(例如处理器202),以确定虚拟对象507的表示505a和505b以具有比虚拟对象513的表示511a和511b更多的模糊效果。此外,由于双目显示器,确定表示503a-503b、505a-505b和511a-511b,从而每个表示对的转向适合用于所确定的焦距。在至少一个示例性实施方式中,装置200可以单独地或者组合确定用于表示的模糊效果和转向。
图6是根据本发明的至少一个示例性实施方式的用于基于为显示器的动态聚焦光学部件确定焦点设定的操作的框图。在至少一个示例性实施方式中,图2的装置200和/或它的部件(例如处理器202、显示器214、相机/传感器294)执行图6的过程600中描述的操作中的任何操作和/或提供用于执行这些操作中的任何操作的装置。附加地或者备选地,如图8中所示包括处理器和存储器的芯片组和/或如图9中所示移动终端可以包括用于执行过程600的操作中的任何操作的装置。也注意提供图3的操作601-607作为本发明的至少一个实施方式的示例。另外,可以改变对操作601-607的排序并且可以组合操作601-607中的一些操作。例如操作607可以被执行或者可以未被执行或者可以与操作601或者在其它操作603或者605中的任何操作组合执行。
如先前指出的那样,潜在视觉错误提示和冲突(例如聚焦失配)和/或它们对用户的潜在影响可以通过光学和/或非光学技术来减少或者消除。用于执行过程600的操作的方法、装置和计算机程序产品涉及用于为显示器101的动态聚焦光学部件121确定焦点设定以减少或者消除视觉错误提示或者冲突的光学技术。操作601与关于图3的操作301描述的焦距确定操作相似。例如在操作601中,装置200执行并包括用于确定用户的焦距的装置(例如处理器202、相机/传感器294、输入设备212、指示设备216等)。举例而言,焦距表示到显示器(例如显示器101、119、125和/或214)的视野中的点的距离,该点是用户注意的对象。
在至少一个示例性实施方式中,使用凝视跟踪信息确定视野中的点和焦距。因而,装置200可以被配置有用于通过跟踪用户的凝视确定注意点并且基于凝视跟踪信息确定焦距的装置(例如相机/传感器294)。在至少一个示例性实施方式中,装置200被配置有用于维持在显示器101的视野内的至少一个景物中存在的信息、数据和/或对象(例如实体和虚拟二者)的深度缓冲区的装置(例如处理器202、存储器204、相机/传感器294)。例如装置200可以包括用于创建深度缓冲区的装置,比如向前深度感测相机。深度感测相机或者其它相似传感器可以例如是用于确定通过显示器101观看的表示107和信息、对象等的深度、几何形状或者其组合的装置。例如深度缓冲区可以存储用于在显示器101的视野中标识的像素或者点的z轴值。
深度和几何形状信息可以存储于深度缓冲区中或者以别的方式与深度缓冲区关联。以这一方式,可以匹配凝视跟踪信息与深度缓冲区以确定焦距。在至少一个示例性实施方式中,该装置可以被配置有装置(例如处理器202、存储器204、存储设备208),用于在装置200中本地存储深度缓冲区。附加地或者备选地,装置200可以被配置为包括用于例如在服务器292、主机282等中远程地存储深度缓冲区和有关信息的装置(例如通信接口270)。
在至少一个示例性实施方式中,装置200可以被配置有用于基于用户交互、输入和/或感测的情境信息来确定在显示器的视野中的让用户感兴趣的点的装置(例如处理器202、输入设备212、指示设备216、相机/传感器294)。例如除了凝视跟踪信息之外或者取代凝视跟踪信息,装置200还可以确定用户选择(例如经由输入设备212、指示设备216)在视野中的什么点。在另一示例中,装置200可以处理感测的情境信息(例如加速度计数据、罗盘数据、陀螺仪数据等)以确定用于指示注意点的移动方向或者模式。然后可以比较这一点与深度缓冲区以确定焦距。
在操作603中,装置200可以执行和配置有装置(例如处理器202),以基于焦距为显示器101的一个或者多个动态聚焦光学部件121确定至少一个焦点设定。在至少一个示例性实施方式中,与至少一个焦点设定关联的参数可以依赖于显示器101运用的动态聚焦系统的类型。如关于图1C描述的那样,一种类型的动态聚焦光学部件是基于技术,比如流体学或者电光学的连续聚焦系统。对于基于流体学的系统,装置200可以被配置有用于确定与流体膨胀或者紧缩关联的参数或者焦点设定以实现希望的焦点的装置(例如处理器202)。对于基于电光学的系统,装置200可以被配置为包括装置(例如处理器202),以确定用于创建电场以变更电光学系统的光学性质的参数。
图1D描述基于具有多个焦平面的显示器的动态聚焦系统。对于这一类型的系统,装置200可以被配置为包括用于确定焦点设定以指示焦平面中的哪个焦平面具有与确定的焦距最相似的焦点的装置(例如处理器202)。设想以上光学系统的讨论用于示例而不是要限制该方法、装置和计算机程序产品的各种实施方式适用于的动态聚焦系统。
在至少一个示例性实施方式中,装置200可以被配置有用于基于在显示器101上呈现的数据的表示107与通过显示器101观看到的信息之间的聚焦失配来确定至少一个焦点设定的装置(例如处理器202、相机/传感器294)。举例而言,装置200确定用于在显示器101上给出表示107的深度和用于通过显示器观看信息的另一深度。基于这两个深度,装置200可以确定是否有潜在聚焦失配或者其它视觉错误提示、然后确定至少一个焦点设定以产生对聚焦失配的校正。
在至少一个示例性实施方式中,其中显示器101包括至少两个动态聚焦光学部件121,装置200可以被配置有装置(例如处理器202、相机/传感器294),用于通过确定在动态聚焦光学部件121之一上配置的焦点设定的第一集合产生的、该表示的感知的深度、通过显示器观看的信息或者其组合的偏差确定聚焦失配。装置200然后可以基于偏差来确定用于另一动态聚焦光学部件121的另一焦点设定集合。例如第二或者另一焦点设定集合可以应用于第二或者另一动态聚焦光学元件,以校正在显示器101中给出的表示107与通过显示器观看的信息之间的任何偏差或者错误提示。以下关于图7A-7D提供对使用光学部件的聚焦校正的过程的附加讨论。
在至少一个示例性实施方式中,除了光学聚焦调整之外,该装置还可以被配置有用于基于聚焦距离为一个或者多个动态聚焦光学部件确定至少一个转向设定的装置(例如处理器202)。在至少一个示例性实施方式中,转向是指眼睛绕着竖轴旋转以提供双目视觉的过程。例如与眼睛更近的对象通常需要对眼睛的更大向内旋转,而对于向外朝着无穷远更远的对象,眼睛更平行。因而,装置200可以确定如何实体地配置动态聚焦光学部件121以近似到针对给定的焦距的适当转向水平。在至少一个示例性实施方式中,至少一个转向设定包括用于一个或者多个动态聚焦光学元件的倾斜设定。以下关于图7C和7D提供用于双目光学部件的倾斜转向设定的图示。如在各种实施方式中描述的那样,能够对聚焦和转向设定进行调整使装置200能够减少或者消除可能造成眼睛疲劳的潜在视觉错误提示。
在至少一个示例性实施方式中,装置200可以被配置有用于组合使用光学和非光学技术二者用于确定焦点或者其它视觉错误提示校正的装置(例如处理器202、相机/传感器294)。因而,在操作605中,装置200可以执行和被配置有用于至少部分基于动态聚焦光学部件的焦点设定来确定表示107(操作311)的装置(例如处理器202)。例如,如果光学焦点设定已经产生模糊效果,则表示无需包括在与无动态聚焦光学部件的显示器101比较时那么多的模糊效果(如果有的话)。在其它情况下,表示107可以用附加效果确定以例如用给定的焦点设定来添加或者提高在显示器101上的深度或者聚焦效果。
如操作607中所示,装置200可以执行和配置有装置(例如处理器202、相机/传感器294),其确定焦距的改变,然后基于该改变引起对用于动态聚焦光学部件121的至少一个焦点设定的更新。在至少一个示例性实施方式中,装置200可以基本上实时、连续地、周期性地根据时间表并按照需求等监视焦距的改变。以这一方式,随着用户改变他的/她的凝视或者聚焦,装置200可以动态地调整光学部件的聚焦以与新焦距匹配。
图7A-7D是根据本发明的至少一个示例性实施方式的使用动态聚焦光学部件来提供聚焦校正的显示器的透视图。如以上关于图1B讨论的那样,典型近眼穿视显示器101在固定焦点处在实体世界视图上给出数据的表示107(例如虚拟图像)。这可能导致通常固定在通常无穷远焦距处的表示107与通过显示器观看的真实对象或者信息之间的聚焦失配。如图7A中所示,在至少一个示例性实施方式中,在眼睛113与光导123之间提供透镜701。举例而言,单个透镜701具有将虚拟图像(例如表示107)带到更近的效果。在非穿视的显示器101的情况下,单个透镜可以有效地改变在显示器上表示的虚拟图像或者表示107的焦距。
然而在穿视显示器101的情况下,通过显示器观看的对象103的图像的感知的深度也被带到更近、因此维持潜在聚焦失配。在图7B的实施方式中,第二透镜703被定位在光导123与对象103之间以将对象103的感知的深度有效地移向它的实际深度。因而,单个透镜可以在显示器不透明或者非穿视时有效改变显示器101上的表示107或者图像的焦距。另一方面,双透镜系统可以在显示器101表示与虚拟对象(例如表示107)混合的实际对象(例如对象103)时有效校正视觉错误提示和聚焦失配。
在至少一个示例性实施方式中,在图7B的双透镜系统被配置有动态聚焦光学部件121作为透镜时,系统可以在混合虚拟图像与通过显示器观看的信息时提供更大灵活性。如关于图6的操作607讨论的那样,可以调整两个透镜的焦点设定以调和聚焦失配。例如可以调整第一透镜701的焦点设定以在用户确定的焦距处给出数据的表示107。然后,通过显示器101观看的信息的感知深度的偏差可以用来确定第二透镜703的焦点设定。在至少一个示例性实施方式中,确定第二透镜703的焦点设定,从而它将校正感知的距离的任何偏差以将信息在通过显示器101观看时的既定或者实际深度移动感知的距离。
图7C描绘根据至少一个示例性实施方式的双目显示器704,该双目显示器包括与用户的左和右眼709a和709b对应的动态聚焦光学元件707a和707b。除了调适或者聚焦冲突之外,转向还可能在未与适当焦距对准时影响眼睛疲劳。在至少一个示例性实施方式中,动态聚焦光学元件707a和707b是用于光学地调整会聚的装置。如图7C中所示,在观看对象711时(特别是在对象711接近显示器705时),眼睛709a和709b通常必须向内旋转以将对象111带到视网膜的可视区域(例如中央凹区域)内并且提供对象111的相干双目视图。在图7C的示例中,容纳相应动态光学元件707a和707b的子显示器713a和713b包括用于物理地旋转以便调整用于会聚的装置。
图7D描绘根据至少一个示例性实施方式的双目显示器715,其可以通过改变光被投影到容纳相应动态聚焦元件719a和719b的子显示器717a和717b上的角度来调整用于会聚。例如取代物理地旋转子显示器717a和717b,显示器715可以包括用于确定角度α的装置,该角度表示眼睛709a和709b为了在对象711上会聚而应当被向内旋转的角度。显示器715然后可以包括用于变更光被投影到子显示器717a和717b中的角度以与角度α匹配的装置(例如渲染引擎721a和721b)。以这一方式,子显示器717a和717b无需如以上关于图7C描述的那样实体地旋转。
图8图示可以在其上实施本发明的一个实施方式的芯片组或者芯片800。芯片组800被编程为如本文描述的那样基于焦距确定显示的信息的表示,并且例如包括在一个或者多个物理封装(例如芯片)中结合的、关于图2描述的处理器和存储器部件。举例而言,物理封装包括一种或者多种材料、部件和/或接线在结构组件(例如基板)上的布置,该布置用于提供一个或者多个特性,比如物理强度、尺寸节约和/或电互作用限制。设想在至少一个示例性实施方式中,可以在单个芯片中实施芯片组800。还设想在至少一个示例性实施方式中,可以实施芯片组或者芯片800为单个“片上系统”。还设想在至少一个示例性实施方式中,例如将不使用单独的ASIC并且如这里公开的所有相关功能将由一个或者多个处理器执行。芯片组或者芯片800或者其部分构成用于执行一个或者多个步骤的装置,该一个或者多个步骤提供与功能的可用性关联的用户界面界面导航信息。芯片组或者芯片800或者其部分构成用于执行一个或者多个步骤的装置,该一个或者多个步骤基于焦距而确定显示的信息的表示。
在至少一个示例性实施方式中,芯片组或者芯片800包括通信机制,比如用于在芯片组800的部件之间传递信息的总线801。处理器803具有与总线801的连通以执行例如在存储器805中存储的指令并且处理例如在存储器805中存储的信息。处理器803可以包括一个或者多个处理核而每个核被配置为独立地执行。多核处理器在单个物理封装内实现多处理。多核处理器的示例包括两个、四个、八个或者更大数目的处理核。备选地或者附加地,处理器803可以包括经由总线801串接配置为能够独立执行指令、流水线和多线程的一个或者多个微处理器。处理器803也可以被附带有用于执行某些处理功能和任务的一个或者多个专门化的部件,比如一个或者多个数字信号处理器(DSP)807或者一个或者多个专用集成电路(ASIC)809。DSP 807通常被配置为独立于处理器803而实时处理现实信号(例如声音)。相似地,ASIC 809可以被配置为执行更通用处理器不容易执行的专门化的功能。用于辅助执行本文描述的发明功能的其它专门化的部件可以包括一个或者多个现场可编程门阵列(FPGA)、一个或者多个控制器或者一个或者多个其它专用计算机芯片。
在至少一个示例性实施方式中,芯片组或者芯片800仅包括一个或者多个处理器以及支持和/或涉及和/或用于一个或者多个处理器的一些软件和/或固件。
处理器803和伴随部件具有经由总线801的与存储器805的连通。存储器805包括用于存储可执行指令的动态存储器(例如RAM、磁盘、可写入光盘等)和静态存储器(例如ROM、CD-ROM等)二者,这些可执行指令在被执行时执行本文描述的发明步骤以基于焦距确定显示的信息的表示。存储器805也存储与发明步骤的执行关联或者通过执行发明步骤而生成的数据。
图9是根据至少一个示例性实施方式的能够在图1的系统中操作的用于通信的移动终端(例如手机)的示例部件的图。在至少一个示例性实施方式中,移动终端901或者其部分构成用于执行一个或者多个步骤的装置,该一个或者多个步骤基于焦距确定显示的信息的表示。一般而言,经常在前端和后端特性方面定义无线电接收器。接收器的前端涵盖所有射频(RF)电路装置,而后端涵盖所有基带处理电路装置。如在本申请中所用,术语“电路装置”指代以下二者:(1)仅硬件的实现方式(比如在仅模拟和/或数字电路装置中的实现方式)和(2)电路装置与软件(和/或固件)的组合(比如如果适用于特定情境则指代包括数字信号处理器的处理器、软件和存储器的组合,这些处理器、软件和存储器一起工作以使装置,比如移动电话或者服务器执行各种功能)。“电路装置”的这一定义适用于这一术语在本申请中、包括在任何权利要求中的所有使用。作为又一示例,如在本申请中所用并且如果适用于特定情境,则术语“电路装置”也将覆盖仅一个处理器(或者多个处理器)及其附带软件/或者固件的实现方式。术语“电路装置”如果适用于特定情境则也将例如覆盖在移动电话中的基带集成电路或者应用处理器集成电路或者在蜂窝网络设备或者其它网络设备中的相似集成电路。
电话的相关内部部件包括主控制单元(MCU)903、数字信号处理器(DSP)905和接收器/发射器单元,该接收器/发射器单元包括麦克风增益控制单元和扬声器增益控制单元。主显示单元907向用户提供支持各种应用和移动终端功能的显示,这些应用和移动终端功能执行或者支持基于焦距确定显示的信息的表示的步骤。显示器907包括显示电路装置,该显示电路装置被配置为显示移动终端(例如移动电话)的用户界面的至少部分。此外,显示器907和显示电路装置被配置为便于用户控制移动终端的至少一些功能。音频功能电路装置909包括麦克风911和放大从麦克风911输出的话音信号的麦克风放大器。向编码器/解码器(CODEC)913馈送从麦克风911输出的放大的话音信号。
无线电部915放大功率并且转换频率以便经由天线917与在移动通信系统中包括的基站通信。如本领域中所知,功率放大器(PA)919和发射器/调制电路装置操作地响应于MCU 903,而来自PA 919的输出被耦合到双工器921或者循环器或者天线开关。PA 919也耦合到电池接口和功率控制装置920。
在使用中,移动终端901的用户向麦克风911中讲话,并且他的或者她的语音与任何检测到的背景噪音一起被转换成模拟电压。然后通过模数转换器(ADC)923将模拟电压转换成数字信号。控制装置903向DSP 905中传送(route)数字信号用于在其中处理,比如语音编码、信道编码、加密和交织。在至少一个示例性实施方式中,由未单独示出的装置使用蜂窝传输协议,比如全球演进(EDGE)、通用分组无线电服务(GPRS)、全球移动通信系统(GSM)、网际协议多媒体子系统(IMS)、通用移动电信系统(UMTS)等以及任何其它适当无线介质、例如微波接入(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、宽带码分多址(WCDMA)、无线保真(WiFi)、卫星等对处理的语音信号进行编码。
然后向均衡器925传送编码的信号以用于补偿在经过空气传输期间出现的任何依赖于频率的削弱,比如相位和幅度失真。在均衡比特流之后,调制器927组合信号与在RF接口929中生成的RF信号。调制器927通过频率或者相位调制生成正弦波。为了准备信号用于传输,升频转换器931组合从调制器927输出的正弦波与合成器933生成的另一正弦波以实现希望的传输频率。然后通过PA919发送信号以将信号增加至适当功率电平。在实际系统中,PA 919充当可变增益放大器,该可变增益放大器的增益由DSP 905根据从网络基站接收的信息来控制。然后在双工器921内对信号进行滤波并且可选地向天线耦合器935发送该信号以匹配阻抗从而提供最大功率传送。最后,经由天线917向本地基站发送信号。可以供应自动增益控制(AGC)以控制接收器的末级的增益。可以从这里向远程电话转发信号,该远程电话可以是另一蜂窝电话、任何其它移动电话或者是连接到公共交换电话网络(PSTN)或者其它电话网络的陆线。
经由天线917接收向移动终端901发送的语音信号并且立即由低噪声放大器(LNA)937放大。降频转换器939降低载波频率而解调器941剥离RF从而仅留下数字比特流。信号然后穿过均衡器925并且由DSP 905处理。数模转换器(DAC)943转换信号并且通过扬声器945向用户发送所得输出,所有这些都在可以实施为中央处理装置(CPU)的主控制装置(MCU)903的控制之下。
MCU 903接收包括来自键盘947的输入信号的各种信号。与其它用户输入部件(例如麦克风911)组合的键盘947和/或MCU 903包括用于管理用户输入的用户界面电路装置。MCU 903运行用户界面软件以便于用户控制移动终端901的至少一些功能以基于焦距确定显示的信息的表示。MCU 903也分别向显示器907和向语音输出切换控制器递送显示命令和切换命令。另外,MCU 903与DSP 905交换信息并且可以访问可选地结合的SIM卡949和存储器951。此外,MCU 903执行终端的所需各种控制功能。DSP 905可以根据实现方式对语音信号执行多种常规数字处理功能中的任何数字处理功能。此外,DSP 905根据麦克风911检测到的信号确定本地环境的背景噪声水平并且将麦克风911的增益设置成为了补偿移动终端901的用户的自然倾向而选择的水平。
CODEC 913包括ADC 923和DAC 943。存储器951存储包括呼入音调数据的各种数据并且能够存储包括例如经由全球因特网接收的音乐数据的其它数据。软件模块可以驻留于RAM存储器、闪存、寄存器或者在本领域中已知的任何其它形式的可写入存储介质中。存储器设备951可以是但不限于单个存储器、CD、DVD、ROM、RAM、EEPROM、光学存储装置、磁盘存储装置、闪存存储装置或者是能够存储数字数据的任何其它非易失性存储介质。
可选地结合的SIM卡949例如承载重要信息,比如蜂窝电话号码、载波供应服务、订阅细节和安全信息。SIM卡949主要用于在无线电网络上标识移动终端901。卡949也包含用于存储个人电话号码注册表、文字消息和用户专属移动终端设置的存储器。
另外,一个或者多个相机传感器1053可以被结合到移动站1001上,其中一个或者多个相机传感器可以被放置在移动站上的一个或者多个位置。一般而言,相机传感器可以用来捕获、记录和引起存储也可以包括音频记录的一个或者多个静止和/或活动图像(例如视频、电影等)。
尽管已经结合多个实施方式和实现方式描述本发明,但是本发明不限于此而是覆盖落入所附权利要求的范围内的各种明显修改和等同布置。虽然在权利要求中以某些组合表达本发明的特征,但是设想可以在任何组合和顺序中布置这些特征。
Claims (20)
1.一种方法,包括:
确定用户的焦距;
基于所述焦距而确定显示器的一个或多个动态聚焦光学部件的至少一个焦点设定;以及
基于所述至少一个焦点设定而引起所述一个或多个动态聚焦光学部件的配置以在所述显示器上呈现数据的表示。
2.根据权利要求1所述的方法,还包括:
基于视线跟踪信息而确定所述焦距。
3.根据权利要求1所述的方法,还包括:
确定用于在所述显示器上呈现所述表示的深度;
确定用于通过所述显示器观看信息的另一深度;
基于所述深度和所述另一深度而确定聚焦失配;以及
确定所述至少一个焦点设定以引起对所述聚焦失配的校正。
4.根据权利要求3所述的方法,其中所述显示器包括第一动态聚焦光学部件和第二动态聚焦光学部件,所述方法还包括:
确定由在所述第一动态聚焦光学部件上配置的所述至少一个焦点设定的第一个造成的所述表示的感知深度、信息或它们的组合的偏差;
基于所述偏差而确定所述至少一个焦点设定的第二个;以及
基于所述至少一个焦点设定的所述第二个,引起所述第二动态聚焦光学部件的配置以引起对所述聚焦失配的所述校正。
5.根据权利要求1所述的方法,还包括:
基于所述焦距而确定用于所述一个或多个动态聚焦光学部件的至少一个转向设定,
其中所述至少一个转向设定包括用于所述一个或多个动态聚焦光学部件的倾斜设定。
6.根据权利要求1所述的方法,还包括:
基于深度感测信息,确定通过所述显示器观看的信息的深度、几何形状或它们的组合;以及
基于所述深度、所述几何形状或它们的组合,确定所述焦距、感兴趣的主体或它们的组合。
7.根据权利要求1所述的方法,还包括:
基于所述焦距、所述至少一个焦点设定、或它们的组合而确定所述表示。
8.根据权利要求1所述的方法,其中所述显示器是穿视显示器,所述一个或多个动态聚焦光学部件的第一个被定位在观看位置与所述穿视显示器之间,所述一个或多个动态聚焦光学部件的第二个被定位在所述穿视显示器与通过所述穿视显示器观看的信息之间。
9.一种装置,包括:
至少一个处理器;以及
至少一个存储器,包括用于一个或多个程序的计算机程序代码,
其中所述至少一个存储器和所述计算机程序代码配置为使用所述至少一个处理器使所述装置至少:
确定用户的焦距;
基于所述焦距,确定显示器的一个或多个动态聚焦光学部件的至少一个焦点设定;以及
基于所述至少一个焦点设定,引起所述一个或多个动态聚焦光学部件的配置以在所述显示器上呈现数据的表示。
10.根据权利要求9所述的方法,其中所述至少一个存储器和所述计算机程序代码配置为使用所述至少一个处理器使所述装置:
基于视线跟踪信息而确定所述焦距。
11.根据权利要求9所述的方法,其中所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述装置:
确定用于在所述显示器上呈现所述表示的深度;
确定用于通过所述显示器观看信息的另一深度;
基于所述深度和所述另一深度而确定聚焦失配;以及
确定所述至少一个焦点设定以引起对所述聚焦失配的校正。
12.根据权利要求11所述的方法,其中所述显示器包括第一动态聚焦光学部件和第二动态聚焦光学部件,所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述装置:
确定由在所述第一动态聚焦光学部件上配置的所述至少一个焦点设定的第一个造成的所述表示的感知深度、信息或它们的组合的偏差;
基于所述偏差,确定所述至少一个焦点设定的第二个;以及
基于所述至少一个焦点设定的所述第二个,引起所述第二动态聚焦光学部件的配置以引起对所述聚焦失配的所述校正。
13.根据权利要求9所述的方法,其中所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述装置:
基于所述焦距,确定用于所述一个或多个动态聚焦光学部件的至少一个转向设定,
其中所述至少一个转向设定包括用于所述一个或多个动态聚焦光学部件的倾斜设定。
14.根据权利要求9所述的方法,其中所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述装置:
基于深度感测信息,确定通过所述显示器观看的信息的深度、几何形状、或它们的组合;以及
基于所述深度、所述几何形状或它们的组合,确定所述焦距、感兴趣的主体或它们的组合。
15.根据权利要求9所述的方法,其中所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述装置:
基于所述焦距、所述至少一个焦点设定或它们的组合,确定所述表示。
16.根据权利要求9所述的方法,其中所述显示器是穿视显示器,所述一个或多个动态聚焦光学部件的第一个被定位在观看位置与所述穿视显示器之间,所述一个或多个动态聚焦光学部件的第二个被定位在所述穿视显示器与通过所述穿视显示器观看的信息之间。
17.一种计算机程序产品,包括具有存储于其中的计算机可读程序指令的至少一个非瞬态计算机可读存储介质,所述计算机可读程序指令包括:
被配置为确定用户的焦距的程序指令;
被配置为基于所述焦距而确定显示器的一个或多个动态聚焦光学部件的至少一个焦点设定的程序指令;以及
被配置为基于所述至少一个焦点设定而引起所述一个或多个动态聚焦光学部件的配置以在所述显示器上呈现数据的表示的程序指令。
18.根据权利要求17所述的计算机程序产品,还包括:
被配置为基于视线跟踪信息而确定所述焦距的程序指令。
19.根据权利要求17所述的计算机程序产品,还包括:
被配置为确定用于在所述显示器上呈现所述表示的深度的程序指令;
被配置为确定用于通过所述显示器观看信息的另一深度的程序指令;
被配置为基于所述深度和所述另一深度而确定聚焦失配的程序指令;以及
被配置为确定所述至少一个焦点设定以引起对所述聚焦失配的校正的程序指令。
20.根据权利要求17所述的计算机程序产品,其中所述显示器包括第一动态聚焦光学部件和第二动态聚焦光学部件,所述计算机程序产品还包括:
被配置为确定由在所述第一动态聚焦光学部件上配置的所述至少一个焦点设定的第一个造成的所述表示的感知深度、信息或它们的组合的偏差的程序指令;
被配置为基于所述偏差确定所述至少一个焦点设定的第二个的程序指令;以及
被配置为基于所述至少一个焦点设定的所述第二个而引起所述第二动态聚焦光学部件的配置以引起对所述聚焦失配的所述校正的程序指令。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/467,116 | 2012-05-09 | ||
US13/467,116 US20130300635A1 (en) | 2012-05-09 | 2012-05-09 | Method and apparatus for providing focus correction of displayed information |
PCT/US2013/040410 WO2013170074A1 (en) | 2012-05-09 | 2013-05-09 | Method and apparatus for providing focus correction of displayed information |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104641635A true CN104641635A (zh) | 2015-05-20 |
Family
ID=48577856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380033332.3A Pending CN104641635A (zh) | 2012-05-09 | 2013-05-09 | 用于提供对显示信息的聚焦校正的方法和装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20130300635A1 (zh) |
EP (1) | EP2859728A1 (zh) |
JP (1) | JP2015525365A (zh) |
CN (1) | CN104641635A (zh) |
AR (1) | AR091355A1 (zh) |
TW (1) | TWI613461B (zh) |
WO (1) | WO2013170074A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108476311A (zh) * | 2015-11-04 | 2018-08-31 | 奇跃公司 | 基于眼睛追踪的动态显示校准 |
CN113196136A (zh) * | 2018-12-10 | 2021-07-30 | 环球城市电影有限责任公司 | 虚拟现实头戴送受话器中的动态会聚调整 |
CN117361042A (zh) * | 2023-10-30 | 2024-01-09 | 中国人民解放军陆军工程大学 | 一种城市地下物资运输系统及其工作方法 |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
JP2015015520A (ja) * | 2013-07-03 | 2015-01-22 | ソニー株式会社 | 表示装置 |
KR102651578B1 (ko) * | 2013-11-27 | 2024-03-25 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
EP3100099B1 (en) | 2014-01-31 | 2020-07-01 | Magic Leap, Inc. | Multi-focal display system and method |
EP3100098B8 (en) | 2014-01-31 | 2022-10-05 | Magic Leap, Inc. | Multi-focal display system and method |
US20150312558A1 (en) * | 2014-04-29 | 2015-10-29 | Quentin Simon Charles Miller | Stereoscopic rendering to eye positions |
CN112987307B (zh) * | 2014-05-30 | 2022-06-28 | 奇跃公司 | 用于在虚拟和增强现实中产生焦平面的方法和系统 |
AU2015266670B2 (en) * | 2014-05-30 | 2019-05-09 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
US9699436B2 (en) | 2014-09-16 | 2017-07-04 | Microsoft Technology Licensing, Llc | Display with eye-discomfort reduction |
US9977495B2 (en) * | 2014-09-19 | 2018-05-22 | Utherverse Digital Inc. | Immersive displays |
CN107003734B (zh) * | 2014-12-23 | 2019-12-17 | 美达视野股份有限公司 | 将视觉调节和视觉会聚耦合到感兴趣对象的任何深度处的同一平面的设备、方法和系统 |
CN107407814B (zh) * | 2015-01-22 | 2020-08-14 | 奇跃公司 | 使用阿尔瓦雷斯透镜创建焦平面的方法和系统 |
CA3201563A1 (en) | 2015-01-26 | 2016-08-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods having improved diffractive grating structures |
KR102634148B1 (ko) | 2015-03-16 | 2024-02-05 | 매직 립, 인코포레이티드 | 건강 질환 진단과 치료를 위한 방법 및 시스템 |
US10663728B2 (en) * | 2015-05-08 | 2020-05-26 | Bae Systems Plc | Relating to displays |
EP3091740A1 (en) * | 2015-05-08 | 2016-11-09 | BAE Systems PLC | Improvements in and relating to displays |
EP3369091A4 (en) * | 2015-10-26 | 2019-04-24 | Pillantas Inc. | SYSTEMS AND METHODS FOR CONTROLLING CONVERGENT OCULAR MOVEMENTS |
US10466780B1 (en) * | 2015-10-26 | 2019-11-05 | Pillantas | Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor |
US9984507B2 (en) * | 2015-11-19 | 2018-05-29 | Oculus Vr, Llc | Eye tracking for mitigating vergence and accommodation conflicts |
JP6923552B2 (ja) | 2016-04-08 | 2021-08-18 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 可変焦点レンズ要素を用いた拡張現実システムおよび方法 |
US10928638B2 (en) | 2016-10-31 | 2021-02-23 | Dolby Laboratories Licensing Corporation | Eyewear devices with focus tunable lenses |
US10382699B2 (en) * | 2016-12-01 | 2019-08-13 | Varjo Technologies Oy | Imaging system and method of producing images for display apparatus |
KR102623391B1 (ko) * | 2017-01-10 | 2024-01-11 | 삼성전자주식회사 | 영상 출력 방법 및 이를 지원하는 전자 장치 |
KR102601052B1 (ko) | 2017-02-23 | 2023-11-09 | 매직 립, 인코포레이티드 | 가변 파워 반사기를 갖는 디스플레이 시스템 |
AU2018239511A1 (en) | 2017-03-22 | 2019-10-17 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
EP3419287A1 (en) * | 2017-06-19 | 2018-12-26 | Nagravision S.A. | An apparatus and a method for displaying a 3d image |
KR102481884B1 (ko) | 2017-09-22 | 2022-12-28 | 삼성전자주식회사 | 가상 영상을 표시하는 방법 및 장치 |
WO2019178566A1 (en) * | 2018-03-16 | 2019-09-19 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
US10948983B2 (en) * | 2018-03-21 | 2021-03-16 | Samsung Electronics Co., Ltd. | System and method for utilizing gaze tracking and focal point tracking |
US10962791B1 (en) | 2018-03-22 | 2021-03-30 | Facebook Technologies, Llc | Apparatuses, systems, and methods for fabricating ultra-thin adjustable lenses |
US11245065B1 (en) | 2018-03-22 | 2022-02-08 | Facebook Technologies, Llc | Electroactive polymer devices, systems, and methods |
GB201804813D0 (en) * | 2018-03-26 | 2018-05-09 | Adlens Ltd | Improvements in or relating to augmented reality display units and augmented reality headsets comprising the same |
CN112166367A (zh) * | 2018-03-26 | 2021-01-01 | Adlens有限公司 | 增强现实显示单元以及包括增强现实显示单元的增强现实头戴装置的改进或与之相关的改进 |
US10914871B2 (en) * | 2018-03-29 | 2021-02-09 | Facebook Technologies, Llc | Optical lens assemblies and related methods |
JP7408621B2 (ja) * | 2018-07-13 | 2024-01-05 | マジック リープ, インコーポレイテッド | ディスプレイの両眼変形補償のためのシステムおよび方法 |
US10831023B2 (en) * | 2018-09-24 | 2020-11-10 | International Business Machines Corporation | Virtual reality-based viewing system to prevent myopia with variable focal-length and magnification |
US20200386994A1 (en) * | 2018-11-01 | 2020-12-10 | North Inc. | Optical combiner lens with lightguide and spacers embedded in lens |
JP2022516256A (ja) * | 2018-12-28 | 2022-02-25 | マジック リープ, インコーポレイテッド | 左眼および右眼のための共有ディスプレイを伴う拡張および仮想現実ディスプレイシステム |
US11256331B1 (en) | 2019-01-10 | 2022-02-22 | Facebook Technologies, Llc | Apparatuses, systems, and methods including haptic and touch sensing electroactive device arrays |
US11852813B2 (en) * | 2019-04-12 | 2023-12-26 | Nvidia Corporation | Prescription augmented reality display |
TWI690745B (zh) * | 2019-06-26 | 2020-04-11 | 點晶科技股份有限公司 | 多功能眼鏡裝置 |
GB2599023B (en) * | 2020-09-21 | 2023-02-22 | Trulife Optics Ltd | Cylindrical optical waveguide system |
GB2617810A (en) * | 2022-01-20 | 2023-10-25 | Trulife Optics Ltd | Eyeglass lens with waveguide |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08160344A (ja) * | 1994-12-05 | 1996-06-21 | Olympus Optical Co Ltd | 頭部装着式映像表示装置 |
US5654827A (en) * | 1992-11-26 | 1997-08-05 | Elop Electrooptics Industries Ltd. | Optical system |
US20010055152A1 (en) * | 2000-06-26 | 2001-12-27 | Angus Richards | Multi-mode display device |
CN1435707A (zh) * | 2002-02-02 | 2003-08-13 | 王小光 | 收视外看通用眼镜 |
US20060250322A1 (en) * | 2005-05-09 | 2006-11-09 | Optics 1, Inc. | Dynamic vergence and focus control for head-mounted displays |
CN102213831A (zh) * | 2010-04-08 | 2011-10-12 | 索尼公司 | 用于头部安装型显示单元的图像显示方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06235885A (ja) * | 1993-02-08 | 1994-08-23 | Nippon Hoso Kyokai <Nhk> | 立体映像表示装置 |
JPH08234141A (ja) * | 1994-12-01 | 1996-09-13 | Olympus Optical Co Ltd | 頭部装着型映像表示装置 |
US5737012A (en) * | 1994-12-01 | 1998-04-07 | Olympus Optical Co., Ltd. | Head mounted image display apparatus and image forming apparatus related thereto |
JPH09211374A (ja) * | 1996-01-31 | 1997-08-15 | Nikon Corp | ヘッドマウントディスプレイ装置 |
JP3787939B2 (ja) * | 1997-02-27 | 2006-06-21 | コニカミノルタホールディングス株式会社 | 立体映像表示装置 |
US20020044152A1 (en) * | 2000-10-16 | 2002-04-18 | Abbott Kenneth H. | Dynamic integration of computer generated and real world images |
EP1544666A4 (en) * | 2002-09-24 | 2010-11-24 | Kenji Nishi | IMAGE DISPLAY UNIT AND OPTICAL PROJECTION SYSTEM |
KR20070064319A (ko) * | 2004-08-06 | 2007-06-20 | 유니버시티 오브 워싱톤 | 가변 응시 시거리 주사 광 디스플레이 |
JP2006153967A (ja) * | 2004-11-25 | 2006-06-15 | Olympus Corp | 情報表示装置 |
US7369317B2 (en) * | 2005-03-07 | 2008-05-06 | Himax Technologies, Inc. | Head-mounted display utilizing an LCOS panel with a color filter attached thereon |
EP2071367A1 (en) * | 2007-12-13 | 2009-06-17 | Varioptic | Image stabilization circuitry for liquid lens |
US20110075257A1 (en) * | 2009-09-14 | 2011-03-31 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | 3-Dimensional electro-optical see-through displays |
JP2011166285A (ja) * | 2010-02-05 | 2011-08-25 | Sony Corp | 画像表示装置、画像表示観察システム及び画像表示方法 |
US8988463B2 (en) * | 2010-12-08 | 2015-03-24 | Microsoft Technology Licensing, Llc | Sympathetic optic adaptation for see-through display |
-
2012
- 2012-05-09 US US13/467,116 patent/US20130300635A1/en not_active Abandoned
-
2013
- 2013-05-08 TW TW102116378A patent/TWI613461B/zh active
- 2013-05-09 CN CN201380033332.3A patent/CN104641635A/zh active Pending
- 2013-05-09 AR ARP130101612 patent/AR091355A1/es not_active Application Discontinuation
- 2013-05-09 JP JP2015511717A patent/JP2015525365A/ja active Pending
- 2013-05-09 WO PCT/US2013/040410 patent/WO2013170074A1/en active Application Filing
- 2013-05-09 EP EP13727682.0A patent/EP2859728A1/en not_active Withdrawn
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5654827A (en) * | 1992-11-26 | 1997-08-05 | Elop Electrooptics Industries Ltd. | Optical system |
JPH08160344A (ja) * | 1994-12-05 | 1996-06-21 | Olympus Optical Co Ltd | 頭部装着式映像表示装置 |
US20010055152A1 (en) * | 2000-06-26 | 2001-12-27 | Angus Richards | Multi-mode display device |
CN1435707A (zh) * | 2002-02-02 | 2003-08-13 | 王小光 | 收视外看通用眼镜 |
US20060250322A1 (en) * | 2005-05-09 | 2006-11-09 | Optics 1, Inc. | Dynamic vergence and focus control for head-mounted displays |
CN102213831A (zh) * | 2010-04-08 | 2011-10-12 | 索尼公司 | 用于头部安装型显示单元的图像显示方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108476311A (zh) * | 2015-11-04 | 2018-08-31 | 奇跃公司 | 基于眼睛追踪的动态显示校准 |
CN108476311B (zh) * | 2015-11-04 | 2021-04-27 | 奇跃公司 | 可穿戴显示系统和用于校准可穿戴显示器的方法 |
US11454495B2 (en) | 2015-11-04 | 2022-09-27 | Magic Leap, Inc. | Dynamic display calibration based on eye-tracking |
US11536559B2 (en) | 2015-11-04 | 2022-12-27 | Magic Leap, Inc. | Light field display metrology |
CN113196136A (zh) * | 2018-12-10 | 2021-07-30 | 环球城市电影有限责任公司 | 虚拟现实头戴送受话器中的动态会聚调整 |
CN117361042A (zh) * | 2023-10-30 | 2024-01-09 | 中国人民解放军陆军工程大学 | 一种城市地下物资运输系统及其工作方法 |
CN117361042B (zh) * | 2023-10-30 | 2024-04-02 | 中国人民解放军陆军工程大学 | 一种城市地下物资运输系统及其工作方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2859728A1 (en) | 2015-04-15 |
AR091355A1 (es) | 2015-01-28 |
TWI613461B (zh) | 2018-02-01 |
JP2015525365A (ja) | 2015-09-03 |
WO2013170074A1 (en) | 2013-11-14 |
US20130300635A1 (en) | 2013-11-14 |
TW201403129A (zh) | 2014-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104641635A (zh) | 用于提供对显示信息的聚焦校正的方法和装置 | |
CN104641278A (zh) | 用于基于焦距而确定显示的信息的表示的方法和装置 | |
US10459230B2 (en) | Compact augmented reality / virtual reality display | |
US10228564B2 (en) | Increasing returned light in a compact augmented reality/virtual reality display | |
US20180204380A1 (en) | Method and apparatus for providing guidance in a virtual environment | |
US20190220090A1 (en) | Position tracking system for head-mounted displays that includes sensor integrated circuits | |
US10013809B2 (en) | Suppression of real features in see-through display | |
US11651570B2 (en) | Adaptive rate control for artificial reality | |
WO2021103990A1 (zh) | 显示方法、电子设备及系统 | |
CN109564748B (zh) | 混合光子vr/ar系统 | |
US10338410B1 (en) | Eyeglass prescription correction for optics blocks in head-mounted displays | |
Zepernick | Toward immersive mobile multimedia: From mobile video to mobile extended reality | |
CN205210413U (zh) | 头戴式显示设备 | |
US20220392109A1 (en) | Methods and apparatus for dynamic distortion correction | |
WO2023116541A1 (zh) | 眼动追踪装置、显示设备及存储介质 | |
US20230077410A1 (en) | Multi-View Video Codec | |
US20240107000A1 (en) | Stereoscopic Floating Window Metadata | |
US20230410414A1 (en) | Method and system for video transformation for video see-through augmented reality | |
US11576121B2 (en) | Systems and methods for beacon alignment for soft access point |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20160108 Address after: Espoo, Finland Applicant after: Technology Co., Ltd. of Nokia Address before: Espoo, Finland Applicant before: Nokia Oyj |
|
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150520 |
|
WD01 | Invention patent application deemed withdrawn after publication |