CN1937717B - 带有模糊减轻系统的成像装置及其操作方法 - Google Patents

Abstract

本发明公开了一种成像装置，它具有将来自所选景物的光聚焦到光学机板中的镜头以及包括主阵列和至少一个导航阵列的衬底，主阵列和至少一个导航阵列位于光学机板中。主阵列在积分周期中获取部分所选景物的期望图像，至少一个导航阵列在积分周期中获取图像序列，图像序列包括第一图像和第二图像，第一图像和第二图像具有来自所选景物的共同特征。相关器判定第一图像和第二图像的共同特征相对于至少一个导航阵列的位置差异，并根据位置差异提供位移信号，位移信号指示了第一图像与第二图像之间的时间间隔中成像装置沿两个平面方向的平移。

Description

带有模糊减轻系统的成像装置及其操作方法

技术领域

本发明涉及带有模糊减轻系统的成像装置。

背景技术

图像模糊是摄影中常见的问题，它具有各种原因，例如被拍摄对象的运动以及聚焦误差。但是，图像模糊最常见的原因之一是操作者造成的相机抖动。人类肌肉通常以4-12赫兹范围内的频率自然颤动或抖动。当一个人握着相机时，手的抖动会造成图像模糊。在采用长曝光时间时，或者使用能够有很长焦距的变焦/摄远镜头时，这种由人的颤动引起的模糊特别明显。在减轻这种模糊的努力中，手持成像装置(例如数码相机和摄录一体机摄录一体机)通常采用一些类型的图像稳定系统。

这些系统通常以某种方式对成像装置的运动进行检测，并采取措施来对检测到的运动进行抵消或补偿，以便稳定图像并减轻模糊。例如，在照相机中，通常用一对压电陀螺或MEMS(微机电)陀螺来对运动进行检测。或者，摄录一体机有时采用电子方法，电子方法中通过对景物的每个帧与前面的帧进行比较来对运动进行检测。

照相手机是世界范围内最大和增长最快的市场之一。由于照相手机小巧轻便，所以它们通常难以像相机那样握持和操作。因此，用照相手机拍摄的图像特别易受手的抖动引起的模糊影响。可惜，尽管上述措施对于减轻模糊卓有成效，但它们对于照相手机并不理想，因为陀螺尺寸较大，而在各帧之间进行图像比较需要的强大处理能力是手机通常不具备的。另外，这些措施的成本通常也高到抑制其在照相手机和大量生产的廉价成像装置中使用的程度。

发明内容

在一个方面，本发明提供了一种成像装置，成像装置包括镜头、具有主阵列和至少一个导航阵列的衬底、相关器以及补偿器。镜头被构造为将来自所选景物的光聚焦到光学覆盖区中。主阵列被构造为在积分周期内获取部分所选景物的期望图像。至少一个导航阵列被构造为在积分周期内获取图像序列，图像序列包括第一图像和第二图像，第一图像和第二图像具有来自所选景物的共同特征，其中，主阵列和至少一个导航阵列位于光学覆盖区中。相关器被构造为从至少一个导航阵列接收图像序列，从而判定第一图像和第二图像的共同特征相对于所述至少一个导航阵列的位置差异，并根据所述位置差异 提供位移信号，所述位移信号指示了在第一图像和第二图像之间的时间间隔中成像装置沿两个平面方向的平移。补偿器被构造为根据位移信号，以光学机械方式在所选景物与主阵列和至少一个导航阵列之间维持基本固定的关系。

附图说明

参考附图可以更好地理解本发明的实施例。附图中的组成部分不一定是彼此按比例绘制的。相同的标号表示相应的类似部分。

图1的方框图概括地图示了相机的一种实施例，它采用了根据本发明的模糊减轻系统。

图2是图1中相机的简化轴测图。

图3A是相机的示意性框图，该相机采用了根据本发明的模糊减轻系统。

图3B是对图3A的相机进行进一步说明的示意性框图。

图4的示意性框图是概括地图示了根据本发明的相机采用的半导体衬底一种实施例的俯视图。

图5是概括性图示了根据本发明的模糊减轻系统一种实施例的示意性框图。

图6是概括性图示了根据本发明的模糊减轻系统一种实施例的示意性框图。

图7是概括性图示了模糊减轻系统一种实施例各个部分的示意性框图，其中导航阵列嵌入主阵列中。

图8是图示了根据本发明的导航阵列和相关器一种实施例的方框图。

图9是图示了图中导航阵列和相关器各个部分的示意性框图。

图10图示了根据本发明的模糊减轻系统采用的处理方法的一种实施例，用于通过图像相关来检测运动。

图11是图10的处理方法各个部分的示意图。

图12是图8的计算阵列中单独单元的示例性实施例的示意图。

具体实施方式

在下面的具体实施方式部分中，参考了附图。附图构成了具体实施方式的一部分。在附图中，通过例证方式示出了一些可以用以实施本发明的具体的实施例。就此而言，参考被描述的(多个)附图的方向使用方向性术语，例如“顶部”、“底部”、“前”、“后”、“头”、“尾”等。因为本发明的实施例中元件可以定位到多种不同方向，所以这些方向性术语是为了说明目的使用，而非限制性的。应当理解，在不脱离本发明范围的情况下，可以使用其他的实施例，并进行结构上或逻辑上进行改变。因此，下面的具体实施方式不应采取限制性理解，本发明的范围由权利要求来限定。

图1的方框图概括地图示了数字式成像装置(例如数码相机30)的一种实施例，它采用了根据本发明的模糊减轻系统32。相机30包括外壳34、物镜36和主阵列38，主阵列38由设在半导体衬底40中的光电元件构成。模糊减轻系统32包括设在衬底40中的导航阵列42，以及相关器44和补偿器46。

在一种实施例中，主阵列38和导航阵列42各包括CMOS(互补金属氧化物半导体)型象素的阵列。在一种实施例中，主阵列38具有比导航阵列42更高的空间分辨率(即象素数目)。在一种实施例中，主阵列38包括720×480阵列的象素。在一种实施例中，导航阵列42包括30×30阵列的象素。

物镜36被构造为接收代表所选景物50的光48并将其聚焦到成像面54的光学覆盖区(optical footprint)52中，半导体衬底40位于成像面54处，使主阵列38和导航阵列42位于光学覆盖区52中(同时参见图4)。在积分周期内，主阵列38被构造为获取所选景物50在成像阵列38的视场(FOV)56范围内的部分的期望的图像。

如果在曝光周期中，相机30抖动或发生了其他运动，则主阵列38获取的期望图像可能模糊了。图2是图1的相机30的简化轴测图，大体上描述了相机30可能发生的运动。当摄像者用手握持相机时，自然的、无意识的手部运动或颤动经常会将运动传给相机。这种手部运动通常是振动，处于约4到12赫兹的频率范围内，并可能引起沿着x轴62、y轴64和z轴66的运动以及围绕它们的转动。这种运动造成表示所选景物50的光48相对于光学覆盖区52发生平移，从而在主阵列38获取的期望图像中造成模糊。

围绕x轴62的旋转造成接收到的光48沿y轴64平移，围绕y轴64的旋转造成接收到的光48沿x轴62的平移，围绕z轴66的旋转造成接收到的光沿x轴62和y轴64两个方向的平移。沿z轴66的平移运动对图像清晰度的影响通常可以忽略，因为这种运动一般不明显，也因为拍摄照片通常采用了可以使这种运动的影响减小的放大比。

引入模糊的程度取决于运动的速度、照片的曝光时间以及相机的放大率设定，其中放大率设定通常用相机物镜36的焦距来表示。在35毫米照片中，经常采用的经验方法是，对于能够可靠地手持的相机，最长的曝光时间(用秒表示)是镜头焦距(用毫米表示)的倒数。例如，当使用50毫米镜头时，可以以1/50秒的时间或者更快地手持相机进行曝光。同样，当采用300毫米镜头时，为了在不借助于三角架的情况下拍摄清晰的照片，通常必须采用1/300秒或者更短的曝光时间。

回到图1，依照现有的图像，导航阵列42被构造为在主阵列38的积分周期内获取图像序列，这个图像序列包括第一图像和第二图像，它们具有导航阵列42的FOV 58范围内来自所选景物50的共同特征。这种共同特征可以是所选景物中的任何目标或要素，例如树木、建筑结构、椅子、窗口等。应当注意，导航阵列42的FOV 58范围内这些特征可以位于主阵列38的FOV 56范围内，也可以不在该范围内。在一种实施例中，当使用者将相机30的快门控制按钮68(参见图2)部分或者全部按下时，导航阵列42开始获取图像序列。

在一种实施例中，导航阵列42具有比主阵列38更高的时间分辨率(即每秒钟的图像数目)。在一种实施例中，主阵列42具有15帧/秒(fps)的时间分辨率。在一种实施例中，导航阵列42具有100fps的时间分辨率。在一种实施例中，导航阵列42具有1000fps的时间分辨率。在一种实施例中，导航阵列42的CMOS象素尺寸比主阵列38的CMOS象素要大。在一种实施例中，导航阵列42被构造为获取黑白图像，使导航阵列能够收集到比彩色传感器更多的光能，从而使导航阵列42可以具有高的时间分辨率。

相关器44被构造为从导航阵列42接收图像序列，并判定第一图像和第二图像的共同特征相对于导航阵列42的位置差异(即对图像进行相关处理)。根据这种位置差异，相关器44提供位移信号60，它表示第一图像与第二图像之间的时间间隔中，成像装置30沿两个面内方向的平移。在一种实施例中，位移信号60包括表示沿x轴62的平移的第一位移分量(Δx)和表示沿y轴64的平移的第一位移分量(Δy)。

在一种实施例中，相关器44被构造为对图像序列中每对连续图像中共同特征的位置差异进行判断并提供位移信号，该位移信号表示每对连续图像之间的时间间隔中成像装置30沿两个面内方向的平移。下文中会通过图8到图12概括说明一种合适的相关处理示例，相关器44可以采用该处理来根据所获取的图像序列判定成像装置30的平移。在一种实施例中，相关器44与主阵列38和导航阵列42一起布置在半导体衬底40中。

补偿器46被构造为接收位移信号60，并根据位移信号60通过光学机械方式在所选景物50与光学覆盖区52之间维持基本固定的关系。此处所采用的、并在下文中通过图3A、图3B和图5详细说明的通过光学机械方式在表示所选景物50的光48与光学覆盖区52之间维持固定关系，包括通过可动镜头元件或者通过半导体衬底40在成像面54中的运动来使成像装置30进行反向平移。

通过将至少一个导航阵列42和有关的相关器44布置到主阵列38所在的同一衬底上并共享成像装置镜头系统，根据本发明的模糊减轻系统32提供了一种小巧的、高效费比的模糊减轻系统，是一种与传统的基于陀螺的模糊减轻系统不同的选择。而且，由于导航阵列42是低分辨率阵列，所以运动检测所需的图像处理并不是很多。由此，根据本发明的模糊减轻系统非常适用于照相手机和大量生产的廉价成像装置。通过减轻手部抖动 的影响，使用了根据本发明的模糊减轻系统的照相手机可以提供更好的图像质量，还可以采用更长的曝光时间以提高在低亮度环境中的性能。

图3A和图3B是概括说明了根据本发明一种实施例的相机30的示意性框图，其中补偿器46包括控制器80和由多个挠性元件或支撑杆84支撑的挠性平台82，所述多个挠性元件84使挠性平台82可以沿x轴62和y轴64运动。挠性平台(例如挠性平台82)是本领域技术人员公知的，有时也称为xy挠性平台或纳米定位平台。补偿器46还包括第一音圈电机(VCM)86和第二VCM 88(参见图3A)，第一VCM 86被构造为使挠性平台82沿x轴62运动，第二VCM 88被构造为使挠性平台82沿y轴64运动。模糊减轻系统32的导航阵列42、相关器44、补偿器46一起形成了用于减轻相机30中图像模糊的闭环系统。

在一种实施例中，当使用者将快门控制按钮68(参见图2)部分或全部按下时，导航阵列42开始获取所选景物50的FOV 58(参见图1)范围内的特征序列，并在主阵列38的整个积分周期中进行持续的获取。图像序列由相关器44接收，从而对相机至少在主阵列38的积分周期中的运动进行判定。

相机30沿x轴62、y轴64的运动以及围绕x轴62、y轴64和z轴66的运动(参见图2)引起所选景物50在导航阵列42上平移，并造成在图像序列中一个图像与下一图像之间，所选景物50的共同特征位于不同象素位置。例如，相机30向下并向左的运动(相对于使用者)引起在FOV56和FOV 58内的所选景物50及其特征相对于主阵列38和导航阵列42向上和向右平移。

这样，在一种实施例中，相关器44对序列中的成对连续图像进行比较或相关操作，并根据所选景物50中两图像共有的特征在象素位置上的差异，对这些成对图像之间的时间间隔中相机30的运动进行判定。在一种实施例中，导航阵列42的时间分辨率的大小可以基本上确保图像序列中的连续图像可以共同具有所选景物50的至少一个特征。

根据这种比较，相关器44向控制器80提供位移信号60，位移信号60包括第一位移分量60a(Δx)和第二位移分量60b(Δy)，它们分别指示了相机30沿x轴62和y轴64的位移增量。控制器60相应地提供补偿信号90和92，它们分别使VCM 86和88将挠性平台82沿x轴62和y轴64运动一定距离，该距离是抵消由相关器44检测到的相机30的运动所需的。

通过以此方式使挠性平台82运动来抵消相机30的运动，模糊减轻系统32至少在主阵列38的整个积分周期内在所选景物50与主阵列38之间维持基本固定的关系，从而减 轻了所获取图像中的模糊。此外，通过在挠性平台82上使导航阵列42与主阵列38一起运动，模糊减轻系统32提供了所选景物50的位置相对于主阵列38和导航阵列42的直接反馈，从而提供了更好的控制性能和模糊减轻性能。

图4的框图是概括地图示了根据本发明一种实施例的半导体衬底54的俯视图。如图所示，主阵列38布置在基本上圆形的光学覆盖区52的中心位置，导航阵列42布置在主阵列38附近，但仍然在光学覆盖区52之内。在一种实施例中，沿着与导航阵列42一致的轴线(例如x轴62)设置与主阵列38相对的第二导航阵列100。如下面会详细说明的，第二导航阵列100在主阵列38的积分周期中向相关器44提供第二图像序列。

采用第二导航阵列的优点有两部分。第一，导航阵列100增大了模糊减轻系统32的有效视场，并因此增加了用于追踪的高对比度特征存在的可能性。第二，如下面会详细说明的，将导航阵列100与导航阵列42一同采用使模糊减轻系统32可以对相机围绕z轴66的旋转运动(参见图2)进行检测和补偿。在一种实施例中，为了进一步增大模糊减轻系统32的视场，可以在光学覆盖区52中设置一个或更多附加导航阵列102和104。在一种实施例中，相关器44设在半导体衬底40中。

图5是图示了模糊减轻系统32一种实施例的示意性框图，模糊减轻系统32包括第二导航阵列100，并被构造为对相机30的平移运动和旋转运动都进行检测和抵消。在图示的实施例中，挠性平台82被构造为沿x轴62和y轴64运动，并被构造为围绕z轴66旋转。同样，这样的挠性平台是本领域技术人员公知的，有时也称为x-y-θ挠性平台或x-y-θ纳米定位平台。与图3A和图3B所示的实施例相比，补偿器46还包括两个另外的VCM 106、108。VCM 86和106被构造为使挠性平台82沿x轴62运动，VCM 88和108被构造为使挠性平台82沿y轴64运动，VCM 86、88、106和108一起工作能够使挠性平台82围绕z轴66旋转。

在一种实施例中，当操作者将快门控制按钮68(参见图2)部分或全部按下时，每个导航阵列42和100都开始向相关器44提供图像序列，并在主阵列38的整个积分周期中持续提供。如上所述，导航阵列42和100获取的图像序列来自所选景物50(参见图3A)的独立视场，因此增大了模糊减轻系统32的有效视场。在一种实施例中，导航阵列42和100的时间分辨率基本相等，各个阵列提供的图像序列基本上彼此同步。

以与对图3A和图3B进行的上述说明类似，相关器44对于从导航阵列42接收的连续图像和来自导航阵列100的连续图像进行比较，从而分别确定所选景物50在导航阵列42和导航阵列100上沿x轴62和y轴64的平移。当相机30的运动基本上是沿着x轴62和/或y轴64的平移时，所选景物50相对于导航阵列42沿x轴62和y轴64的运动 与所选景物50相对于导航阵列100沿x轴62和y轴64的运动基本上相等。换句话说，所选景物50相对于导航阵列42的(Δx)运动增量基本上等于所选景物50相对于导航阵列100的(Δx)运动增量，所选景物50相对于导航阵列42的(Δy)运动增量基本上等于所选景物50相对于导航阵列100的(Δy)运动增量。

但是，如果在连续图像对之间的时间间隔中相机30发生了旋转运动，则所选景物50沿x轴62和y轴64的运动增量(Δx和Δy)对于导航阵列42与导航阵列100是不同的。例如，在没有平移运动的情况下，相机30围绕z轴66的顺时针旋转114会使所选景物50相对于导航阵列42的运动增量Δx和Δy与所选景物50相对于导航阵列100的运动增量Δx和Δy大小基本相等而方向(即正负号)相反。

根据这种比较，相关器44向控制器80提供位移信号60，位移信号60包括分别表示相机30沿x轴62和y轴64的运动增量Δx和Δy的第一位移分量60a和第二位移分量60b，还包括表示相机30围绕z轴66的旋转角(θ)的第三位移分量60c。控制器60相应地向VCM 86和106提供补偿信号90和110，向VCM 88和108提供补偿信号92和112，使挠性平台82沿x轴62和y轴64运动和旋转，并围绕z轴66旋转，这些运动和旋转是对相关器44判定的相机30的运动进行补偿所需的。应当注意，在未检测到相机30的旋转运动时，VCM 86与VCM 106提供相等的动力，VCM88与VCM 108提供相等的动力，而在需要对旋转运动进行抵消时，它们提供不相等的动力。

如图所示，挠性平台82以及相关的VCM 86、88、106和108表示公知纳米定位系统的简化示意图。尽管这些纳米定位系统可能多种多样，但是可以容易地对控制器80进行改变，从而将位移信号60转换为所需的补偿信号(例如补偿信号90、92、110和112)，以便适于与特定的纳米定位系统一起使用。

图6的方框图概括地图示了根据本发明一种实施例的相机30，其中补偿器46包括控制器80和一对补偿镜头120和122、在一种实施例中，如图所示，补偿镜头120包括可动的凹透镜，补偿镜头122包括固定安装的凸透镜元件。补偿器46包括被构造为使凹透镜120沿x轴62运动的第一VCM 124以及被构造为使凸透镜122沿y轴64运动的第二VCM(未示出)。在图6的实施例中，半导体衬底40相对于外壳34固定安装。

相关器44对从导航阵列42接收的连续图像进行比较，并提供具有第一位移分量60a(Δx)和第二位移分量60b(Δy)的位移信号60，所述两个位移分量分别指示了相机30沿x轴62和y轴64的运动增量，这些与对于图3A和图3B所述的方式类似。控制器60相应地提供补偿信号126和128，它们分别使第一VCM和第二VCM将凹透镜120沿x轴62和y轴64移动一段距离，所述距离是抵消相关器44检测到的相机30的运动所需 的。主阵列38和导航阵列42保持静止。通过对凹透镜元件120的运动进行控制以抵消相机30的运动，凹透镜元件120与固定安装的凸透镜元件122协同工作，使通过相机物镜36接收的光相对于图像面54发生平移，从而图像光束相对于图像面54基本上保持不动。

图7是概括地图示了模糊减轻系统32的一种实施例各个部分的方框图，其中导航阵列42包括半导体衬底40中主阵列38的子集(即嵌入其中)。主阵列38包括成行列布置的多个象素130。在一种实施例中，如图所示，选择主阵列38的多个象素132(“阴影”象素)形成导航阵列42。在一种实施例中，如图所示，选择象素132形成均匀分布在主阵列38上的网格状图样。在一种实施例中，导航阵列42的象素132包括黑白象素(即没有彩色滤光片)，而主阵列38的象素130提供彩色图像(即包括有彩色滤光片)。

通过行信号线136将每行象素耦合到行选择电路134，通过输出线140将每列象素耦合到列选择和读出电路138。控制器通过行选择电路134以及列选择和读出电路138来选择并激活正确的行信号线136和输出线140，从而控制读出主象素130和导航象素132积累的电荷。在通常的成像阵列中，象素读出一般以逐行方式进行，通过相应的行选择线同时激活所选行的所有象素，并通过由列选择和读出电路138顺序地激活输出线140来读出所选行的象素积累的电荷。

但是，根据本发明，通过控制器142读出组成导航阵列42的象素132的时间分辨率比读出组成主阵列38的象素130所用的更高。例如，在一种实施例中，在组成主阵列38的象素130的积分周期中，控制器142被构造为将组成导航阵列42的象素132读出10次。通过以此方式读出象素132，嵌入主阵列38中的导航阵列42可以在主阵列38的积分周期中获取并提供低分辨率图像序列。控制器142通过信号路径144向相关器44提供低分辨率图像序列，相关器44接着根据图像序列提供位移信号60，像上面对于图3A和图3B所作的说明一样。

在一种实施例中，对象素132进行布置并通过控制器142读取的方式使之形成一对相对于主阵列38的中心彼此相反的导航阵列，每个导航阵列都提供低分辨率图像序列。在这样的实施例中，相关器60被构造为提供指示了与相机有关的平移和旋转运动的位移信号60，其方式与上面对于图5所作的说明一样。

在积分周期结束时，控制器读取主阵列38的象素130积累的电荷并通过信号路径146提供代表了期望图像的象素数据。但是，由于在主阵列38的积分周期中对组成导航阵列42的象素132进行的多次读取中每一次读取都是“破坏性”读取，所以信号路径146处与导航阵列42的象素132对应的期望图像象素位置会有错误数据，并在期望图像中形 成“空缺”。

于是，在一种实施例中，控制器142将主阵列38的积分周期中每次读取的每个象素132在存储器148中累加(即求和)。在主阵列38的积分周期结束时，控制器142将导航阵列42的每个象素132的“总和”值插入信号路径146处期望图像的相应象素位置。在一种实施例中，控制器146被构造为对主阵列38中与导航阵列42的各个象素132相邻的象素130的累加值进行平均，并将相应象素的“平均”值插入信号路径146处的期望图像中。也可以采用任意多种其他方法来填补主阵列38获取的期望图像中由于对组成导航阵列42的象素132进行破坏性读出而造成“缺失”的象素数据。

图8是图示了根据本发明的导航阵列42和相关器44一种示例性实施例的方框图，该实施例能够获取二维图像并对其进行相关处理，以及提供补偿信号来对通过相关处理检测到的有关成像装置(例如相机30)的运动进行抵消。在图示的实施例中，导航阵列42包括光电元件408的32行乘以68列的阵列，以及68列传输放大器400的阵列，相关器44包括64个去直流电路402的阵列、计算阵列404和控制逻辑410。

传输放大器400以逐行方式将信号从导航阵列408传输到去直流电路402。计算阵列404从去直流电路402接收数据并对数据进行计算，从而在406处像补偿器系统(例如图1的补偿器46)提供位移信号(例如图3A和图3B的第一位移分量60a和第二位移分量60b)，该补偿器系统根据补偿信号406对有关成像装置的运动进行光学机械方式的抵消。

在不进行传统的集成光传感器中逐点校正的情况下，由于集成电路处理技术的限制，灵敏度会发生某些变化。如图8所示，相关器44计算相对导航阵列408不同位置处先后捕获的第一图像(即参考图像)与第二图像之间的相关。照明条件和光电元件的任何变化都会使相关信号变差。因此，图8的空间去直流电路402被构造为维持相关信号的完整性，同时保持系统的成本较低。从导航图像中消除了照明条件和光电元件中较低的空间频率改变，否则它们可能会破坏相关信号。

对于完整地理解计算阵列404的操作而言，理解去直流电路402的操作并不是关键，因此将不对其进行详细说明。但是，理解列传输放大器400的基本操作是有益的。

参考图9，其中示出了68列光电元件中的5列412、414、416、418和420。对于每个列都示出了32行中的6行422、424、426、428、430和432。每个列与单独的传输放大器434、436、437、438和439相连工作。通过闭合读取开关440而使一列中的光电元件连接到与之相连工作的传输放大器。在图9的电路工作时，两个光电元件不会同时连接到同一个传输放大器。

各个传输放大器434-439用作积分器，并包括连接到固定电压的电源的输入442。第 二输入444通过传输电容448容性连接到传输放大器的输出端446。

在图9的电路工作时，可以闭合光电元件第一行422的读取开关，使每个传输电容448接收与第一列中的有关光电元件所接收到的光能相应的电荷。接收到的电荷通过输出线446传输到后续处理电路。读出一个行所需时间估计在200ns到300ns之间。在第一行读出之后，断开第一行的读取开关并将传输放大器复位。然后闭合第二行424的读取开关，以便对来自第二行的光电元件的信号进行传输。此过程一直重复到对每行光电元件都进行了读取。

通过图9的传输放大器434-439的工作，光电元件信号以逐行方式传送到后续电路。图8的去直流电路402接着对那些列传输放大器建立的光电元件信号进行并行处理。去直流电路输出64个信号，表示导航传感器408接收到的光能。在图8的实施例中，一帧信号由计算阵列处的象素值组成，象素值是通过对来自去直流电路的64个信号进行32次传输获得的。

图10图示了根据本发明的相关器(例如相关器44)采用的过程的一种实施例，用于检测有关成像装置——例如相机30(参见图1)——的运动。尽管对本发明进行的说明将参考处理光电元件信号，这些信号代表了导航阵列的视场中所选景物或环境的特征，但是本方法不限于任何一种应用。

进行这种处理来将环境特征的参考帧与环境的后续帧进行相关处理。实际上，这种相关对参考帧和后续帧共有的被成像特征的位置进行比较，以提供获取参考帧和后续帧的时间间隔中与有关成像装置的运动相关的信息。

最初，在步骤450处，获取信号(例如参考图像)的参考帧。参考帧可以认为是初始位置。通过步骤452在稍后时间由导航阵列获取信号的采样帧，然后在步骤454对于参考帧与稍后获取的采样帧计算相关值，可以对导航阵列在稍后时间相对于成像区域的位置进行判定。

步骤450获取初始参考帧可以在成像过程一开始就进行。例如，在一种实施例中，如前所述，可以通过按下有关成像装置的快门控制按钮(例如图2的快门控制按钮68)来触发这种获取。

尽管对运动的判定是以计算方式进行的，但是可以参考图11的原理图对这种实施例的原理进行说明。所示的7×7象素的参考帧456具有T形特征458的图像。在稍后时间(dt)，陀螺图像传感器408获取第二帧460(即参考帧)，第二帧460相对于帧456发生了位移，但是表现出基本相同的特征。时间段dt优选设定为使得在有关成像装置(例如相机30)的平移速度下，T形特征458的相对位移小于导航传感器的一个象素。

如果在获取信号的参考帧456与获取信号的采样帧460之间的时间段内，成像装置发生了运动，T形特征就会偏移。尽管优选实施例中dt小于完整象素发生运动所需的时间，但是图11的原理图表明特征458已经向上并向右偏移了一个完整象素。假设整象素偏移仅仅是为了说明的简化。

图11的网格462图示了7×7阵列的帧460中特定象素的象素值偏移结果。偏移结果是8个最接近的相邻象素中各自的偏置值。即，等级“0”不包括偏移，等级“1”是向左上的对角偏移，等级“2”是向上偏移，等等。对采样帧460中所有的象素同时进行偏移。以此方式，可以将9个经过象素偏移的帧与参考帧456合并，产生位置帧的阵列464。标有“位置0”的位置帧不包括偏移，所以结果仅仅是将帧456与帧460合并。“位置7”具有最少的阴影象素，因此是相关度最高的帧。根据相关所得结果，可以确定采样帧460中T形特征458的位置相对于早先获取的参考帧456中同一特征的位置在对角的右上方，这表明在时间dt内，成像装置向左下方移动了。

尽管也可以采用其他的相关处理方法，但是一种合适的方法是“差值平方和”相关。对于图11的实施例，组成部分462处的9个偏置值形成了9个相关系数(Ck＝C0、C1...C8)。另一种选择是考虑采样帧460的偏移，因为通过对参考帧456进行偏移而不对采样帧进行偏移同样可以进行相关处理。

采用了相关来寻找参考帧456与采样帧460共有的特征458的位置，以便判定该特征的位移。如上所述，例如根据图3A和图3B，对主阵列38和导航阵列42的位置进行调整，以便抵消对后续采样帧与参考帧456进行的相关所检测到的运动。尽管这种处理提供了较高的相关度，但是即使误差可能很小，这些误差也可能随着对每个后续采样帧460与参考帧456进行的比较而随着时间积累。如果允许其积累一段过长的时间，这种误差可能会造成对检测到的运动抵消不佳，从而造成图像的稳定度不佳。对于图4所示的开环稳定系统275，这种情况特别符合。

考虑到上述情况，在一种实施例中，如果从获取最初的参考帧456开始经过了相当长的时间而没有通过相机30拍摄照片，则获取新的参考帧456。另外，在一种实施例中，如果相机30的使用者对相机进行了较大的移动，使采样帧460与参考帧456之间没有共同特征，则获取新的参考帧456。

于是，再参考图10，在步骤454对相关值进行的每次计算之后，在步骤466处判定是否在后续相关处理之前对参考帧进行替换。如果判定为不对参考帧进行替换，则在步骤468判定是否对参考帧的信号(即象素值)进行平移。如果判定为不替换参考帧456，则过程返回步骤452获取下一个采样帧，并继续此过程。如果判定为对参考帧进行替换， 则如图10中步骤472所示，图11的采样帧460成为新的参考帧。然后在步骤452获取下一个采样帧，并继续此过程。

通过对参考帧与采样帧之间的共同特征的位置改变进行判定，可以检测到导航阵列408与被成像的环境之间的相对运动。根据通过相关检测到的运动，相关器(例如相关器44)向控制补偿装置提供补偿信号406，所述控制补偿装置抵消检测到的运动并在被成像的所选景物与主阵列之间维持基本固定的关系，从而减轻图像模糊。

图12是图8的计算阵列404中各个单元的示意图。但是，正如本领域技术人员明白的，也可以采用其他电路来执行参考图10和11说明的过程。

图像数据WDATA(i)表示在线路468处来自特定光电元件的光能被载入到计算单元466，电荷补偿晶体管开关470由WR(j)信号控制。在WR(j)信号撤销之后，新的数据由电容472保持并由放大器474缓冲。计算单元是二维单元中的数据单元。简要参考图11，单元可以用于存储象素值并对组成帧456和帧460的7×7阵列中的单个象素进行象素值偏移。图12的CDATA节点476是计算阵列中允许对信号帧的所有象素同时进行信号处理的一个CDATA节点。最初，CDATA节点的阵列共同构成比较图像，即“参考帧”。如下面将会说明的，CDATA节点后来还构成采样帧。控制输入CDOUT 478对信号CDATA和比较数据进行选择，或者对最接近的相邻输出节点NN(0)480选择REFOUT。

通过线路508上的开关控制信号S(0)-S(8)来对最接近的相邻输入NN(0)-NN(8)480、482、484、486、488、500、502、504和506进行单独选择。NN(0)-NN(8)输入480-506是根据图11的象素图462的最接近的相邻单元的输出。因此，所述的节点480既作为分散连接到最接近的相邻单元的输出，又作为单元466的输入。开关控制信号由计算阵列外部未示出的4-9编码器产生。编码器的4位输入称为最接近的相邻地址，取值为0000(0)到1000(8)的二进制值。

通过脉冲REFLD 512对最接近的相邻输入(NNINPUT)节点510进行采样，从而将NNINPUT存储在节点REFH 514上。类似地，可以通过脉冲REFSFT 520对REFDATA 516进行采样并将其维持在REFSH 518上。

为了测试，可以发出ROWTSTB 522信号，使NN(0)信号传递到TEST输出端524。来自一行单元中每个单元的TEST信号连接到计算阵列的每列中公共的垂直总线，在阵列底部进行复用和片外驱动。沿阵列左边缘的标准行解码器使得可以选择特定的行来测试。不过，测试特征并不是本发明的关键。

单元阵列中的每个计算单元466具有确定相关值的电路526，所述相关值是图10中涉及到的步骤454所确定的。第一输入端528从REFDATA节点516接收参考数据。第 二输入端530提供由线路508处正确的开关控制信号选择的最接近的相邻输入NNINPUT。相关单元的输出532是电流信号。在跟踪电路534的单个片外加法电阻器(summing resistor)处将计算阵列中所有的相关输出加在一起。加法电阻器两端得到的电压作为图12中的相关值。

在图12的实施例中，电路526基于差值平方计算。单元466也可以改为提供基于乘积的相关，而不必对阵列控制输入端S(0)-S(8)的基本结构进行改变，REFLD、REFSFT和CDOUT是整个阵列全局共用的。

对于图11中的网格462代表的最接近的相邻表，理解将其用于单个单元以及用于整个阵列这两种情况之间的关系很重要。图像的位置0指的是图像当前的位置。在提到图像从位置0到位置1的运动时，意思是阵列所有单元中的图像信号移动到左上的相邻单元。即，运动与计算阵列中的单个单元有关，也与阵列中的每个单元有关。

计算阵列的功能可以从图像获取、参考图像载入以及相关计算的角度来进行说明。图像获取指的是经过每个计算单元466的WDATA线路468载入新的图像信号。在这种实施方式中，每隔40毫秒，通过列传输放大器和去直流放大器从光电元件阵列获取新的信号帧，即象素值的帧。

载入新帧的处理称为“帧传输”。完成帧传输需要大约10毫秒。在帧传输期间，帧传输控制电路发出未示出的信号FTB。通过监视FTB信号并与之同步，使计算阵列的下述操作与帧传输协同进行。通过FTB信号的下降沿发送新比较图像有效性的信号。只有在未发出FTB时，下述操作才是适当的。

在对图像相关进行计算之前，需要载入象素值的参考帧。为了载入参考帧，必须将计算阵列中CDATA节点476处的所有信号传输到REFH节点514。这个步骤是通过将CDOUT 478和S(0)设定为高电平，并在线路512上发出REFLD信号的脉冲来实现的。

在载入参考帧之后，计算阵列即将对相关进行计算。对象素值的参考帧与后续采样帧之间的相关进行计算是通过将最接近的相邻地址设置为期望值，并对位移跟踪电路534的加法电阻器两端所得电压进行记录来进行的。当光接收器阵列相对于获取参考帧时的位置运动了一个象素的距离时，最接近的相邻位置之一处会检测到强相关，因为该处会产生最低程度的输出电流。在图11中，检测到的相关位于阵列464的位置7处。根据对二维相关空间中对电流输出进行多次读取，可以通过内插来判定亚象素级的运动。应当明白，参考帧及其自身之间的相关可以通过将CDOUT 478设定为低电平并发出REFSFT 520的脉冲来进行计算。这样可以使最接近的相邻输出来自参考帧而不是采样帧。

应当注意，上述图8到图12仅仅是根据本发明的导航阵列42和相关器44的一种示例性实施例。模糊减轻系统32也可以采用其他电路结构和过程来获取图像并对其进行相关处理以检测运动。另外，尽管这里进行的说明主要是结合照相机进行的，但是本发明的教导可以容易地应用到摄录一体机以及提供运动图像的其他成像装置中。例如，在用于摄录一体机时，导航阵列和相关器可以设置为随着将摄录一体机镜头摇过所选景物而更新参考帧，也可以设置为包括对有意运动及无意运动进行鉴别的滤波处理，所述有意运动是为拍摄而摇动摄录一体机镜头或者是图像中的运动物体造成的，所述无意运动例如由人的肌肉颤动造成的运动。

尽管这里已经图示并说明了一些具体的实施例，但是本领域普通技术人员应当明白，在不脱离本发明范围的情况下，所示和所述的具体实施例可以由各种可替换的和/或等同的实施方式来代替。本申请意在覆盖对此处讨论的具体实施例的任何更改和变化。因此，本发明应当仅由权利要求及其等同物来限制。

Claims (14)

1.一种成像装置，包括：

镜头，所述镜头被构造为将来自所选景物的光聚焦到光学覆盖区中；

衬底，所述衬底包括：

主阵列，所述主阵列被构造为在积分周期内获取与部分所述所选景物对应的期望图像，所述主阵列包含一个导航阵列，所述导航阵列作为所述主阵列的一个子集，且所述导航阵列被构造为在积分周期内获取图像序列，所述图像序列包括第一图像和第二图像，所述第一图像和所述第二图像具有来自所述所选景物的共同特征，其中，所述主阵列和所述导航阵列位于所述光学覆盖区中；

相关器，所述相关器被构造为从所述导航阵列接收所述图像序列，从而判定所述第一图像和所述第二图像的所述共同特征相对于所述导航阵列的位置差异，并根据所述位置差异提供位移信号，所述位移信号指示了在所述第一图像和所述第二图像之间的时间间隔中所述成像装置沿两个平面方向的平移；

补偿器，所述补偿器被构造为根据所述位移信号，以光学机械方式在所述所选景物与所述主阵列和所述导航阵列之间维持基本固定的关系；

存储器，所述存储器被构造为在所述积分周期中，积累来自导航阵列获取的图像序列的数据；

控制器，所述控制器耦合到所述主阵列及所述存储器，通过将所述积累的数据插入到所述期望图像中与所述导航阵列相关联的相应象素位置处，所述控制器被构造为产生来自所述主阵列的所述期望图像及来自积累于所述存储器的所述图像序列的数据的复合图像。

2.根据权利要求1所述的成像装置，其中，所述导航阵列中象素的读出速率比所述主阵列的象素的读出速率高10到100倍。

3.根据权利要求1所述的成像装置，其中所述导航阵列比所述主阵列的空间分辨率低。

4.根据权利要求1所述的成像装置，其中，所述导航阵列包括黑白象素。

5.根据权利要求1所述的成像装置，其进一步包含用于读出包含所述导航阵列的所述主阵列的分享共同读出电路。

6.根据权利要求5所述的成像装置，其中，在所述主阵列的积分周期中读出所述导航阵列的每个象素积累的电荷，并将所述积累的电荷相加以构成所述期望图像中相应象素的象素值。

7.根据权利要求6所述的成像装置，其中，只有所述主阵列中的象素包括彩色滤光片。

8.根据权利要求1所述的成像装置，其中，所述补偿器包括可动挠性平台，所述衬底位于所述可动挠性平台上。

9.根据权利要求1所述的成像装置，其中，所述补偿器包括位于所述镜头与所述光学覆盖区之间的可动透镜。

10.根据权利要求1所述的成像装置，其中：

所述控制器，对所述导航阵列的每个象素，将存储器中积累的且与所述导航阵列各自象素相关联的相应数据插入到所述期望图像中与所述导航阵列的所述各自象素相关联的相应象素位置以产生所述复合图像。

11.一种操作成像装置的方法，包括：

在光学覆盖区中接收来自所选景物的光；

在所述光学覆盖区中定位主阵列，所述主阵列包含一个导航阵列，所述导航阵列作为所述主阵列的一个子集，所述主阵列和所述导航阵列在共同衬底上；

在积分周期中用所述导航阵列获取图像序列，所述图像序列包括第一图像和第二图像，所述第一图像与所述第二图像具有来自所述所选景物的共同特征；

在所述积分周期中用所述主阵列获取部分所述所选景物的期望图像；

判定所述第一图像和所述第二图像的所述共同特征相对于所述导航阵列的位置差异；

根据所述判定的位置差异产生位移信号，所述位移信号指示了所述第一图像与所述第二图像之间的时间间隔中所述成像装置沿两个平面方向的平移；以及

根据所述位移信号，以光学机械方式在所述所选景物与所述主阵列之间维持基本固定的关系；

在存储器内，积累来自导航阵列在所述积分周期中获取的图像序列的数据；及

由控制器产生复合图像，通过将所述积累的数据插入到所述期望图像中与所述导航阵列相关联的对应象素位置处，以产生来自所述主阵列的所述期望图像及来自积累于存储器中的所述图像序列的所述数据的复合图像。

12.根据权利要求11所述的方法，其中，所述根据位置差异产生所述位移信号的步骤包括产生所述位移信号，所述位移信号指示了所述成像装置沿两个平面方向的平移和旋转。

13.一种成像装置，包括：

用于从所选景物接收光的装置；

包含位于衬底上的主阵列，其用于在积分周期内获取部分所述所选景物的期望图像的装置，导航阵列作为所述主阵列的一个子集，且所述导航阵列被构造为在所选积分周期内获取图像序列，所述图像序列包括第一图像和第二图像，所述第一图像和所述第二图像具有来自所述所选景物的共同特征；

用于对所述第一图像与所述第二图像的所述共同特征的位置差异进行判定的装置；

用于根据所述位置差异使所述所选景物与所述衬底之间维持基本固定关系的装置；

用于积累来自所述导航阵列在所述积分周期中获取的所述图像序列的数据的装置；

用于产生复合图像的装置，通过将所述积累的数据插入到所述期望图像中与所述导航阵列相关联的对应象素位置处，以产生来自所述部分所选景物的所述期望图像及来自所述导航阵列的所述图像序列的所述数据的复合图像。

14.根据权利要求13所述的成像装置，还包括用于根据所述位置差异产生位移信号的装置，所述位移信号指示了所述第一图像与所述第二图像之间的时间间隔中所述成像装置沿两个平面方向的平移，其中，使所述所选景物与所述衬底之间维持基本固定关系是根据所述位移信号来进行的。

Images